NVIDIAXavier学习笔记_新能源技术.docVIP

NVIDIAXavier学习笔记 NVIDIA在2018年CES上推出了Xavier平台，作为Driver PX2 的进化版本。NVIDIA称Xavier 是“世界上最强大的SoC（片上系统）”，Xavier可处理来自车辆雷达、摄像头、激光雷达和超声波系统的L5级自主驾驶数据，能效比市场上同类产品更高，体积更小。“NVIDIA? Jetson AGX Xavier? 为边缘设备的计算密度、能效和 AI 推理能力树立了新的标杆。” Xavier SoC基于台积电12nm工艺，集成90亿颗晶体管，芯片面积350平方毫米，CPU采用NVIDIA自研8核ARM64架构（代号Carmel），GPU采用512颗CUDA的Volta，支持FP32/FP16/INT8，20W功耗下单精度浮点性能1.3TFLOPS，Tensor核心性能20TOPs，解锁到30W后可达30TOPs。 Xavier内有六种不同的处理器：ValtaTensorCore GPU，八核ARM64 CPU，双NVDLA深度学习加速器，图像处理器，视觉处理器和视频处理器。这些处理器使其能够同时、且实时地处理数十种算法，以用于传感器处理、测距、定位和绘图、视觉和感知以及路径规划。? 其内部不同处理器的计算性能罗列如下： 八核CPU：八核 “Carmel” CPU 基于ARMv8 ISA 深度学习加速器(DLA)：5 TOPS (FP16) | 10 TOPS (INT8) VoltaGPU：512 CUDA cores | 20 TOPS(INT8) | 1.3 TFLOPS (FP32) 视觉处理器：1.6 TOPS 立体声和光流引擎（SOFE）：6 TOPS 图像信号处理器(ISP)：1.5 Giga Pixels/s 视频编码器：1.2 GPix/s 视频解码器：1.8 GPix/s 芯片内部结构如下图所示： Xavier推出了两个版本，Jetson AGX Xavier 8GB和Jetson AGX Xavier。 Jetson AGX Xavier 8GB Jetson AGX Xavier 8GB 是一款价格实惠的低功率 Jetson AGX Xavier，在软硬件上与现有的 Jetson AGX Xavier 完全兼容。其整个模块最高消耗 20W 功率，同时提供高达 20 TOPS 的 AI 性能。 Jetson AGX Xavier 使用 Jetson AGX Xavier 可以打造出 AI 助力的自主机器，其运行功率低至 10W，却能实现高达 32 TOPS 的性能。作为行业领先 AI 计算平台的一部分，Jetson AGX Xavier 得益于 NVIDIA 整套丰富的 AI 工具和工作流程，可帮助开发者快速训练和部署神经网络。 NVIDIA Xavier的片上系统 Xavier目前已经支持Drive IX和Drive AR，Drive IX和DriveAR均为NVIDIA Pegasus AI计算平台的一部分。 Drive IX属于人工智能层，支持最先进的车载信息娱乐(IVI) 系统、逼真的 3D 地图和地形、语音对话功能以及外部环境认知。利用Drive IX可以将汽车数据整合到汽车用户体验和操作控制里。Drive IX系统可分析汽车内部和外部的传感器数据，继而为司机和乘客提供智能辅助技术，可识别司机和乘客的脸部、声音和手势。 NVIDIA希望Drive IX成为车辆安全性和便利性的终极SDK。例如，利用面部识别和视线跟踪，Drive IX系统可以在手握驾驶盘、昏昏欲睡的司机睡着以前发警报提醒他们，或是根据脸部识别在车辆到来时自动打开车库的门。 DRIVE AR使制造商可在车内无缝显示整合了汽车周边状况的详细驾驶信息。借助易于访问的可视信息，驾驶员（最终是自动驾驶汽车的乘客）能更好地了解自动驾驶汽车感知到的状况和计划执行的操作。Drive AR主要是面向信息娱乐应用，Drive AR支持计算机视觉、计算机图形、人机交互、AI应用并为车内增强现实接口的强大动力。 Xavier的硬件接口 Xavier的载板连接 Xavier通过一个699-Pin连接器与载板连接。载板上699-Pin连接器的型号为 Molex的 2034560003, 对应的核心板上的是 Molex 的 2048430001 以太网接口 Xavier核心板出来是RGMII接口, RGMII = Reduced Gigabit Media Independent Interface。 PHY芯片来自Marvell, 型号: 88E1512PB2-NNP2C000, 封装QFN56, 市面上买不到, 市面供货的88E1512,是商业级的88E1512-A0-NNP2C000 和工业级的 88E1