NVIDIA声称Xavier是迄今为止发明的最复杂的SOC

NVIDIA已经宣传Xavier好几年了，最近终于披露重要的参数细节。作为有史以来最庞大、最复杂的片上系统（SOC），Xavier设计用于支持各种复杂的人工智能实时推理处理，用于 无人机 、机器人和 自动驾驶 。

虽然 特斯拉 已经选择设计自己的芯片平台用于自主驾驶，但在看到这个平台提供了什么之后，我不敢相信这个决定是基于NVIDIA DrivePX Pegasus的性能或灵活性不足的。

NVIDIA声称Xavier是迄今为止发明的最复杂的SOC。它包括大量的专用处理器，用于在视觉系统中必须处理的各种任务，直到，满足 无人驾驶 的车辆。

这些参数包括：

用于控制和管理的8核定制 ARM 处理器CAMMEL；

两个NVIDIA 深度学习 加速器（DLAs），用于运行卷积 神经网络 来处理目标检测和识别；

一个定制的VALTA GPU ，面向通用 AI 模型；

双可编程视觉加速器，用于非AI计算机视觉架构，基于双矢量处理器；

一种用于输入融合和流媒体的立体光流引擎；

VoltaGPU已经被精简，以适应SOC和降低功率，省略了诸如HB2存储器和32/64位浮点（在AI推理工作中不需要）的特征。此外，SOC包括NVLink端口，以使SOC能够访问2个离散的全功能Volta GPU，用于更苛刻的工作，例如5级完全自动驾驶车辆。

作为全球首个自动驾驶处理器，Xavier是迄今为止最复杂的系统级芯片，拥有超过90亿个 晶体管 ，可以处理海量数据。Xavier的 GMSL（千兆多媒体串行链路）高速IO将其与迄今为止最大阵列的激光雷达、雷达和摄像头 传感器 连接起来。

该系统级芯片内置六种处理器：ISP（图像信号处理器）、VPU（视频处理单元）、PVA（可编程视觉加速器）、DLA（深度学习加速器）、CUDA GPU和 CPU ，每秒可进行近40万亿次运算，仅深度学习就高达30万亿次。

这一处理水平比上一代DRIVE PX2参考设计要强大10倍。

为什么Nvidia会在这个复杂的芯片上放这么多不同类型的处理器和加速器呢？目前自动驾驶所需的软件和数据集仍在开发中。基于Xavier，NVIDIA已经建立了一个通用的和可扩展的架构，为快速发展的市场。

NVIDIA希望确保它支持可能出现的OEM需求的超集，当设计者构建软件来捕获、融合和处理来自雷达、LIDAR和视频源的传感器输入时，这些需求可能会出现。

当特斯拉解释为什么要从采用NVIDIA芯片转而使用自己研发的 ASIC 时，使用的性能比较是基于两代以前的NVIDIA技术（Maxwell）。

而NVIDIA声称，Xavier大约比2016年基于PASCAL的Parker SOC快一个数量级。有业内人士猜测，特斯拉之所以“选择离开” 英伟达 ，或是可能他不想自己的车和竞争对手“同质化”（都采用英伟达芯片），或是基于Xavier的Drive-PX价格不低。

接下来，NVIDIA将以至少三个平台来布局Xavier SOC：用于无人机和机器人的Jetson Xavier，用于诸如L3-4级驾驶辅助的Drive Xavier，以及旗舰Drive Pegasus，具有双Xavier SOC和2瓦GPU，以支持完全自动驾驶的L5级。

显然，NVIDIA知道如何为视觉处理设备构建高性能和可伸缩的平台，并且仍然处于非常有利的行业位置。目前尚不清楚的是，随着初创企业、 英特尔 、谷歌和其他汽车制造商内部开发团队将他们的AI产品推向市场，NVIDIA在未来几年将面临不可见的竞争。

从目前来看，Xavier SOC上披露的新细节表明，NVIDIA没有回避视觉处理系统的艰巨计算挑战。它把不同部分分配给特定处理器，包括GPU、矢量处理器和ASIC。

此外，随着英伟达图灵图形处理单元(GPU)架构的推出，该公司“重新发明了计算机图形学”。该架构将成为未来一系列图形芯片的基础，这些芯片将专注于实时光线追踪，或高度真实、物理精确的图形。

该架构可比上代架构快5倍的速度处理图形。图灵的新RT Cores（光线追踪核心）可以加速光线追踪，而新的 Te nsor Cores（张量核心）可以用于人工智能推理，这两种功能首次结合起来，使实时光线追踪成为可能。

图灵架构还具有Tensor Cores(即人工智能子处理器)，它可以加速深度学习训练和推理，每秒可提供500万亿张量操作。这个性能级别支持AI增强的特性，可用于创建具有强大新功能的应用程序。这些包括DLAA （深度学习抗锯齿），这是高质量运动图像生成的突破，其他应用还包括去噪、分辨率缩放和视频调速。

显然，图灵架构这种能力能够创建真实感的虚拟环境，驾驶模拟器将需要虚拟环境来测试和验证安全自主或辅助驾驶所需的硬件和软件。

现在，NVIDIA的挑战是确保它与车辆设计团队保持紧密联系，以了解他们的硬件、软件和定价（成本）要求。随着自动驾驶开始走向主流，NVIDIA有必要将其早期的技术领导地位转变为收入和市场份额的领导地位。

毕竟，在汽车业务营收上，NVIDIA和英特尔（后者收购的Mobileye）还不在一个级别。

英伟达的表现，似乎在说明一些问题。特别是汽车方面，英伟达二季度来自企业行业的收入增长了13%，达到1.61亿美元（新的数字纪录），这是其连续三个季度的第一次两位数增长率。

不过，或许更令人兴奋的是，英伟达已经开始量产并交代DRIVE Pegasus平台，同时戴姆勒和 博世 也在今年宣布在该平台上建立自动驾驶出租车服务。

另一个英伟达值得期待的产品就是针对自动驾驶汽车测试的仿真系统—DRIVE Constella ti on，这是一款基于两种不同服务器的计算平台。

第一台服务器运行英伟达DRIVE Sim软件，用以模拟自动驾驶汽车的传感器，如摄像头、激光雷达和毫米波雷达传感器。

第二台服务器则搭载了英伟达DRIVE Pegasus计算平台，可运行完整的自动驾驶汽车软件堆栈，并能够处理模拟数据——这些模拟数据如同来自路面行驶汽车上的传感器。

仿真服务器由英伟达GPU提供支持，每台服务器都会生成仿真传感器数据流，并将其传送至DRIVE Pegasus进行处理。

据官方介绍，英伟达正在打造一个“硬件在环”（Hardware in the loop，HiL）。这一“硬件在环”周期的发生频率为每秒30次，可用于验证在Pegasus上运行的算法和软件对仿真车辆进行的操作是否正确。

DRIVE Sim软件可生成照片级逼真的数据流，以创建大量不同的测试环境。它能够模拟诸如暴雨和暴风雪等不同天气状况；一天中不同时间内的光线变化，或是夜间受限的视野；以及所有不同类型的路面和地形。

在模拟过程中可设置各种危险情况，来测试自动驾驶汽车的反应能力，以确定其不会对任何人的安全造成威胁。

通过模拟器，自动驾驶行业的从业者们可以通过GPU来生成传感器数据，然后反哺到Drive PX平台上，再进行模拟测试，通过上百万英里的测试定制的场景和极端案例，可以提高算法的鲁棒性——帮助自动驾驶行业加速研发进程以及减少研发成本。

根据专家的说法，一个由100辆汽车组成的车队，就算每日24小时连续不断地测试，跑完110亿英里也至少需要500年。

像Waymo这样的公司之所以能在现实世界中每天行驶10000英里的测试里程，而在虚拟环境中每天能够行驶1000万英里，就是这个原因的。

尽管Waymo采用的并非英伟达的仿真测试系统，但鉴于英伟达目前有超过370家汽车行业合作伙伴，DRIVE Constellation就非常值得期待。

当然，所有这些测试都会产生大量的数据，而这些数据目前大多数公司都没有做好准备。但NVIDIA正在提供解决方案，以帮助在这个快速成长的行业。