[原创] 起底Jetson“家族”，看英伟达的边缘计算布局
2021-12-14
14:00:34
来源: 半导体行业观察
自GPU发明以来，英伟达推动了PC游戏市场的增长，并在过去二十年重新定义了现代计算机图形、高性能计算和人工智能。英伟达也乘着AI的火热，股价一路飙升。现在的英伟达已经不仅仅是一家芯片公司，而是一家平台公司。
在今年11月份的GTC大会上，英伟达重磅发布了Jetson“家族”的新成员“Jetson AGX Orin”，再次掀起边缘计算的热潮。如今人工智能、物联网和5G的演进给边缘计算带来了无限的可能性。凭借超强的并行处理能力，英伟达的GPU让人工智能革命真正爆发，并彻底颠覆了计算的定义。而在其GPU繁荣的背后，英伟达的Jetson“家族”是很重要的参与一员。
最近几年，边缘计算的需求急剧爆发。据Gartner的研究，预计到2021年底，超过50%的大型企业将部署至少一个边缘计算的应用程序来应对物联网带来的计算需求，而在2019年，仅有5%企业具有边缘计算需求。更甚之，Gartner表示，预计到2023年底，超过一半的大型企业将部署至少6个边缘计算程序。
在这样的背景下，作为公认的AI领域的领导者，在今年11月份的GTC大会上，英伟达则发布了一款体积小、功能强的人工智能超级计算机NVIDIA Jetson AGX Orin，它专为机器人、自主机器、医疗器材及嵌入式边缘运算场景而生。
Jetson AGX Orin采用 NVIDIA Ampere 架构 GPU 和 Arm®Cortex-A78AE CPU 以及新一代深度学习和视觉加速器，Jetson AGX Orin在同样紧凑的外形尺寸下提供高达 Jetson AGX Xavier 6 倍的性能，AI性能达到200 TOPS。此外，它高速的IO、204GB/s 的内存带宽和 32GB的DRAM 能够为多个并发的 AI 应用程序输送数据。而且其功耗最低可达到15W，最高为50W。这使其成为下一代自主机器（如交付和物流机器人、工厂系统和大型工业无人机）的首选解决方案。
Jetson AGX Orin目前适用于三个英伟达的平台，包括用于机器人技术的 Isaac、用于医疗保健的Clara和用于智慧城市的Metropolis。值得一提的是，NVIDIA发布了新的用于Isaac Sim的NVIDIA Omniverse Replicator，它是一个可以生成生产级数据集的强大应用。Isaac Sim中的这些新功能使ML工程师能够构建生产级的合成数据集，以训练强大的深度学习感知模型。“复制”模型目标域的固有分布是最大化模型性能的关键。
在医疗领域，Jetson AGX Orin将为英伟达的Clara Holoscan计算平台提供动力，像一些机器人手术、内窥镜检查和诊断成像系统等设备就需要计算平台来提供AI决策。在运输行业，Orin也支持英伟达的DRIVE AGX Orin平台，它通过AI 助手重新定义车内乘客体验，并为安全的自动驾驶提供动力。
随着机器人和嵌入式计算的发展，Jetson AGX Orin的应用还在不断扩大，它将使85万名 Jetson开发者和 6000 多家在其基础上构建商业产品的公司能够创建和部署以前不可能实现的自主机器和边缘 AI 应用，为边缘 AI 和自主机器的未来开辟了道路。Jetson AGX Orin模组及开发套件将于2022 年第一季上市。
然而，Jetson AGX Orin只是英伟达Jetson的冰山一角，因为在此之前，Jetson还有多个系列正在边缘计算领域发光发热。
为什么说英伟达越来越是一个平台型的公司，就拿NVIDIA Jetson来说，它是世界领先的边缘AI平台。该平台包括Jetson模组（外型小巧的高性能计算机）、可加速软件的JetPack SDK，以及包含传感器、SDK、服务和产品的生态系统，从而加快用户的产品开发速度。每个NVIDIA Jetson都是一个完整的系统模组 (SOM)，包括 CPU、GPU、内存、电源管理、高速接口等。所以英伟达已经不单单只做芯片而已。
自Jetson系列产品推出以来，以Jetson系列为代表的自主机器开发工具大大降低了自主开发创造的技术门槛，Jetson模组提供不同性能、功耗和外形规格的组合，因此可为各类行业的客户所使用。Jetson的模组“家族成员”主要包括 Jetson AGX Orin、Jetson AGX Xavier、Jetson Orin NX、Jetson Xavier NX、Jetson TX2 、Jetson Nano和此次新发布的Jetson AGX Orin系列 。接下来我们就来深度剖析下Jetson的各个模组规格的性能情况：
2019年英伟达推出了Jetson Nano，它是一款功能强大的小型计算机，专为支持入门级边缘 AI 应用程序和设备而设计能够同时并行运行多个神经网络应用，例如图像分类、目标检测、物体分割和自然语言处理等。其运行功耗仅为 5 瓦，非常易于上手。Nano可以称为现实世界中学习AI的最佳“跳板”，例如比较代表的是，英伟达推出了基于Jetbot Jetson Nano（含 2GB）的智能无人车教学系统。在 NVIDIA GTC 2019 年大会上，这个项目现场演示了“避障”、“循路”与“遇障停止”等功能，吸引了众多专业人士的眼球。
Jetson TX2系列模块有69.6 毫米x 45 毫米或50毫米x 87毫米两种尺寸，可在无人机等小型产品中实现深度学习应用。它的GPU架构具256 个 NVIDIA® Pascal™内核和高达 8 GB 的内存，可在低至 7.5 W 的情况下提供高达Jetson Nano的 2.5倍性能。Jetson TX2 NX提供与Jetson Nano的引脚和外形兼容，而Jetson TX2、TX2 4GB 和 TX2i 都共享原始 Jetson TX2外形尺寸。非常适合在带宽和延迟可能成为问题的应用中进行实时处理，包括工厂机器人、商用无人机和企业协作设备。
Jetson Xavier NX 开发者套件和 Jetson Nano 体积大小相同，性能却比前身Jetson TX2 高出10倍以上。得益于 Volta 架构，Jetson Xavier NX有48个Tensor内核，提供了6.8TFlops 的FP16算力， Jetson Xavier NX还有两个DLA（Deep Learning Accelerator），提供FP16和 INT8 支持。这样总计共有21TOPs的INT8算力，而其功耗仅为15W，如果切换到10W模式，也能提供14TOPS的算力。
NVIDIA Jetson AGX Xavier芯片主要由NVIDIA自研的Carmel架构8核64位CPU和Volta架构512 CUDA处理器GPU这两大模块组成，这两部分电路也占据了芯片的大部分空间。它的GPU有512个核，是Jetson TX2的两倍，并且搭载了深度学习加速器，以及视觉加速器。CPU从NX的6核提升到8核，速度提升了2倍。除了功能强大外，Xavier的功耗依然保持较低的水平。最厉害的地方在于，其提供了PCIe Gen4 x16以及M.2 PCIe x1通用扩展插槽，可用于连接WiFi或蜂窝网络模块等附加设备。
除此之外，英伟达还发布了Jetson AGX Xavier工业级模组，它扩展了Jetson AGX Xavier系统级模组的功能，使开发者能够构建先进、支持 AI 的坚固耐用型系统。能够提供每秒30 TOPS的AI性能。而且它在引脚、软件和外形方面还与Jetson AGX Xavier 模组兼容，易于升级。
目前英伟达的这些Jetson系列产品已在不同行业、应用场景落地。例如，Jetson Nano已走进北京名校教研基地，赋能教育人才培养；全球很多的学生都在使用Jetson Nano创造机器人；Jetson AGX Xavier用于全电动自动配送机器人，一款名为Serve的机器人可以携带50磅重的货物，行程高达30英里；宝马集团已采用全新NVIDIA Isaac™机器人平台对其车厂进行优化。英伟达的Jetson系列产品正在创造着无限可能。而这，远远不够，英伟达还在为更广泛、更强大的Jetson规划。
关于今后Jetson的软硬件路线图，英伟达也做了很明确的规划。
首先来看硬件模组方面，从商业版的路线图上可以看到，2021年NANO模组会有升级，到2022年再会有一个整体系列的模组升级版。其他的如，AGX Xavier（32GB LPDDR4X）、TX2（8GB LPDDR4X）、TX2（4GB LPDDR4X）、NANO（4GB LPDDR4X）等模组将在2025年发布；Xavier NX（8GB LPDDR4X）模组要到2026年升级。
工业版的硬件规划主要包括三方面：一个是TX2i（4GB LPDDR4X）模组到2025年进行升级；另外，AGX Xavier工业级（32GB LPDDR4X）模组预计2021年上半年量产，到2031年进行升级；同时，2023年新的AGX Orin也在计划中。
我们都知道，所有的Jetson模组均由同一软件堆栈提供支持，这样做的好处是，便于公司进行一次开发，也可在任意地方部署。Jetson平台由JetPack SDK提供支持，它包括板级支持包 (BSP)、Linux 操作系统、NVIDIA CUDA®，还有一系列丰富的 GPU 加速库，以及用于视频分析的 DeepStream SDK和用于机器人开发的Isaac SDK。JetPack还附带样例、文档和开发者工具，帮助开发者加速开发并优化性能。
在软件方面，英伟达的投入丝毫不逊色。JetPack软件定期更新，以实现性能改进、新功能以及对新模块和开发人员套件的支持。从下图我们可看到JetPack的路线图规划。2021年7月英伟达发布了JetPack 4.6版本，它主要带来了 CUDA、cuDNN 和 TensorRT计算堆栈的更新。JetPack 4.6将是Jetson Nano、Jetson Nano 2GB、Jetson TX1和Jetson TX2系列后的一个主要版本。
在JetPack 4.6之后，JetPack 4代码行将过渡到持续模式，2021年第四季度发布JetPack 4.6.1，通过 JetPack 4.x 版本继续提供软件支持，以进行安全更新和关键错误修复。
下一个主要版本是JetPack 5.0，其主要包括对LTS Kernel 5.10和Ubuntu 20.04 的升级。还有包括支持UEFI（取代 CBoot）、支持 OP-TEE（取代 Trusty 作为可信执行环境）以及升级的计算堆栈，包括 CUDA 11。JetPack 5.0的开发者预览版计划将于2022年第一季度发布，正式版将在2H-2022发布。JetPack 5.0将支持Jetson Xavier NX 和 Jetson AGX Xavier系列，以及未来的Jetson产品，包括2022年的Jetson Orin和2023年的Jetson Nano Next。
从上文我们可以看到，英伟达已通过Jetson的多个产品系列在多个边缘计算场景进行了周密的布局。未来部署在边缘的用例数量和工作负载类型将会持续增加，而在自然语言处理、推荐系统和机器人技术等工作负载领域还有很多未开发的机会。英伟达的Jetson“家族”也已经火力全开，为探索嵌入式计算的未来不断努力。
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第2888内容，欢迎关注。
『 半导体第一垂直媒体 』
实时 专业 原创 深度
识别二维码 ，回复下方关键词，阅读更多
晶圆｜集成电路｜设备 ｜汽车芯片｜存储｜台积电｜AI｜封装
回复 投稿 ，看《如何成为“半导体行业观察”的一员 》
回复 搜索 ，还能轻松找到其他你感兴趣的文章！
责任编辑：Sophie
