生成式AI向边缘蔓延，NVIDIA软件大升级

以生成式AI为代表的应用成为2023年当红炸子鸡，同样爆火的还有NVIDIA。生成式AI的快速发展，正在将Transformer模型和大型语言模型的强大功能扩展到边缘计算、机器人和物流系统等多个关键领域，如缺陷检测、实时资产追踪、自主规划和导航以及人机交互等。在这一潮流中，NVIDIA作为行业的领头羊，正在不断采取一些列措施来迎合市场的发展需求。


 
NVIDIA祭出两大软件武器
 
随着AI应用场景的复杂化，开发者面临着延长的开发周期和高技能要求。而生成式AI的“零样本学习”能力和自然语言界面正在简化边缘AI的开发、部署与管理。通过理解人类的语言提示来调整模型，生成式AI极大地提高了易用性。这些 AI 模型在检测、分割、追踪、搜索甚至重新编程方面都更加灵活，并借此超越了基于卷积神经网络（CNN）的传统模型。
据ABI Research预测，到2033年，生成式AI将为全球制造业带来高达105亿美元的额外收入。
 
在这一背景下，10月18日，NVIDIA宣布对其边缘AI和机器人的Jetson平台上的两大框架——NVIDIA Isaac ROS机器人框架和NVIDIA Metropolis——进行了大规模的扩展。Isaac ROS已全面上市，而Metropolis在Jetson平台上的扩展即将推出。
 
NVIDIA的AI和Jetson平台备受业界追捧，目前，已有超过120万名开发者和1万多家客户，包括亚马逊云科技（AWS）、思科、约翰迪尔、美敦力、百事、西门子等都采用了该平台。
 
NVIDIA 嵌入式和边缘计算副总裁 Deepu Talla 表示：“生成式 AI 具有前所未有的泛用性、易用性和精确性，这将显著加快边缘 AI 的部署。我们在 Jetson 平台上对 Metropolis 和 Isaac 框架进行了有史以来规模最大的软件扩展，并结合Transformer 模型与生成式 AI 的强大功能来满足这一需求。”
 
（1）NVIDIA Metropolis
 
首先是NVIDIA Metropolis的提升，该工具能够帮助企业更轻松、更经济高效地使用全球顶尖的视觉 AI 解决方案，以改善至关重要的运营效率和安全问题。该平台提供了一系列功能强大的应用编程接口和微服务，供开发人员快速开发基于视觉的复杂应用。
 
包括宝马集团、百事、克罗格、泰森食品、印孚瑟斯和西门子在内的 1,000 多家公司正在使用 NVIDIA Metropolis 开发者工具，通过视觉 AI 来解决物联网（IoT）、传感器处理和运营方面的难题。NVIDIA Metropolis 开发者工具的采用速度日益加快，目前已被希望构建视觉 AI 应用的用户下载了 100 多万次。
 
为了帮助开发者快速构建和部署可扩展的视觉 AI 应用程序，NVIDIA Jetson 平台上的 Metropolis API 和微服务扩展集将在年底前推出。
 
（2）NVIDIA Isaac平台
 
其次，NVIDIA Isaac平台也已有数百家客户使用，在农业、仓储自动化、最后一公里配送、服务机器人等多个领域开发了高性能机器人解决方案。
 

在 ROSCon 2023 上，NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 软件的全新版本，对感知和模拟功能进行了重大改进。基于常用的开源机器人操作系统（ROS）的 Isaac ROS，为自动化带来了感知能力，让移动的物体有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所拥有的强大功能（包括视觉里程测量、深度知觉、3D 场景重建、定位和规划等），机器人开发者就拥有了为不同应用快速定制机器人解决方案所需要各种的工具。
 
随着 Isaac ROS 2.0 最新版本的发布，Isaac ROS 已达到生产就绪状态，能够帮助开发者使用 Jetson 平台创建并推出高性能机器人解决方案。
 
开源机器人基金会首席技术官 Geoff Biggs 表示：“ROS 在不断发展进化，并为整个机器人社区提供开源软件。NVIDIA 此次版本中全新预构建的 ROS 2 软件包将助力广大 NVIDIA Jetson 开发者社区随时使用 ROS 2，从而加速这一发展。”
 
AI工作流+生成式AI实验室，为开发者提供进一步助力
 
为开发生产级 AI 解决方案，需要开发和训练针对特定用例定制的 AI 模型，在平台上实现强大的安全功能，编排应用，管理机队，建立边缘到云的无缝通信等。对此，NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精选 AI 工作流参考，帮助开发者快速采用整个工作流或有选择性地集成独立的部分，从而大幅减少开发时间和成本。三个 AI 工作流包括： 网络视频录制、自动光学检测和自主移动机器人。
 
Tirias Research 首席分析师 Jim McGregor 表示：“NVIDIA Jetson 凭借其广泛而多样化的用户群与合作伙伴生态，助推了边缘机器人和 AI 革命。随着应用需求的日益复杂化，我们需要从根本上转向能够简化和加速边缘部署创建的平台。NVIDIA 的这一重要软件扩展为开发者带来了全新的多传感器模型和生成式 AI 功能。”
 
此外，为了加速边缘AI应用的开发和部署，NVIDIA还创建了一个Jetson生成式AI实验室，开发者可以在此利用最新的开源生成式AI模型进行开发。具体而言，NVIDIA Jetson 生成式 AI 实验室为 Jetson 开发者提供经过优化的工具和教程，用以部署开源大语言模型（LLM）、以交互方式生成惊艳图像的扩散模型、视觉语言模型（VLM）以及视觉 Transformer （ViT）。其中，ViT 结合了视觉 AI 和自然语言处理，可提供对场景的全面理解。
 
开发者还可以使用 NVIDIA TAO Toolkit，为边缘应用创建高效而精确的 AI 模型。TAO 提供了一个用于微调和优化 ViT、视觉基础模型等视觉 AI 模型的低代码接口。此外，还可以定制并微调 NVIDIA NV-DINOv2 等基础模型或OpenCLIP等公共模型，用很少的数据创建高度精确的视觉AI模型。现在，TAO 还推出了一个基于Transformer 的新型缺陷检测模型 ——VisualChangeNet。
 
此外，NVIDIA还宣布，全新 NVIDIA JetPack 6 将于今年年底推出，AI 开发者将无需全面升级 Jetson Linux 就能保持在计算领域的最前沿，从而大幅加快开发进度，不再依赖 Jetson Linux。JetPack 6 还将通过与 Linux 发行版合作伙伴的合作，扩大基于 Linux 的发行版的选择范围，包括 Canonical 的优化及经过验证的 Ubuntu、Wind River Linux、并行实时 Redhawk Linux 以及各种基于 Yocto 的发行版。



结语
 
众人拾柴火焰高，要想推动生成式AI的大规模应用和发展，仅靠NVIDIA一家是不够的。在这其中，NVIDIA Jetson合作伙伴生态系统提供了从硬件、AI 软件和应用设计服务到传感器、连接和开发者工具的广泛支持。这些创新的合作伙伴作为 NVIDIA 合作伙伴网络（NPN）中的一部分，是为市场上在售的众多产品提供构件和子系统的中坚力量。
 
最新版本通过采用更多具有更强性能与功能的 AI 技术，将助力 Jetson 合作伙伴加快产品上市并扩大客户群。独立软件供应商合作伙伴也将能够为 Jetson 提供更多产品。
 
总的来说，随着生成式AI和边缘计算技术的不断成熟和发展，我们可以预见一个智能互联的未来，其中机器人和边缘设备能够更加自主、智能地执行任务，从而为人类带来前所未有的便利和效率。而<span style="color: rgb(209, 213, 219); font-family: Söhne, ui-sans-serif, system-ui, -apple-system, " segoe="" ui",="" roboto,="" ubuntu,="" cantarell,="" "noto="" sans",="" sans-serif,="" "helvetica="" neue",="" arial,="" "apple="" color="" emoji",="" "segoe="" ui="" symbol",="" emoji";="" font-size:="" 16px;="" white-space-collapse:="" preserve;="" background-color:="" rgb(68,="" 70,="" 84);"="">NVIDIA 在硬件和软件方面的持续创新，以及其在研究和实际应用领域的投资，共同推动了生成式 AI 技术的迅速发展。随着技术的进步，我们可以预见，在 NVIDIA 的推动下，生成式 AI 将在许多行业中找到新的、令人兴奋的应用。