NVIDIA继续引领AI时代，加速人形机器人发展

近两年，NVIDIA凭借其在AI领域的卓越表现，在生成式AI大模型领域独占鳌头。如今，NVIDIA将目光转向了人形机器人这一更具挑战性的领域。人形机器人，作为集机械、电子、计算机、人工智能等多学科于一体的复杂系统，一直是科技界追求的目标。然而，高昂的研发成本、复杂的控制算法以及对环境的适应性等问题，一直阻碍着人形机器人的大规模应用。
 
NVIDIA凭借其在AI领域的深厚积累，为解决这些难题提供了有力支持。2024年7月29日，在SIGGRAPH计算机图形大会上，NVIDIA 宣布推出一整套服务、模型和计算平台，来开发、训练和构建下一代人形机器人。
 
NVIDIA 创始人兼首席执行官黄仁勋表示：“AI 的下一波浪潮是机器人，其中最令人兴奋的发展之一是人形机器人。我们正在推进整个 NVIDIA 机器人堆栈的发展，面向全球人形机器人开发者和公司开放访问，让他们能够使用最符合其需求的平台、加速库和 AI 模型。”
 
 
 

推出NVIDIA NIM和OSMO两大服务

 
开发人形机器人需要先进的人工智能和感知技术，使其能够理解和适应复杂的环境和任务。而这正是NVIDIA所擅长之事。通过提供高性能的计算平台、丰富的软件工具以及服务，NVIDIA正在加速人形机器人的智能化进程。
 
在此次大会上，NVIDIA为业界推出了两大服务，包括用于机器人仿真和学习的全新 NVIDIA NIM微服务和框架、用于运行多阶段机器人工作负载的 NVIDIA OSMO 编排服务。
 
NVIDIA NIM微服务：NVIDIA NIM是NVIDIA AI Enterprise的一部分，这是一组推理微服务，专门用于加速在云或数据中心部署基础模型。NIM微服务提供了预构建容器和优化的性能，能够显著缩短开发人形机器人所需的部署时间，从数周缩短到几分钟。这种快速部署的能力对于快速迭代和测试新的人形机器人算法和模型非常关键。
 
 
 
机器人专家将能够通过两项新的 AI 微服务，在 NVIDIA Isaac Sim（基于 NVIDIA Omniverse平台构建的机器人仿真参考应用）中增强生成式物理AI仿真工作流。这两项新的AI微服务分别是指：MimicGen NIM和Robocasa NIM。具体而言，MimicGen NIM 微服务可根据 Apple Vision Pro 等空间计算设备记录的远程操作数据，生成合成运动数据。Robocasa NIM 微服务可在 OpenUSD（一个用于在 3D 世界中进行开发和协作的通用框架）中生成机器人任务和仿真就绪环境。
 
NVIDIA OSMO编排服务：是一项云原生托管服务，允许用户跨分布式计算资源来协调和扩展复杂的机器人开发工作流，无论是在本地还是在云端。OSMO 大大简化了机器人训练和仿真工作流，将部署和开发周期从数月缩短到一周内。用户可以对各种任务进行可视化管理，包括合成数据生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂软件在环测试。
 

一套人形机器人数据捕获工作流

 
人形机器人的开发离不开大量高质量的数据。传统的数据采集方式往往耗时耗力，且成本高昂。在SIGGRAPH上，NVIDIA展示的AI和Omniverse远程操作参考工作流，为这一难题提供了一套全新的思路，该工作流允许开发者使用少量人类演示数据来训练机器人。
 
首先，开发者只需使用 Apple Vision Pro等设备捕获少量人类远程操作演示，随后在 NVIDIA Isaac Sim 中仿真这些录像，MimicGen NIM微服务基于这些仿真数据，进一步生成各种各样的合成数据集，涵盖不同的场景、动作和环境。
 
结合真实数据和合成数据，开发者可以高效地训练Project GROOT人形机器人基础模型，大幅缩短开发周期。NVIDIA Isaac Lab中的Robocasa NIM微服务为机器人学习提供了强大的支持。开发者可以利用这个框架，基于生成的经验数据，不断优化和调整机器人模型。
 
在整个开发工作流中，NVIDIA OSMO将整个开发流程整合在一起，将计算任务无缝地分配给不同的资源，为开发者减少了数周的管理工作量。开发者只需专注于模型的开发和优化，而无需担心底层的基础设施。
 
傅利叶智能作为人形机器人领域的先行者，对NVIDIA的这一新方案给予了高度评价。傅利叶CEO Alex Gu表示：“NVIDIA 的全新仿真和生成式 AI 开发者工具将有助于引导和加速我们的模型开发工作流。”
 

全面的开发者支持计划

 
为了加速人形机器人技术的发展，NVIDIA 推出了开发者早期访问计划。
 
NVIDIA为开发者提供了三个计算平台：用于训练模型的 NVIDIA AI 超级计算机、基于 Omniverse 构建的 NVIDIA Isaac Sim，以及适用于运行模型的 NVIDIA Jetson Thor 人形机器人计算机。这些平台的灵活使用方式使开发者可以根据需求访问和部署所需的计算资源。
 
首批加入早期访问计划的企业包括1x、波士顿动力公司、字节跳动 ByteDance Research、Eield Al、Figure、傅利叶、银河通用、逐际动力、Mentee、Neura Robotics、星动纪元和Skild AI。
 
通过这些新的开发者计划和产品，NVIDIA 在人形机器人领域为全球企业和研究机构提供了先进的技术支持和资源访问，推动了人形机器人技术的快速发展和广泛应用。
 

结语

 
NVIDIA此次发布的工具包将对人形机器人产业产生深远影响。一方面，它将大幅降低机器人开发的门槛，吸引更多的企业和研究机构进入这一领域。另一方面，它也将加速人形机器人在各行各业的应用，例如家庭服务、工业生产等。
 
随着AI技术的不断发展和NVIDIA等科技巨头的持续投入，人形机器人有望在未来几年内在家庭服务、工业生产、医疗护理等领域实现更广泛的应用。