NVIDIA发布适用于OpenUSD语言、几何体、物理学和材质的生成式AI模型与NIM微服务

丹佛 —SIGGRAPH—当地时间2024年7月29日——NVIDIA于今日发布通用场景描述（OpenUSD）的重大成果。这将扩大这一通用3D数据交换框架在机器人、工业设计和工程领域的应用，提高开发者为AI新一轮发展构建高精度虚拟世界的能力。


 
通过基于OpenUSD的全新生成式AI，以及在NVIDIA Omniverse平台构建的 NVIDIA 加速的开发框架，越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用，以及用于构建新一代物理AI和机器人的环境仿真的应用。
 
新推出的内容包括适用于AI模型的NVIDIA NIM™微服务，这些微服务可生成回答用户查询的OpenUSD语言、生成OpenUSD Python代码、将材质应用于3D物体、理解3D空间和物理学以帮助加快数字孪生的开发等。其他还包括可用于机器人和工业仿真数据格式的全新USD连接器，以及各种开发者工具，用户可通过它们将海量NVIDIA RTX™全光线追踪数据集传输到Apple Vision Pro。
 
NVIDIA Omniverse与仿真技术副总裁Rev Lebaredian表示：“重工业的生成式AI潮已经到来。直到最近，数字世界的主要用户还是创意行业；而现在，借助NVIDIA NIM微服务为OpenUSD带来的增强功能和可访问性，各个行业都可以创建基于物理学的虚拟世界和数字孪生，在加快创新的同时，为机器人这次新一轮AI技术热潮做好准备。”
 
通过NVIDIA NIM将生成式AI应用于USD

NVIDIA开发的全球首个用于OpenUSD开发的生成式AI模型将以NVIDIA NIM微服务的形式提供。借助这些模型，开发者能够将生成式AI copilot和智能体整合到USD工作流中，拓宽3D世界的可能性，帮助加快USD在制造业、汽车行业和机器人等新工业领域的应用。
 
预览版中的微服务包括：
 
lUSD Code NIM微服务：回答常识性OpenUSD问题，并基于文本提示自动生成 OpenUSD-Python代码，然后将其输入到OpenUSD查看应用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的应用，以实现相应3D数据的可视化。

lUSD Search NIM微服务：使开发者能够使用自然语言或图像输入，在海量OpenUSD、3D和图像数据库中进行搜索。
lUSD Validate NIM微服务：检查上传文件与OpenUSD发布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（应用编程接口）驱动的RTX渲染路径追踪图像。
 
即将提供的新微服务包括：
 
lUSD Layout NIM微服务：使用户能够基于空间智能，根据一系列文本提示组装出基于 OpenUSD的场景。

lUSD SmartMaterial NIM微服务：预测并将逼真的材料应用于计算机辅助设计对象。

lfVDB Mesh Generation NIM微服务：根据点云数据生成基于OpenUSD的网络，并通过 Omniverse Cloud API进行渲染。

lfVDB Physics Super-Res NIM微服务：对帧或帧序列执行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。

lfVDB NeRF-XL NIM微服务：使用 Omniverse Cloud API 在 OpenUSD中生成大规模神经辐射场。
 
Foxconn是全球制造业的领导者，在全球拥有 170 多家工厂，受益于NVIDIA的计算平台，利用 NIM 微服务和 Omniverse 为一家正在开发中的工厂创建了数字孪生。
 
Foxconn首席数字官兼智能制造平台负责人史喆表示：“数字孪生将帮助我们加速新一波工业制造和自主机器的发展。NVIDIA Omniverse 和全新的 NIM 微服务将使数字孪生的开发变得更加普及，并帮助我们的团队以前所未有的速度构建基于物理的虚拟工厂。”
 
全球领先的营销与传播服务公司WPP是USD Search和USD Code NIM微服务的早期用户之一。该公司将这些微服务用于其基于NVIDIA Omniverse构建的生成式AI内容创建管线中，为可口可乐公司等客户提供服务。
 
WPP首席技术官Stephan Pretorius表示：“这些创新的美妙之处在于它与我们的工作方式高度兼容，并充分利用了开放标准。这不仅加速了未来的工作，而且使我们能够继续巩固和扩展我们之前在OpenUSD等标准上的所有投资。通过使用NVIDIA NIM微服务与NVIDIA Omniverse，我们能够以前所未有的速度与可口可乐公司等企业联合推出创新的新生产工具。”
 
USD连接器为更多行业带来生成式AI

多款适用于机器人数据格式和Apple Vision Pro流式传输的全新USD连接器将为更多行业带来 OpenUSD互操作性与高级创作能力。
 
为帮助更多使用 OpenUSD的工业工作负载，NVIDIA与全球工业自动化和软件领先者西门子正在扩大合作。西门子将把OpenUSD 流水线与其Simcenter仿真技术组合集成，以支持基于证据的决策和关键利益相关方之间的协作。
 
该集成可实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够更加深入地了解产品在实际操作环境中的性能。西门子将把Omniverse纳入到其Teamcenter 产品生命周期管理软件组合中，为这项工作打好基础。
 
NVIDIA还发布了一个从统一机器人描述格式（Unified Robotics Description Format）到OpenUSD的连接器，让机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。
 
为了进一步推动OpenUSD生态系统的扩张，NVIDIA发布了OpenUSD Exchange软件开发套件，帮助开发者创建出自己的强大OpenUSD数据连接器。
 
新的开发者工具和API可通过NVIDIA Graphics Delivery Network（GDN），将大规模OpenUSD场景从基于Omniverse平台构建的应用流式传输到 。目前，这些新工具和API提供抢先体验版本。
 
皮克斯首席技术官兼 OpenUSD 联盟（AOUSD）主席 Steve May 表示：“OpenUSD 正在彻底改变我们创建3D内容并与之互动的方式。现在，借助NVIDIA为OpenUSD打造的这些新服务和API，我们有望看到USD以更快的速度增长和普及，这将为新用户和行业更轻松地参与我们的生态系统铺平道路。”
 
OpenUSD生态系统的发展势头

去年，NVIDIA与皮克斯、Adobe、苹果和Autodesk 共同创立了OpenUSD联盟，并通过OpenUSD联盟与其他伙伴一起发布了 OpenUSD 的新版本、OpenUSD 核心规范的进展以及新成员的加入情况。
 
供货情况

NVIDIA API目录现在提供USD Search、USD Code 和 USD Validate NIM微服务的预览版。OpenUSD - URDF连接器现已与 NVIDIA Isaac Sim™一起提供。
 
开发者可以使用全新Omniverse开发者工具和参考工作流，将生成式AI集成到OpenUSD工作流中，使用OpenUSD构建生成式AI赋能的合成数据管线。