NVIDIA 研究团队构建 AI 模型，为虚拟世界填充3D物体和人物

得益于 NVIDIA Research 新的 AI 模型，越来越多的公司和创作者创建的大型虚拟世界可以更轻松地填充一系列多种多样的 3D 建筑、车辆、人物等内容。


 
NVIDIA GET3D 仅使用 2D 图像进行训练，可生成具有高保真纹理和复杂几何细节的三维图形。这些 3D 对象的创建格式与热门图形软件应用所用的格式相同，允许用户立即将其形体导入 3D 渲染器和游戏引擎，以便进行后续编辑。
 
其所生成的对象可用于建筑、户外空间或整个城市的 3D 表现，为游戏、机器人开发、建筑和社交媒体等行业量身打造。
 
GET3D 可以根据受训练时使用的数据生成几乎无限量的三维图形。就像一位艺术家将一块粘土制成精细的雕塑一样，该模型会将数字转换为复杂的三维图形。
 
例如，借助 2D 汽车图像的训练数据集，它创建了轿车、卡车、赛车和面包车等系列集。当在动物图像上训练后，它会生成狐狸、犀牛、马和熊等生物。如果输入椅子时，模型会生成各种旋转椅、餐椅和舒适的躺椅。

 
NVIDIA AI 研究副总裁 Sanja Fidler 负责领导创建此工具的多伦多 AI 实验室，她表示： “GET3D 让我们离普及 AI 驱动的 3D 内容创作更近了一步。它能够即时生成纹理化的三维图形，这可能会为开发者带来颠覆性的变化，有助于他们迅速填充包含各种有趣对象的虚拟世界。”
 
在 11 月 26 日至 12 月 4 日于新奥尔良（以及在线）举办的 NeurIPS AI 大会上，NVIDIA 有 20 多篇论文、专题研讨会， GET3D 就是其中之一。
 
打造虚拟世界需要多种 AI 类型

现实世界充满了多样性：街道上的建筑各有特点，各有不同的车辆则在其间呼啸而过，川流不息的人群更是异彩纷呈。为反映这一情景的 3D 虚拟世界进行手动建模非常耗时，因此难以填入详细的数字环境。
 
以前的 3D 生成式 AI 模型，虽然比人工方法更快，但在所能生成的细节水平上也被限制了。即使是最近的反向渲染方法也只能根据从多个角度拍摄的 2D 图像生成 3D 物体，这就需要开发者一次构建一个三维图形。
 
相反，在单个 NVIDIA GPU 上运行推理时，GET3D 每秒可生成大约 20 个形体，就像处理 2D 图像的生成式对抗网络一样，只是生成的是 3D 对象。作为学习来源的训练数据集更大、更多样化，输出也会更多样化，并且更详细。
 
NVIDIA 研究人员使用合成数据训练 GET3D，数据中包含使用不同摄像头角度拍摄的三维图形 2D 图像。该团队仅用了两天时间，就使用 NVIDIA A100 Tensor Core GPU，对模型进行了 100 万张图像的训练。
 
让创作者能够修改形状、纹理、材质

GET3D 的名称源于其能够生成显式纹理 3D (Generate Explicit Textured 3D) 网格，这意味着它会以三角形网格的形式创建形体并使用纹理材质覆盖，就像 papier-mâché 模型一样。这使得用户能够轻松地将对象导入游戏引擎、3D 建模软件和电影渲染器，并进行编辑。  
 
在创作者将 GET3D 生成的形体导出到图形应用后，当这些物体移动或旋转时，就能使用逼真的照明效果。 通过整合 NVIDIA Research 提供的另一种 AI 工具 StyleGAN-NADA，开发者可以使用文本提示将特定风格添加到图像中，例如将渲染出的汽车调整为被烧毁的汽车或出租车，或将普通房屋设置成鬼屋。
 
研究人员指出，未来版本的 GET3D 可以使用摄像头姿态预估技术，让开发者能够使用真实世界的数据（而不是合成数据集）来训练模型。还可以对其进行改进以支持通用生成，这意味着开发者可以一次性训练用于各种三维图形的 GET3D，而不必每一次在一个对象类别上进行训练。