Nvidia 3D MoMa技术，可基于2D图像创建3D物体

Nvidia近日推出了一种新的AI方法，可以将静态照片转换为创作者可以轻松修改的3D对象。在将2D图像转换为3D场景、模型和视频后，该公司将重点转向了编辑。
 
这项技术称之为“NVIDIA 3D MoMa”，可以通过逆渲染的方法将一系列静态照片重建为3D物体或场景模型。该技术可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎，并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果。
 
作为演示，英伟达在本周新奥尔良举行的计算机视觉和模式识别会议CVPR上，使用3D MoMa模拟了爵士乐器。NVIDIA的研究和创意团队从不同角度收集了五种爵士乐队乐器（小号、长号、萨克斯、架子鼓和单簧管）约100张图片。
 

 
然后NVIDIA 3D MoMa工具再将2D图像重建为每种乐器的3D表示，并以网格形式呈现。然后，NVIDIA团队将这些乐器从原始场景中取出，并将其导入NVIDIA Omniverse 3D模拟平台中进行编辑。NVIDIA团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样：闪亮的铜管乐器反射出亮光，哑光的鼓皮则会吸收光线。
 
3D MoMa的工作原理
 
以往，游戏工作室和其他创作者通常使用复杂的摄影测量技术来创建3D物体，这需要耗费大量的时间和精力。而采用3D MoMa将大幅缩减时间。当在单个NVIDIA Tensor Core GPU上运行时，NVIDIA 3D MoMa可以在短短一个小时内完成渲染过程。
 
让我们来看下它的工作原理，3D MoMa渲染流水线可以将逆渲染问题的每个部分表示为GPU加速的可微分组件，然后使用现代AI机器和NVIDIA GPU的原始算力快速生成3D物体，创作者可以在现有工具中自由地导入、编辑和扩展这些物体。该流水线的输出结果与创作者现在使用的3D图形引擎和建模工具直接兼容。
 
为了使艺术家或工程师能够充分利用3D物体，其形式应能够导入游戏引擎、3D建模器和电影渲染器等各种被广泛使用的工具。所以3D MoMa工具采用的是带有纹理、材质的三角网格通用语言。
 
 
今年早些时候，英伟达展示了一种能够在几秒钟内将一组照片转换为 3D 场景的方法，虽然它功能强大，但它并没有创建可以使这些捕获轻松编辑的三角形网格。
 
流水线的重建功能包括3D网格模型、材质和照明。网格就像由三角形构建的3D形状混凝纸浆模型。有了它，开发者就可以依照自己的创意对物体进行修改。材质是叠加在3D网格上的2D纹理，就像人的皮肤一样。NVIDIA 3D MoMa通过对场景光线进行估算，使创作者能够在日后修改物体上的照明。
 
在任何传统图形引擎中，创作者都可以轻松为形状调换由NVIDIA 3D MoMa生成的材质，就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法，将原来的塑料材质快速更换成黄金、大理石、木材或软木。
 
这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素，并且可以在很短的时间内创建它们。Nvidia 图形研究副总裁 David Luebke 将逆渲染技术描述为“统一计算机视觉和计算机图形的圣杯”。
 
写在最后
 
NVIDIA 3D MoMa逆渲染利用现代AI技术和NVIDIA GPU的原始计算能力来快速生成3D对象，创作者可以在现有工具中不受限制地导入、编辑和扩展。一旦这项技术被广泛应用，客户所所节省的时间将是巨大的。