米兰·(milan)中国官方网站-CVPR 2022 现场直击！居然有人用图形学创造 3D 物体开爵士音乐会？

昨天 CVPR 2022 于美国线下揭幕，各人都到现场了吗？……（狗头护体）

时隔两年，CVPR终究线下面基，各方年夜神也纷纷各显神通，年夜秀肌肉~那末，本年的CVPR有甚么有趣的研究结果出现呢？

小编紧密亲密存眷，不测发明了一场 3D 衬着的爵士乐吹奏会：

据相识，这个效果的暗地里推手是一个被称为“3D MoMa”的要领！

而研发 MoMa 的团队，恰是于图象衬着范畴很有造树的 NVIDIA Research！

该要领图形学取经，可让修建师、设计师、观点艺术家及游戏开发者迅速将物体导入图形引擎，并最先对于其举行处置惩罚——修改比例、转变材质或者测验考试差别的照明效果，末了形成如许一幅传神的吹奏现场画面！

爵士乐的精髓于在即兴吹奏，而可逆衬着流程“NVIDIA 3D MoMa”偏偏就能让图形创作者快速创立出 3D 物体，到达即兴演出的要求。

偶合的是，本年 CVPR 的举办地新奥尔良恰是爵士乐的起源地……

逆衬着是将一系列静态照片重修为3D物体或者场景模子的技能。NVIDIA图形学研究副总裁David Luebke暗示：“该技能持久以来一直是同一计较机视觉及计较机图形学的要害。”

他暗示：“NVIDIA 3D MoMa衬着流水线可以将逆衬着问题的每一个部门暗示为GPU加快的可微分组件，然后利用现代AI呆板及NVIDIA GPU的原始算力快速天生3D物体，且创作者可以于现有东西中自由地导入、编纂及扩大这些物体。”

为了使艺术家或者工程师可以或许充实使用 3D物体，其情势应可以或许导入游戏引擎、3D建模器及影戏衬着器等各类被广泛利用的东西。带有纹理、材质的三角网格情势，就是此类3D东西利用的通用语言。

图注：三角网格是用在界说3D图形及建模外形的基本框架

游戏事情室及其他创作者习气在利用繁杂的摄影丈量技能来创立3D物体，这需要泯灭年夜量的时间及精神。近期的神经辐射场（Neural Radiance Fields）研究可以快速天生物体或者场景的3D模子，但其实不是利用易在编纂的三角网格情势。

当于单个NVIDIA Tensor Core GPU上运行时，NVIDIA 3D MoMa能于一个小时内天生三角网格模子。该流水线的输出成果与创作者此刻利用的3D图形引擎及建模东西直接兼容。

流水线的重修功效包括3D网格模子、材质及照明。网格就像由三角形构建的3D外形混凝纸浆模子。有了它，开发者就能够依照本身的创意对于物体举行修改。材质是叠加于3D网格上的2D纹理，就像人的皮肤同样。NVIDIA 3D MoMa经由过程对于场景光芒举行估算，使创作者可以或许于往后修改物体上的照明。

为了展示NVIDIA 3D MoMa的功效，NVIDIA的研究及创意团队起首从差别角度网络了五种爵士乐队乐器（小号、长号、萨克斯、架子鼓及单簧管）的约100张图片。

NVIDIA 3D MoMa将2D图象重修为每一种乐器的3D暗示，并以网格情势出现。然后，NVIDIA团队将这些乐器从原始场景中掏出，并将其导入NVIDIA Omniverse 3D模仿平台中举行编纂。

于任何传统图形引擎中，创作者均可以轻松为外形更调由NVIDIA 3D MoMa天生的材质，就像给网格穿上差别的衣服同样。例如该团队对于小号模子采纳了这类做法，将本来的塑料材质快速改换成黄金、年夜理石、木料或者软木。

然后，创作者可以将新编纂的物体放入任何虚拟场景中。NVIDIA团队将这些乐器放入了经典的图形衬着质量测试康奈尔盒中。他们证实了虚拟乐器对于光芒的反映与于物理世界中彻底同样：闪亮的铜管乐器反射出亮光，哑光的鼓皮则会接收光芒。

这些经由过程逆衬着天生的新物体可以作为繁杂动画场景的组成要素。

更多研究详情，请不雅看原文：

论文地址：https://arxiv.org/pdf/2111.12503.pdf

雷峰网(公家号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。