在NVIDIA Research开发出全新人工智慧(AI)模型後,越来越多公司及创作者可以将各种3D建筑物、车辆和人物角色置入他们打造的庞大虚拟世界中。
![NVIDIA Research打造出人工智慧模型GET3D,单纯使用2D影像进行训练,便能产生出极为逼真的纹理和具复杂几何细节的3D形状](/news/2022/09/26/1343070090S.jpg) |
NVIDIA Research打造出人工智慧模型GET3D,单纯使用2D影像进行训练,便能产生出极为逼真的纹理和具复杂几何细节的3D形状 |
NVIDIA GET3D单纯使用2D影像进行训练,便能产生出极为逼真的纹理和具复杂几何细节的3D形状。用户使用与热门绘图软体应用程式一样的格式来建立这些3D物件,可以立即把这些形状汇入3D渲染器和游戏引擎中,进行後续编辑工作。
产生出的物件可用来呈现出3D形状的建筑物、户外空间或整个城市,供游戏、机器人、建筑和社群媒体等业界使用。
GET3D可以按照用来训练它的资料产生出不限数量的3D形状。就像艺术家精致细腻的雕塑黏土一样,GET3D模型将数字转变成复杂的3D形状。
像是使用2D汽车图片的资料集来训练GET3D模型,它会建立出3D形状的轿车、卡车、赛车及小货卡等车辆。使用2D动物图片来进行训练时,它就会产生诸如3D形状的狐狸、犀牛、马和熊等动物。而使用2D椅子图片进行训练时,它则会产生各种3D形状的转椅、餐椅和舒适的躺椅。
NVIDIA AI研究部门??总裁Sanja Fidler表示:「GET3D模型让我们更离大众化使用AI来创作3D内容更近了一步。它能够即时产出带有纹理的3D形状,这对开发人员来说或许会颠覆过去的游戏规则,协助他们快速在虚拟世界中加入各种有趣的物件。」Sanja Fidler同时也是NVIDIA位於多伦多的AI研究实验室的主管,这项工具就是由该实验室所开发。
现实世界具丰富样貌,街道两旁是独一无二的建筑,各种车辆呼啸而过,形形色色的人群穿梭其中。用人工方式模拟出一个能反映这些特色的3D虚拟世界须花费不少时间,而难以在此数位环境中添加各种细节。
AI模型在建立3D虚拟世界时虽然比过去用人工的方法更快,但仍不够精细。就算最新的逆向渲染法也只能根据从不同角度拍摄的2D影像来产生出3D物件,开发人员一次只能建立一个3D形状。
GET3D就不同了,在一个NVIDIA GPU上进行推论时,一秒钟大概能产生20个形状,其运作方式就像是用於产生2D影像的生成对抗网路,同时产生3D物件。使用规模愈大、内容越多样化的资料集来训练它,便能输出更多元精细的内容。
NVIDIA的研究人员使用从摄影机不同角度拍摄3D形状的2D图片合成资料来训练GET3D模型,他们在NVIDIA A100 Tensor核心GPU上处理100万张图片,仅用了两天时间就完成训练工作。
GET3D的名称源自於其能生成清晰纹理3D(Generate Explicit Textured 3D)网格,意味着用三角网格来建立各种形状,就像是混凝纸浆模型上面覆盖着纹理材料。这让使用者可以轻松把物件汇入游戏引擎、3D建模器和电影渲染器中并进行编辑。
创作者把GET3D产出的形状汇出至绘图应用程式,便能在物体於场景中移动或转动时加上逼真的照明效果。开发人员将GET3D搭配NVIDIA Research的另一项AI工具StyleGAN-NADA,就可以用文字描述替影像加上特定风格,例如将渲染出的汽车变成烧毁的汽车或计程车,或是把正常的房子变成鬼屋。
研究人员指出日後的GET3D版本可使用摄影机姿势预估技术,让开发人员能使用真实环境的资料(而非合成资料)来训练模型。研究人员还将改进GET3D模型以支援通用生成技术,开发人员便能一次使用各种3D形状来训练GET3D,而非一次用一种物件类别来进行训练。