NVIDIA (辉达) 宣布於 SIGGRAPH 大会首度亮相在虚拟实境环境Holodeck计画 (Project Holodeck) 中,利用 Isaac Lab 模拟器训练出的机器人,并同时推出 VRWorks 360 Video SDK,协助全球各地内容创作者以即时串流方式向观众播放高画质 360 度全景影片。
|
Isaac 与 Holodeck demo |
现场与会来宾不仅能在真实生活与 Isaac 机器人轮流推倒骨牌,还能戴上VR头盔,透过Holodeck进入模拟世界进行游戏,藉此展现Isaac机器人能透过现实或虚拟世界的互动进行学习,利用AI不断自我修正与更新。
此外,NVIDIA於Holodeck平台上展出瑞典超跑品牌Koenigsegg旗下车款Regera,其虚拟车模型由超过5000万个多边形组建而成。现场来宾能变换车色、移动透视环观看零件并探索跑车模型的细节,同时,各展间的叁观者能在共用的虚拟空间中看见彼此并相互交谈。
NVIDIA也於现场展出最新推出的 VRWorks 360 Video SDK,利用 Z-CAM V1 PRO 与 Quadro P6000绘图卡制作现场360度即时全景影片串流,让叁观者能见识实机运行的 360 度影片拼接功能。
亲身体验Isaac与Project Holodeck
NVIDIA Isaac 是一款以 Isaac Lab 强大模拟环境进行训练的 AI 机器人,其能帮助机器人学习精细的人机互动工作,如倒咖啡、照顾老年人、动手术以及玩骨牌等。而 Project Holodeck 则为能进行精准物理模拟并同时容纳多个使用者的虚拟实境协作平台,让人类进入模拟世界并以真实生活中的方式在 VR 环境中与机器人进行互动、调校以及测试,藉此研究人员便能以更安全、快速、低成本的方式将它们部署在真实世界中。
现场展示两种技术如何共同运作,如在骨牌游戏中,NVIDIA 利用深度学习结合电脑视觉,让机器人感知人类的存在并做出回应,第一层类神经网路会根据所撷取的骨牌影像辨识游戏进行状态,并判断各种符合规则的走法,接着资料传给另一个类神经网路,利用增强学习技术判断该选择哪片骨牌以及置於何处。
NVIDIA开启未来即时360度影片
最新 VRWorks 360 Video SDK 中的 360 度全景拼接技术是即时制片与现场转播产业的大跃进,不仅能加速全景影片拼接流程还能维持高品质影像画素,让制作公司、相机厂商与 app 程式开发者能将 360 度影片拼接 SDK 整合到即时转播与後制作业。
NVIDIA 与率先将专业即时 VR 摄影机带到大众市场的 Z CAM 合作,将 NVIDIA VRWorks 360 度影片 SDK 整合到新款 V1 Pro 机种以及 WonderStitch 和 WonderLive拼接程式。
预计於8月7日开放下载的 VRWorks 360 Video SDK 让开发者能撷取、拼接和串流360 度影片。在即时与後制模式下都支援360度单声道 与立体声作业流程,VRWorks将带来:
*透过 4K 摄影机进行即时与离线影片拼接
*GPU 加速的影片解码、校正、拼接及编码
*360 度投影至立体地图与全景模式
*支援 GPUDirect for Video技术 ,以低延迟模式输入影片
*支援 32 个影片串流
Project Holodeck 公测试用计画将於2017年9月开放。