随着AI、5G、IoT等新兴科技的崛起,新一代的行动装置能将更智慧、更沉浸式的使用者体验带到主流市场,包括行动游戏与多媒体应用等产业,期??加速行动装置在创新体验需求的推动。而新一代行动绘图处理器,为提供扩增实境(AR)、虚拟实境(VR)、3D动像、高画质行动游戏等崭新使用情境一个更优质顺畅的效果,需要满足五大关键功能:1.手机平台对游戏与串流影音的高画质、高解析的功能;2.提供细致的使用者介面,在支援丰富资讯的同时要保持即时与低延迟性;3.支援更多元广泛的多媒体格式与新一代的Vulkan API,让开发者开拓更多数量的装置,同时提供高能源效率;4.提供辅助处理AI应用和机器学习运算的能力;5.内容保护(Content Protection)技术的应用。
|
Arm主任应用工程师胡岱勋 |
Arm主任应用工程师胡岱勋指出,现今手机上的多媒体应用,主要来自拍照、录影、本机影音播放与串流影音播放,不论哪种应用,对於解析度与特效的要求,都越来越高;尤其对於色深的要求,也从传统8-bit提升到10-bit为主流,并随着解析度的提升以及色深宽度的加大,记忆体频宽在多媒体应用的消耗量非常惊人。因此,对於多媒体内容的发展,Arm会着墨更多在HDR10的支援,以及记忆体频宽缩减技术的开发与加强;同时随着Arm制定的内容保护(Content Protection)技术,可以强化各串流供应商的安全性需求。
胡岱勋说,Arm对於机器学习有一套完整的软体框架Arm NN,可以广泛支援Arm CPU、Arm GPU、Arm NPU与第三方硬体IP。对於行动绘图处理器来说,Arm的GPU在处理图形运算之馀,也能提供机器学习的辅助算力;在新一代的Bifrost与Valhall架构中,更是提供用於现代工作负载的ISA和运算核心设计,支援INT8 dot product点积运算,减少运算时间。透过ArmNN软体框架,能够在不需更改软体的前提下,让高中低阶的手机,都可以提供GPU的辅助算力,让机器学习的功能与效率更加完善。
胡岱勋认为,多媒体的相关应用已成为现今行动装置不可或缺的一部分,其中行动游戏与串流影音在手机的应用上,更是爆发性地成长,发展愈趋多元,在满足用户体验的需求上更具挑战。从Arm对市场上的观察发现,行动游戏愈来愈注重细腻的高清晰影像,为享有更逼真、如身历其境的游戏效果,市面上有多款重量级、高人气的多人游戏,即需要高画质、高解析、高祯数与特效才能提供玩家顺畅游戏体验;而在串流影音方面,影音云端服务的供应商除了聚焦精致高画质影像之外,也需支援HDR10播放。
因此,对於行动绘图处理器的发展趋势,为让未来所有行动装置皆具备机器学习运算能力,快速处理庞大运算需求,Arm将会着重在更高性能、更高能源效率(Energy efficiency)、记忆体频宽减缩技术、影像优化技术支援、以及兼顾手机功率消耗的专业领域深耕。