账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
3G手机之多媒体应用平台架构剖析
 

【作者: 江志明】2006年07月06日 星期四

浏览人次:【17960】

3G从2000年前后即以明日之星的姿态登场,颇有山雨欲来的态势。不过,这股热潮逐渐消退,取而代之的是各种批判、质疑的声浪,普遍认为3G的投资过巨,而且很可能被后起之秀的技术给替代掉,成为另一波的泡沫投资。


不过,不论是从投资回收的角度,或是技术演进的驱动力,都让3G以稳健的脚步走了下来。目前看起来,2.5G已是今日的主流技术,并一步步过渡到3G的时代。依研究机构iSuppli的统计,目前全球已有105家电信服务商提供商业化的WCDMA/HSDPA网络服务,另有49家服务商提供CDMA2000-1x-EV-DO网络服务。


以手机来看,现在全球总计22.85亿支手机,已经有500万支使用3G服务;预计到了2010年时,3G手机将占所有手机一半以上的数量,真正取得市场主宰的地位。而身为手机龙头的Nokia更是力拱3G手机,该公司预计在今(2006)年生产的新机种中,有一半会是3G手机。再加上Symbian操作系统与3G相关芯片的价格下滑,都有助于3G手机市场的起飞。


3G能够取得市场的认同,一方面来自于用户对无线数据网络的需求,另一方面则是3G技术的前瞻性。3G能让手机成为名副其实的行动网络平台,用户能透过手机进行目前只能在连上有线网络的计算机上才能做的事,如收发信件、查看新闻或气象、链接企业内部数据库,并发展出新的应用模式,如随身携带的电子货币包或身份证。


在技术的演进上,从2G的9.6Kbps,到2.5G的56Kbps,3G标榜的是能将传输速度提升到384Kbps,在此速度下,已足以传输基本的视讯多媒体内容。到了3.5G的HSDPA技术,将进一步能提供下行达14Mbps的宽带传输,而未来还有3.9G的LTE-HSOPA和以OFDMA为架构的4G。在无线带宽不断提升的情况下,更多元的Mobile VOD、Mobile TV、在线3D游戏等影音串流多媒体服务将成为手机应用的主流,以下将探讨3G多媒体手机的设计开发议题。


多媒体功能处理需求

目前的手机依功能性大致可以分为语音手机(Voice phone)、功能手机(Feature phone)和智能型手机(Smart phone)。理论上来说,只要其RF及基频段具备3G通讯的功能,即可属于3G手机,不过,由于数据网络及多媒体才是采用3G的主要诱因,要达成这些诉求,一般的入门级语音电话是做不到的,因此3G手机不论是处理效能或应用功能,都会要求高阶的配备,这也让智能型手机成了3G手机的主要选择。


在3G手机上需处理的多媒体功能,包括音频(Audio)、视讯(Video)的动态影像、相片的静态影像(Image)、2D或3D的图形(Graphic)。这些功能的处理技术都不断地在进步,手机的应用平台也得与时俱进,请参考(图一)。以音频为例,目前把手机当成MP3播放器已愈来愈流行,而且要求不只是用耳机听,还要能用扬声器播放出来,这时就形成了对Hi-Fi立体声的设计需求。这是很大的设计挑战,由于手机的体积太小,若仅是采用两个外部扬声器是不够的,还得搭配特殊的3D音效处理功能来做到临场感的效果。


《图一 手机多媒体格式的应用市场趋势》
《图一 手机多媒体格式的应用市场趋势》

目前主流的音频格式包括AMR、ACC和MP3,其中最新的高阶音频格式为Enhanced aacPlus(HE AAC v.2)和AMR WB+;在静态影像的格式上,由于 JPEG2000 的高效率压缩与多功能的特性,能够以1.2-50Mbps速度传送,而且可提供DVD(720 x 480)的高分辨率和单张影像实时编辑的功能,因此成为下一代高阶手机必须支持的重要规格。


为了满足行动市场对更复杂的3D互动游戏的需求,Open GL-ES已成了行动3D绘图的一套API产业标准,包括手机制造商、核心组件供货商、绘图引擎、游戏开发商和操作系统供货商都已支持这套标准。Open GL-ES 1.1已被市场所采用,它包括用于浮点与定点系统的公用类(Common profile)与精简公用类(Common-Lite profile),以及用于与本地窗口系统手持连接的EGL规格;下一代的OpenGL-ES 2.0也已公布,它改进了原有的1.1版,为OpenGL Shader语言(OGSL)的支持提供了条件。


在手机的多媒体功能中,最消耗软硬资源的,当属视讯内容的编/译码处理。由于手机的带宽及内存有限,旧一代的MPEG-2视频压缩格式虽然仍会存在,但难以满足需求,因此下一代的MPEG-4、H.264和WMV9/VC-1等高阶视频压缩格式会成为手机应用平台支持的重点。


若以手机屏幕的显示质量来看,从低往高可以分为QVGA、CIF、VGA、SDTV/D1,视讯讯息(Video Messaging)、录像(Camcorder)、行动电视(Mobile TV)、视讯电话(Video Telephony)和媒体播放器(Media Player)等不同的视讯应用会有不同的显示质量需求,也会随着市场需求及技术成熟度而演进,请参考(图二),不同世代的应用处理器也会随着这种演进而提出支持。


《图二 不同视讯应用对显示画质需求的演进》
《图二 不同视讯应用对显示画质需求的演进》

3G多媒体处理平台技术架构

上文中我们可以知道,手机多媒体功能的处理已成了一项繁重的任务,因此有必要采用高效率的专属系统架构。目前市场上的应用平台大致可分为两大架构:一是采用通讯调制解调器(modem)与应用处理功能整合的单一芯片;一是采用分离式的架构,以一颗基频处理器应付通讯功能(GPRS/EDGE/WCDMA/HSDPA),其他的多媒体功能则交给应用处理器核心来执行。还有折衷的作法,即是再以上两种架构之外,再搭配可程序化的DSP或硬件加速器来执行专属的功能,如视讯、音频编译码或3D处理功能。


在开发架构上,调制解调器与应用处理平台分离是比较理想的架构,因为在此架构下,通讯与应用功能可以分别发展,这是一种「独立于调制解调器」(modem-agnostic)的处理架构,一方面让应用处理器能充分发挥Symbian、Windows Mobile或Linux等高阶操作系统的应用能力,另一方面也能确保各种服务与应用不会受到无线技术的影响,进而赋与产品更高的可移植性。


API接口标准化

另一个角度则是在通讯与应用分离的情况下,如何让两者保有良好的沟通性。我们提出的观点是基于硬件抽象(hardware abstraction)的开放性接口作法,此架构同时提供上层和下层的观点,上层的观点提供应用程序撰写者一套针对特定操作系统的统一软件接口,并对底层的处理器设计加以抽象化;底层观点是针对LCD控制器、影像传感器或照相机等一般性应用外围的一组标准硬件接口。


在这种标准化的接口架构下,系统中个别单元的技术就能透过一致性的API来进行上层操作系统与下层硬件的沟通,让应用软件从底层的平台架构给分离出来,开发者只需从上层架构的观点对应用程序做抽象层级的开发,而不用对底层的实体平台做直接的呼叫,这让产品能更快速的开发,在平台更新时也不需牺牲效能或程序代码的可互操作性(interoperability),应用功能只需要写一次就够了。不仅如此,由于此一架构的平台具有通透性,制造商也很容对硬件和软件做各种功能升级。


为了达成接口的共通性,有赖手机业界共同的努力来落实标准化的工作。目前业界相当重要的行动产业标准组织,包括3G、MIPI(Mobile Industry Processor Interface)、TCG(Trusted Computing Group)、OMA(Open Mobile Alliance)、OMTP(Open Mobile Terminal Platform)、OpenMAX、Global Platform等。以MIPI来说,其目标就在于推动应用处理器接口的一致性、倡导行动设备间的再利用性和兼容性,进而简化硬件和软件的设计和建置。


硬件架构剖析

以应用处理平台的硬件架构来看,主要可分为处理器核心与加速器硬件,以下将分别介绍:


处理器核心

在手机的应用处理平台中,ARM几乎已成了业界共通的处理器核心。以Nomadik平台所采用ARM926EJ-S核心来说,它是一个强大的32位RISC核心,在ST的0.13微米CMOS制程下能达到350MHz的速度;下一代的Nomadik平台则将采用ARM1176JFZ核心,将可达500MHz的处理效能。


ARM926EJ-S核心包括一个内存管理单位(MMU)、32Kbytes指令快取(instruction cache)、16Kbytes数据快取、一个能执行单一循环MAC的16 x 32 bit乘法器(multiplier),以及具有强大的实时除错支持能力。此外,ARM926EJ-S还包含ARM专门针对Java加速而推出的Jazelle技术,让绝大多数的Java字节程序代码可由硬件加速器来执行。


硬件加速器

有些多媒体或应用功能需占用庞大的运算资源,此时最好采用专属的硬件加速器来降低系统负荷。这些功能包括音频、视讯、3D绘图、数据加解密及生物辨识等等。各家的处理平台作法不一,以下以Nomadik为例来做说明:


视讯处理加速器

不同的视频压缩格式,由于规格复杂度不同,需要的运算资源也不同;此外,编码(encode)又比译码(decode)需耗用更大的运算资源。今日手机若要支持MPEG-4或H.264,在译码工作上用软件来做或许还跑得动,但在加码工作上就得用硬件来做才不会虚耗太多的系统资源。


Nomadik的STn8810方案,采用视讯加速器,能针对MPEG-4的编译码提供30fps的CIF画质、2 fps的VGA画质和384Kbit/s的传输率,也具备图像前/后处理的能力。在关键性的内存作法上,Nomadik以48Kbyte的on-chip SRAM来支持VGA视讯编码,它用在视讯讯框的抓取和搜寻窗口的储存,外部的内存则被用于其余视讯功能的处理。此一作法降低了记忆处理的延迟,让效能可以大幅提升,同时也改善了I/O和总线的设计,能进一步降低耗电;此外,在成本上也因芯片尺寸的缩小而降低。请参考(图三)。



《图三 智能视讯加速器》
《图三 智能视讯加速器》

音频处理加速器

在Nomadik中具有一个音频加速器,它是一个完全以C语言加以程序化的多媒体DSP(MMDSP)核心,此核心采用采用超长指令集(very-long-instruction-word;VLIW)架构,它的每个指令执行为一个循环,而且完全是由C语言撰写的程序,适用于与媒体内容相关的处理以及协议、负载平衡和多任务架构等用途。此一音频加速器能够对包括AAC、MP3、MPEG-1、MPEG-2、MIDI、Dolby Digital等广泛的数字音频格式进行加码或译码,也支持SRS、WOW等3D音频环绕效果。请参考(图四)。



《图四 智能音频加速器》
《图四 智能音频加速器》

硬件线路运算器

为了要进一步降低耗电,有必要将硬件线路运算器(hardwired operator)和MMDSP一起使用,这样能保证即使在最糟的状况下还有足够的效能表现。低频率的硬件负责处理动作估计(motion estimation)、编码转换(transform coding)、变量长度译码(variable length decoding)、图像过滤(image filtering)和色彩转换(color conversion)等需要大量MIPS计算的工作。


多层式互连技术

此外,由于行动设备内部的数据传输日趋复杂而频繁,行动平台中的各个硬件单元也得采用理想的互连技术来沟通。以Nomadik来说,它采用了多层式AMBA crossbar互连技术,这能让在CPU、多媒体加速器、系统内存和外围之间的数据带宽达到最大;其外围支持Symbian、Linux和Windows CE.NET等高阶操作系统,也支持行动多媒体应用所需要的外部接口,如LCD、MMC和安全性数字适配卡和外部的音频编译码器(codecs)。


软件架构剖析

以3G手机的软件架构来说,如上所述,透过标准化的API接口,可以用分层式的架构来进行建置。最上层是应用层,处理用户直接使用的电话、讯息、浏览器、游戏等应用程序;中间层涵盖操作系统核心、设备驱动程序和文件系统等,用来处理多媒体、通讯网络、Java和安全性等中间层的软件功能;最下层则是硬件层,包括多媒体加速器、通讯接口和外围接口等。上层和中间层透过高阶用户API来沟通,中间层和下层则透过低阶API来沟通。



《图五 应用处理平台之软件架构图》
《图五 应用处理平台之软件架构图》

专属的嵌入式实时操作系统(RTOS)虽然能达到优化的软件大小和表现效能,但开发上的难度极高,往往旷日废时。因此,要达成复杂的3G应用需求,手机制造商会偏向采用高阶操作系统(High-level Operation System;HLOS)。高阶操作系统采用标准化的API、好用的UI使用接口及完善的开发工具,让开发者能更有效的开发应用程序,能大幅缩短开发时间与测试成本;对制造及营运商来说,也更容易将同样的应用移植到不同的平台之上。


此外,高阶操作系统也广泛支持各种接口标准,基本的如Unicode、POSIX API和Java等;在链接上的标准包括TCP/IP、POP3、IMAP4、SMTP、SMS、OBEX等,其他新兴的标准则包括J2ME、Bluetooth、MMS、SyncML、IPv6、DVB-H和WCDMA等。目前市场上的主要手机高阶操作系统包括Symbian、Windows Mobile和Linux,三者各拥其发展的利基点,也各有支持的阵营。


结论

此外,高阶操作系统也广泛支持各种接口标准,基本的如Unicode、POSIX API和Java等;在链接上的标准包括TCP/IP、POP3、IMAP4、SMTP、SMS、OBEX等,其他新兴的标准则包括J2ME、Bluetooth、MMS、SyncML、IPv6、DVB-H和WCDMA等。目前市场上的主要手机高阶操作系统包括Symbian、Windows Mobile和Linux,三者各拥其发展的利基点,也各有支持的阵营。手机的发展一日千里,而在3G及更高速的行动宽带平台下,将有更多的可能性会发生。以多媒体服务来说,未来视讯电话将更为流行;透过手机下载MP3音乐或传送手机相片也可望成为普及化的行为,因此手机内存容量也得相对提升,例如Sony就准备推出4G、可以放入1000首歌曲的SD手机。


此外,行动电视(Mobile TV)服务已在全球如火如荼的推展中,它将整合现有的行动通讯平台与数字广播平台,让手机用户能随时随地的收看视讯节目,并进行各种互动加值功能。在多样化的影音多媒体需求下,3G手机的外围功能也得提升,例如得提供Hi-Fi的立体声音效;显示器方面,除了屏幕的尺寸愈来愈大外,为提升显示质量,在分辨率上从qQVGA、QCIF,一路往CIF、VGA升级;面板技术上则从CSTN、A-TFT、LTPS,逐渐升级到OLED;此外,MVA、IPS等宽视角技术也愈来愈受重视。此外,内容的保护也愈来愈重要,DRM或Mobile TV的条件式接取(CA)等安全性作法也是今后设计上不容忽视的一大议题。


延伸阅读

在多样化的影音多媒体需求下,3G手机的外围功能也得提升,例如得提供Hi-Fi的立体声音效;显示器方面,除了屏幕的尺寸愈来愈大外,为提升显示质量,在分辨率上从qQVGA、QCIF,一路往CIF、VGA升级;面板技术上则从CSTN、A-TFT、LTPS,逐渐升级到OLED;此外,MVA、IPS等宽视角技术也愈来愈受重视。此外,内容的保护也愈来愈重要,DRM或Mobile TV的条件式接取(CA)等安全性作法也是今后设计上不容忽视的一大议题。相关介绍请见「大多数2G无线装置采用的基础架构供货商,拥有丰富的知识和实际经验,这是对于2.5G和3G在安全上的必备条件;加强型平台架构除提供可靠的运算能力外,不但可执行最复杂和要求最严格的安全协议及算法,还能延展及适应最简单的安全应用需求,也必须兼容于第三方提供的各种软硬件,为电讯业者、OEM厂商和用户带来整体安全解决方案。」一文。

双核心架构之H.264译码器算法你可在「双核心架构之H.264译码器算法」一文中得到进一步的介绍。

减少2.5G和3G无线应用的安全威胁在「减少2.5G和3G无线应用的安全威胁」一文为你做了相关的评析。

市场动态

多核心系统芯片架构相关介绍请见「以视频压缩而言,工研院IEK分析指出,未来H.264势必将成为行动视讯的主流压缩规格,并进一步带动多媒体处理器、应用处理器甚或基频处理器将逐步加入MPEG-4/H.264功能,预期未来具备MPEG-4/H.264的芯片将由2005年的 1亿2300万套快速成长至4亿2300万套,年复合成长率达28%。」一文。

手机多媒体芯片H.264将成为行动视讯的主流压缩规格Broadcom发表全球首颗7.2 Mbps真正单芯片的HSDPA移动电话处理器」一文中得到进一步的介绍。

Broadcom发表全球首颗7.2 Mbps真正单芯片的HSDPA移动电话处理器在「意法半导体(ST)宣布该公司Nomadik系列产品新增一个多媒体应用处理器。新产品STn8815内嵌两个新的智能加速器和更多的存储空间,在保证软件完全重复使用性的同时能够提高下一代移动设备的性能。」一文为你做了相关的评析。

相关文章
高整合3G模组加速智慧车上路
联发科能否守住中国的一片天?
台湾行动宽频上网服务新战局!
3G市场手到擒来 GPS整合应用前景可期
Femtocell基地台的发展与技术
comments powered by Disqus
相关讨论
  相关新闻
» 工研院MWC 2024展会直击 5G-A无线通讯、全能助理成下一波AI风潮
» 经部「2023玩学5G新视界」 引领台湾网通产业跃上国际舞台
» 欧洲航太技术展在德国盛大展开,全球吸睛 镭洋推出卫星通讯整合方案,目标抢占庞大的欧洲卫星商机
» 经济部主办通讯大赛连线全球 多国创新应用现身
» AIoT扩大物联网、伺服器与元件需求 打造节能永续云端资料中心


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK84T9M9YUQSTACUKL
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw