帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
行動多媒體平台的軟硬體架構剖析
開放式行動多媒體平台系列(2)

【作者: Alan Lee】   2005年10月01日 星期六

瀏覽人次:【2867】

行動終端設備的發展可說是一日千里,誠如本系列文章第一篇所述,在高階設備中已能見到包括影像及音樂下載、視訊傳送等多媒體功能,未來利用手機監看家中小孩、老人或收看新聞、運動等視訊短片,將是指日可待的服務。


要在小小的一台行動終端設備上達成的任務愈來愈多樣,其核心的關鍵將在於內部的行動平台是否能支援照相、彩色顯示、TV輸出、IrDA、Bluetooth、USB、音訊和多種型式的記憶卡,以及傳統式鍵盤和複雜的無線數據機等廣泛的介面標準。


在本系列文章第一篇中已指出,封閉且專屬的開發環境將不再受到市場的青睞,唯有讓製造商能自由地對自己的產品進行差異化設計的開放式環境,才能滿足今日的需求。本文將進一步探討一個開放式行動平台的軟硬體架構。


平台架構考量

目前市面上常見的應用處理器中,大多是採用單一的ARM核心,或是採用DSP加ARM核心的雙核心架構。這兩種途徑雖然能滿足一般性的需求,但當時脈提高而造成資料在處理器和記憶體間快速傳遞時,採用單一性或區隔性的運算架構都會顯得力有未逮。這時,為了強化處理功能,在行動平台中加入加速器硬體,將能更理想的執行視訊等多媒體任務。


以Nomadik平台為例,它採用的是分散式處理架構,在此架構中配備了專為即時應用處理而開發的可程式智慧加速器。在任務執行中,這些智慧加速器能獨立且同時的運作,進而讓系統能在低耗電的條件下達成需求的應用功能表現。


在這個平台中採用的主處理器是ARM926EJ-S,能達到行動處理器的最高等級標準,但由於有智慧加速器來分擔應付所有在音訊和視訊上的前、後處理任務,讓這顆主處理器能長期處於省電模式下,並更專注於適合它來發揮的控制及程式流執行等工作。為了處理更多的專屬應用功能,未來平台中計畫再加入新的智慧加速器,包括DSP核心或另外的專屬硬體,或兩者同時加入等作法,以提供專為3D繪圖、資料加密和生物辨識等服務而設計的硬體。


《圖一 分散式處理模式(以Nomadik為例)》
《圖一 分散式處理模式(以Nomadik為例)》

<資料來源:ST>


硬體架構剖析

由於行動設備內部的資料傳輸日趨複雜而頻繁,行動平台的硬體部分中除了處理器架構的選擇外,也得採用恰當的連接介面技術,同時得考慮對作業系統及各種介面的支援性。以Nomadik來說,它採用了多層式AMBA crossbar互連技術,這能讓在CPU、多媒體加速器、系統記憶體和週邊之間的資料頻寬能達到最大;其週邊支援Symbian、Linux和Windows CE.NET等高階作業系統,也支援行動多媒體應用所需要的外部介面,如LCD、MMC和安全性數位介面卡和外部的音訊編解碼器(codecs)。


不過,平台中的靈魂角色無疑還是這顆主處理器。ARM核心能廣泛被市場接受,自然有其獨到的技術優勢,先前提到的ARM926EJ-S核心,是一個強大的32位元RISC核心,在一般情況下,能在0.13微米CMOS製程產品上達到350MHz的速度。這個核心包括一個記憶體管理單位(MMU)、32Kbytes指令快取(instruction cache)、16Kbytes資料快取、一個能執行單一循環MAC的16×32bit乘法器(multiplier),以及即時除錯支援能力。


ARM926EJ-S包含ARM針對Java加速而推出的Jazelle技術,這項ARM的延伸功能可以執行139個在硬體中,以及88個以上在軟體中最常用的Java位元組程式碼。在運作時,大約95%的Java位元組程式碼一般可由硬體加速器來執行,其他5%較少使用的Java位元組程式碼是由與Jazelle硬體工作而撰寫的最佳化Java虛擬機器(JVM)來執行。ARM926的主要功能特色整理如下:


  • ●32/16-bit RISC架構,並採用業界標準的AMBA bus AHB介面;


  • ●16-bit Thumb指令集,用於增加的程式碼空間;


  • ●DSP指令延伸和單一循環MAC;


  • ●Java程式碼位元組的高執行效率:0.075mW/CaffeineMarks, 6 CM/MHz=2100CM@ 350MHz。



《圖二 行動平台架構(以Nomadik為例)》
《圖二 行動平台架構(以Nomadik為例)》

<資料來源:ST>


採用智慧加速器的分散式處理技術

視訊傳輸將是行動設備上的殺手級應用,但由於視訊內容屬於佔用頻寬大且不容許延遲的一種應用,因此如何透過適當的壓縮傳輸技術來保證傳輸品質,就成了這項應用能否被廣泛接受的關鍵。


以既有的H.263和MPEG-4視訊標準來說,只定義了解碼和位元串流語法(bit-stream syntax),以及定義規格(profile)或等級(level)在互操作性上所需的最小值,雖然編碼和後處理(post-processing)對於解碼視訊的主觀品質是很重要的,但因這兩者都沒有被標準化而允許廠商自行做差異化的設計,這意味著H.263和MPEG-4相容的編解碼在表現上可能會存在著很大的落差。


這裏提出的智慧加速器分散式架構,可以改善這樣的問題。這些加速器在產生圖像、錄影、播放節目和雙向影音通訊時,展現了極低的耗電性,所提供處理動力和記憶體頻寬,足以驅動VGA形式的螢幕(640×480 pixels);此外,這些複雜的加速器能獨立地與區域DMA和記憶體資源一起工作,讓主處理器能在同一時間中更專注於處理應用功能,或進入省電狀態來延長電池壽命。


VLIW DSP核心

智慧加速器具有可程式性的特色,適用於與媒體內容相關的處理,以及協定、負載平衡和多工架構等用途。以Nomadik來說,這些功能是靠多媒體訊號處理器(MMDSP)來達成的,這個微小的175MHz嵌入式核心包括以下功能:


  • ●每指令執行為一個循環;


  • ●完全可合成;


  • ●完全是C語言撰寫的程式;


  • ●16/24-bit fixed-point資料模式;


  • ●32-bit floating-point資料模式;


  • ●2-level指令快取(instruction cache);



加速功能硬體(Acceleration hardware)

為了要進一步降低耗電,有必要將硬體線路運算器(hardwired operator)和MMDSP一起使用,這樣能保證即使在最糟的狀況下還有足夠的效能表現。低頻率的硬體負責處理動作估計(motion estimation)、編碼轉換(transform coding)、變數長度解碼(variable length decoding)、圖像過濾(image filtering)和色彩轉換(color conversion)等工作。由於Nomadik處理器能做到VGA等級畫質的視訊編碼與解碼,很適合廣泛可攜式設備的極佳低耗電多媒體處理器。


智慧性視訊加速器(Smart video accelerator)

對於平台的一個很重要考量是視訊編碼和解碼的記憶體需求,以CIF的顯示器加上抓取緩衝(grab buffer)就需要1200Kbyte以上才夠。想降低記憶體大小和耗電性的最佳方式是開發一套智慧性的動作估計演算法(motion estimation algorithm),這套演算法能將搜尋視窗(search window)的大小最小化,此視窗是用於找尋最佳候選的區塊[kh1][kh2](macro-block)和相應的動作向量。


在Nomadik中是以48Kbyte的on-chip SRAM來支援VGA視訊編碼,它用在視訊訊框的抓取和搜尋視窗的儲存,外部的記憶體則被用於其餘視訊功能的處理。此一作法降低了記憶處理的延?,讓效能可以大幅提升,同時也對I/O和匯流排的設計做了改善,能降低耗電,在成本上也因晶片尺寸的縮小而降低。


《圖三 智慧視訊加速器》
《圖三 智慧視訊加速器》

<資料來源:ST>


智慧音訊加速器(Smart audio accelerator)

這個加速器使用第二個MMDSP,能運作廣泛的數位音訊軟體庫,其中一些可得的音訊軟體功能,如(圖四)所示。為了讓開放式的平台能有最佳化的表現,平台提供者需要與領導性的中介軟體和作業系統廠商密切合作,雙方的工作包括傳輸協定和視訊延伸性機制,讓易發生錯誤(error-prone)、傳輸率會改變的無線通道能獲得平順的串流表現。


《圖四 智慧音訊加速器》
《圖四 智慧音訊加速器》

<資料來源:ST>


軟體架構剖析

吸引人、負擔得起和互動性的多媒體通訊、資訊和娛樂將在新興行動服務中處處可見。但對軟體廠商和設備製造商來說,如果每次都要針對不同的無線平台重新撰寫同樣的應用功能,自然是讓人很氣餒的經驗。Java這類run-time技術能支援下載遊戲和應用,但需要有足夠的程式資源。有趣的多媒體應用需要愈來愈多的資源和耗電,這對於體積小的手機設備是很大的挑戰。


要克服這些問題的一個務實方式,是採用開放多媒體介面的一般性架構,而且是基於抽象硬體介面[kh3](hardware abstraction)的作法。在這個架構同時提供上層和下層的觀點,上層的觀點提供應用程式撰寫者一套針對特定作業系統的統一軟體介面,並對底層的處理器設計加以抽象化;底層觀點是針對LCD控制器、影像感測器或照相機等一般性應用週邊的一組標準硬體介面。


《圖五 軟體架構示意圖》
《圖五 軟體架構示意圖》

<資料來源:ST>


小結

從封閉式的手機系統邁向開放式的行動設備開發環境,已是業界停不下來的腳步。從行動產業處理器介面(Mobile Industry Processor Interface;MIPI)聯盟的組成可以清楚了解到這個趨勢。這個聯盟的任務是透過建立硬體和軟體介面對於行動應用處理器的開放標準,讓新的行動通訊服務能夠更加速地被建置,並鼓勵這個產業中的業者能夠採用這些標準。這個非營利的組織是在2003年由ST、ARM、Nokia和TI共同創立的,會員中包括手機製造商、半導體公司、硬體週邊製造商、作業系統廠商、中介軟體廠商和軟體應用程式開發商。


其一般目標是推動應用處理器介面的一致性、倡導行動設備間的再利用性和相容性,進而簡化硬體和軟體的設計和建置。這個介面標準化的工作將會讓行動設備製造商提升開發的效率,為他們帶來在LCD、camera和通訊IC等週邊設備的最大的應用軟體可攜性和更廣的可用性。(作者為意法半導體多媒體應用處理器部門行銷經理)


下期預告:在下一期中,將進一步探討行動平台的核心技術部分,也就是低耗電的設計和影像處理的技術,敬請期待。


延 伸 閱 讀

行動通訊與數位科技結合已成全球趨勢,上網、下載檔案、聽音樂,甚至看電視等多媒體應用功能推陳出新,讓行動電話儼然成為萬能裝置,也讓相關業者看好行動電話成為新世代多媒體應用平台的潛力。相關介紹請見「 行動通訊業者積極打造移動影音平台 然消費者使用習慣尚未成形」一文。

在十年多的時間中,行動電話已從一個少見的奢侈品,發展到今日全球有超過十億的行動用戶。雖然語音服務仍是市場上的主要驅動力,不過,市場正快速的朝向語音加資料的新應用模式發展。你可在「 行動多媒體處理平台的開放趨勢 」一文中得到進一步的介紹。

近年來,個人攜帶式通訊技術及無線數據傳輸技術的快速發展,使得韓國民眾對於行動多媒體廣播服務(Digital Multimedia Broadcasting;DMB)的需求日益殷切。在「韓國DMB服務起跑 行動多媒體廣播接收機商機無限」一文為你做了相關的評析。

市場動態

Nexperia行動基頻是新一代行動電話的核心,帶來各種嶄新的應用,如遊戲、數位影像與照片、高傳真音訊與 MP3、新式廣播、多媒體訊息服務(MMS)、MPEG4視訊、GPS定位服務以及其他更多創新的功能。相關介紹請見「Nexperia行動基頻」一文。

飛利浦電子加入Symbian白金計畫(Symbian Platinum Program)。飛利浦的加入將使得行動電話廠商因為智慧型手機產品能夠具有整合的多媒體應用而獲益。因此,行動電話廠商可以將完整且便於升級的行動多媒體解決方案迅速投入市場。你可在「 飛利浦與Symbian發展多媒體技術 為智慧型手機帶來整合軟/硬體解決方案」一文中得到進一步的介紹。

近年來由於行動設備發展普及化,行動生活與行動工作成為新一代生活模式與工作型態,例如收看電視節目、即時股市交易、觀看交通即時路況、保全監控實況、博物館觀光導覽等,因此政府在91年第12次電子、資訊及電信SRB會議,選定嵌入式軟體、人機介面、處理器及IA等重點產業。在「 資策會紮根手機Java技術,開創M-learning創新應用服務」一文為你做了相關的評析。

相關文章
綜觀MEMS系統整合與挑戰
剖析MEMS技術之消費性應用
三軸加速度計應用潛力與技術剖析
「ZigBee無線感測網路技術暨應用」研討會記實
車載Telematics的應用趨勢與技術架構
相關討論
  相關新聞
» 安富利X-fest 2014亞洲區技術研討會圓滿落幕
» MIPS賣身的背後 最大獲利者是誰?
» IEK:2015中國IC設計業將追上台灣
» 大廠背書 無線充電來了? 
» 智慧手機產業競爭 往集團化對抗演變


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.18.118.208.127
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw