標準與技術概述
MPEG-4視訊壓縮技術,是由國際標準組織(ISO/IEC)底下的委員會MPEG(Moving Picture Experts Group)所制定的。該委員會成立於1988年,並制定過曾榮獲艾美獎(Emmy Award)的MPEG-1及MPEG-2標準,成功應用於VCD、MP3、DVD、DTV及HDTV等相關產業,造就電腦與消費性多媒體產業近年來的快速發展。
ISO/IEC給MPEG-4的正式編號為14496,其中有關視訊編解碼技術則分別規範在文件的第二部分(14496-2: Visual Part)及第十部分(14496-10: Advanced Video Coding)。14496-2部分目前已完成第一版(Feb. 1999)與第二版(Jan. 2001),裡面又細分了多種的Tools、Profiles及Levels來支援各式各樣的多媒體應用,包括數位互動電視、行動視訊電話、多媒體儲存、多媒體簡訊、遠距教學及遠端監控等。而14496-10的部分目前也大致完成,2003年應有標準問世,DVD Forum正考慮納入HD-DVD的標準。
MPEG-4除了承襲壓縮率較舊有標準提高的特性外,所適用的位元率範圍亦可從5 Kbps到2G bps,如(圖一)所示,擷取早期標準ITU-T H.261/263(低位元率編碼)與ISO/IEC MPEG-1/2(高位元率編碼)的優點;再加上支援物件型態編碼(Object-based Coding)及合成影像(Synthetic Video)的壓縮;適用於高階互動功能與特殊視訊製作;容錯性編碼技術(error-resilient)及細微式可調適性編碼技術(Fine Granularity Scalability;FGS),更可適用於頻寬變化劇烈的網路現況,如(圖二)所示。MPEG-4也因為所具有的優點,而被ISMA(Internet Streaming Media Alliance)、3GPP(3rd Generation Partnership Project)、M4IF(MPEG-4 Industry Forum)、WMF(Wireless Multimedia Forum), 以及可能包括DVD Forum的HD DVD等國際標準組織選為多媒體編碼標準,配合日漸普及的寬頻網際網路及通訊與儲存多媒體的普及應用,以MPEG-4技術為中心的多媒體網路技術將會是明日之星。
《圖一 MPEG 系列的功能比較〈資料來源:EETIMES.com〉》 |
|
《圖二 MPEG -1, 2 and 4模組功能比較〈資料來源:Streaming Media.com〉》 |
|
實現MPEG-4編解碼技術的方式不外乎軟體(Software)、韌體(Firmware)與硬體(Hardware)三種。Software的實現方式指的是用軟體程式化(programming)的方式在一般用途(general purpose)的CPU(RISC為主)上,開發完成MPEG-4 Codec的功能,通常以PC、筆記型電腦(Laptop)或PDA等軟體開發環境較成熟、硬體平台較完整的實現最為普遍,也有用於某種嵌入式系統(embedded system)或資訊家電設備(IA device)上做為附加價值(value-added)的開發。
Firmware的開發則是強調以DSP(Digital Signal Processor;數位訊號處理器)為工作核心,以DSP特有的乘加等運算指令集,撰寫混合高低階的程式語言,下載(download)到DSP平台來執行,此種解決方案兼具開發時程短、可程式化(programmable)容易與不錯的運算速度(computation speed)等優點。
另一種最具成本效益(cost effective)的就非hardware解決方案莫屬了,以專用電路(dedicated circuit)完成解壓縮(video codec)常見的慣例(routine)工作,再利用預先設計的firmware 將所有dedicated circuits接合(glue)起來,形成完整的工作排程,如此一來,可將效能表現(performance)推到極致,將來若與SoC(System on Chip;系統單晶片)設計相結合,更可促進多媒體服務應用於通訊、光電與儲存設備的大量普及。若另外從台灣產業面來看,發展hardware解決方案的MPEG-4 編解碼技術,可垂直整合國內的半導體工業,包含 IC設計、設計服務、晶圓代工、光罩、製造、封裝、測試,若再搭配矽導國家型計畫有關SoC的推動,將對於開發MPEG-4編解碼IC的開發有很大的幫助。
技術發展性與應用範圍
當初MPEG-4標準一開始制定時,是以低頻寬為主要目標,所以在Simple Profile的short header情況下,可與H.263向前相容(Forward Compatible),同時也首次考慮物件型態編碼,可搭配物件分割(Object Segmentation)技術,將各個物件分割後,依不同屬性予以分組,再加以編碼,以增加編碼效率、節省頻寬及增加視訊合成時的彈性、可編輯性與互動性。後來,為了與網際網路傳輸相結合,而發展出一系列的動態調整傳輸頻寬與容錯性編碼技術,正式進入新一代Networked Multimedia時代。而且為了因應高壓縮率與高畫質的市場需求,正結合ISO與ITU兩個國際組織,以ITU-T H.26L為基礎,訂定適用於儲存裝置的特高壓縮標準,規劃為ISO 14496-10的標準,可望於2003年有第一版的標準問世。
《圖三 MPEG -2、MPEG-4 ASP與MPEG-4 AVC的效能比較》 |
|
MPEG-4標準一路走來,各種未來應用也一一浮現,綜觀MPEG-4技術的卓越性,頗有在多媒體通訊與儲存方面的產品應用,準備一統江湖的味道,尤其是Video部分。其應用可以分為下面幾大類:
- (1)頻寬對稱式多媒體通訊,如視訊電話/會議,尤其結合3G Mobile Network的多媒體通訊,將是改變人類未來生活的應用。它使用了MPEG-4高壓縮率、可變resolution、適應性位元率及容錯性編碼技術的特點,在3G這種error prone的environment上實現視訊通訊,達到人類渴望已久的視訊電話/會議,也為3G的operators尋求value added的services。
- (2)用於輔助通訊的多媒體訊息傳遞,如多媒體訊息簡訊(Multimedia Messaging Service;MMS) ,此種應用是從E-Mail及二代行動通訊的SMS(Short Messaging Service)演進而來,將會是第一個MPEG-4相關的大量且商業化的應用。
- (3)頻寬非對稱式多媒體傳輸與娛樂,如:遠端監控、遠距教學或隨選多媒體(Multimedia on Demand;MoD)。對日益普及的寬頻網路,提供多元化的服務。除了應用細微式可調適性編碼技術,以設計對付Internet變動頻寬的環境,也利用物件型態編碼及合成影像的壓縮,將高階互動功能與特殊效果加進此類服務中。
- (4)使用於儲存裝置,如:數位相機/數位攝錄影機或其他光碟儲存設備的需求。此種應用會強調在有限記憶體下的高壓縮率(high compression rate for less memory and storage),以及延長使用時間之下的低耗電量(low power consumption for extending usage time),當然低成本、小體積與容易整合(easy to integrate) 都是要考慮的問題,所以此類應用會以硬體、甚至SoC的型態出現。
- 大眾廣播系統,如:透過現有廣播網路或網際網路的數位電視,並可有互動功能,以達到真正的T-Commerce。此種方式的應用,最典型的產品就是我們常聽到的MPEG-4 STB(Set-Top Box),利用MPEG-4的高壓縮率,以求有限廣播頻道的再擴增,同時如第三項的應用一般,也利用物件型態編碼及合成影像的壓縮,將高階互動功能與特殊效果加進此類服務中。而以IP(Internet Protocol)為主要執行平台的MPEG-4 system技術,更可以將所有目前的Internet Services與Broadcasting Services整合在一起。
- 其他如互動遊戲或電影製作工業等,都是MPEG-4 Target的應用。
國內、外技術發展現況及未來趨勢
在全球MPEG-4相關計畫發展方面,我們可舉一些例子來說明,第一個是所謂跨國性,跨公司的e-Box計畫,以美國Cable operator、Comcast為中心的MPEG-4 streaming計畫,結合日本的Pioneer、Sharp,以及NS、Sigma Design(MPEG-4 decoder provider)、iVAST、Modern Video Film和台灣的CMC所合組的e-Box Corp.,強調於Cable plant的互動式(interactive)MPEG-4 based video streaming。再來就是iVAST打算porting iVAST Experience Player到 Philips新一代的 Multimedia Processor──Nexperia,其瞄準的產品為新一代數位STB與DVD player等。最後的例子就是大家耳熟能詳NTT DoCoMo所推出,以Mobile Video Phone為主要應用的FOMA計畫。
而歐美日韓對MPEG-4的應用與技術研發也有計畫或合作案的進行。在韓國方面,三星電子決定與Serome Technology共同開發MPEG-4架構多媒體Contents播放解決方案。MI於2002年初,率先完成MPEG4架構Web Camera的商品化,並已與日本及中國大陸業者簽訂供貨契約。Infiny Systems開發出MPEG4架構保全用DVR,將在近期量產 Symbion System開發出採用MPEG4技術的16Channel DVR,並開始著手量產。Ilryung Telesys目前與ETRI(韓國電子通信研究院)攜手,開發整合MPEG4架構家庭保全設備的家庭閘道器(Home Gateway)。第3情報技術開發出MPEG4架構的多方視訊會議系統。MPEG Solutions推出MPEG4架構PDA,積極搶攻市場。 MclickPlus、OnTimetek與三星電子等業者擁有視訊手機及相關MPEG4技術;netNtv、netCODEC、Serome Technology與MPEG Solutions等業者則開發出MPEG4架構網路廣播解決方案等等。
日本在MPEG-4 硬體已發表相當的解決方案,Matsushita、Fujitsu、Hitachi 在 ISSCC 2002發表MPEG4 Video ICs,Toshiba已經推出 MPEG4解壓縮晶片,NEC除了與美國公司PacketVideo行銷 MPEG4-related晶片,也提供FOMA計畫所需的MPEG-4晶片,除此之外Panasonic、Sharp、JVC、Sony等日本公司也都有解決方案問世。
而歐美則有在hardware與software的解決方案,在software方面,Microsoft、PacketVideo、Solid Streaming、DiamondbackVision、UBVideo等業者,則已提供編解碼軟體。Microsoft的Windows Media Technologies可提供MPEG-4相關的編解碼以及串流,是以個人電腦搭配Windows OS為平台。PacketVideo則獲Intel投資,合作開發以StrongARM為基礎的行動電話平台,Motorola、NEC、Mitsubishi、Sanyo、Casio等業者也採用PacketVideo軟體,應用在各種行動裝置上。UBVideo也是一家技術領先的公司,尤其在14496-10的AVC上,已經有解決方案的提供。
ASIC與SoC解決方案為MPEG-4未來趨勢
MPEG-4 hardware解決方案可提供高畫質的即時編碼,將可大量應用於相關non-PC的 IA(Information Appliance) 產品上,其主要應用可分為兩種:低成本/頻寬(Low cost/Bandwidth)的可攜式/行動裝置(portable/mobile devices) 及應用於娛樂的高效能表現產品,如下一代的STB(Set-Top Box)、高畫質(High Definition)DVD player及streaming servers等。以目前及未來市場預測的需求面來看,Low cost/BW的方案因為規格變化大及上市時間(time to market)的設計考量,會先以DSP-based solution先出現於產品上,目前應用產品以DSC(Digital Still Camera)為主,其次為Mobile Phone,PDA 等,但未來考慮市場競爭性與產品整合度、低耗電等因素,ASIC solution,甚至SoC,才會是市場主流,主要供應商包括TI、Toshiba、Panasonic、Zoran、Luxxon、UB Video等;而high performance的approach則在performance的要求下,以ASIC甚至SoC的型態出現,目前應用產品以STB提供VoD(Video on Demand)或PVR(Personal Video Recoder)的功能為主,下一代的HD DVD player亦是主要的應用。目前ASIC solution均只有解碼功能較為成熟,主要的供應商以Sigma Design為代表,另外華人在San Jose所開設的Vweb也有不錯的表現。
國內MPEG-4 hardware solution的發展現況目前在起步階段,hardware design的solution部份只有台大系統晶片設計中心有設計,並發表CIC silicon proven過的可實現結果。以DSP為模組設計的有視達發,視達發為TriMedia DSP的應用。另外有一些廠商以Sigma Design的decoder chip晶片及其參考設計所完成的MPEG-4 Set-Top Box系統。國內大部分廠商都看好MPEG-4 Codec加入DSC的應用,以實現DVR的功能,以軟體porting在原有的Processor或另掛的Co-processor上,或直接用硬體的方案。
就技術與市場需求來看,目前ISO與ITU-T正組成一個Team, JVT(Join Video Team) ,合力制定更先進的codec standard,AVC(Advanced Video Codec),將會是下一代的MPEG-4晶片主流。三星電子認為此國際標準,將有助於該公司在數位電視、DVD播放機、STB(視訊轉換器)、數位攝錄機與家庭網路等相關市場,取得數位技術主導權,並可望因此而獲致龐大的權利金收入。
技術/產品之產業關聯
以MPEG-4 chip相關的應用產品來講,含蓋了通訊、資訊、多媒體儲存及光電等領域,其衍生產品就如前所述,有STB、DVD players、DSC、DVR等,將這些系統產品的功能模組做一個大致分類,可粗分為前端(Front end)與後端(Back end)部分。Front end的部分包括通訊產品的Tuner(or line driver)、demodulator、network and security engine,多媒體儲存產品的Servo controller、 security engine與資料存取裝置,光電產品的Lens、CCD or CMOS sensor與DSP等部分。Back end的部分,通常以embedded CPU為核心,處理protocols、data forwarding及system control的功能,以MPEG chip(包括JPEG)為主的多媒體輔助硬體,用來處理大量的多媒體資料,以輔助CPU運算量的不足,另外,輸出界面的處理,包括NTSC encoder、LCD controller、LAN interface、IEEE1394、USB、IDE controller to Hard driver等都視系統應用所需而考量。
以技術面來分析,多媒體應是由Video(Natural/Synthetic)、Audio/Voice、Graphic(2D、3D等)、Still Image、Text等所謂的medium所組成,所以技術的開發不應只針對某種medium來設計發展。基於研發能量與time to market的原因,可選擇某種medium的研發為核心技術,其他medium技術的取得,可由委託與合作的方式來完成,再來整合成所定義的多媒體產品。譬如,我們在開發具備影音傳輸功能的IA產品時,Video部分通常以硬體module的型態出現,其原因如前所述,而音訊編解碼的實現就包括S/W實現於IA processor上、利用另一顆輔助處理器(通常為DSP based的處理器較容易實現音訊編解碼中各式各樣的濾波器)或考慮用硬體實現等。從系統面的需求,來訂定各項多媒體編解碼技術與標準的採用,再加以整合設計。
國內外市場現況與潛力分析
在此我們先看看國內外MPEG-4供應商(vendors)的現況,及其所claim的應用範圍,以Mobile Phone、DSC/DVC、PDA/MP3及Digital STB/DTV set為主要代表。在MPEG-4 hardware solution的應用方面,我們發現不僅國外vendors目前較聚焦於可攜式裝置(如Mobile phone與DSC/DVC)的應用,如(表一);國內廠商更是一致看好其中DSC的應用,以凌揚、旺宏、華晶及松瀚為代表;如(表二)另外,在表中沒提到TI OMAP及Intel Xscale在手機的應用,TI OMAP將ARM core(Instruction set licensed from ARM)及自有DSP core整合在一起,提供手機製造商一個CPR(Cost Performance Ratio)不錯的solution,將可視為目前MPEG-4應用在portable devices的一個適用平台。
未來MPEG-4晶片的市場將取決於相關應用的何時興起,若以In-Stat/MDR 2002年的資料顯示,MPEG-4晶片的市場會在2004年有起飛的現象;如(圖五)。個人預測,此時主要的應用產品,還是以DSC與3G手機為主的可攜式裝置,其功能為低resolution與低frame rate的非雙向、非即時通訊為主。
《圖五 MPEG Video Chip Shipments and Revenue Forecast》 |
|
再來我們以MPEG-4主要應用的發展預測,來輔助說明MPEG-4 solution的未來性。首先,若以streaming video功能面的消費性電子產品來預測MPEG-4產品的走向,我們發現以digital TV set與digital STB這兩種代表性產品來看,若以Gartner Dataquest 2002年的資料顯示、其應用亦會在2004年有起飛的現象;如(圖六)。隨著目前以PC為 based的media streaming已慢慢導入市場,未來以IA平台替代PC此方面的功能,更是straightforward的。但此類應用產品的技術與使用環境關係到各種網路的配合與控管,所以市場的大量接受應會較晚。
《圖六 具Video Streaming 功能的MPEG-4 消費性電子產品預測》 |
|
另外根據Screen Digest最新研究報告,線上數位內容通路市場發展逐漸成熟,而主要數位內容業者營收也將逐步上揚,預估至2005年西方主要市場多平台之網站內容市場營收可達到29億美元,其中西歐市場為5.41億歐元。在各種數位內容方面,至2005年包括電影、廣播、動畫以及簡易遊戲內容等市場銷售金額可達2.98億美元,而歐洲部份佔7,600萬歐元;multi-player線上遊戲市場銷售值可達9.21億美元,歐洲部分為1.63億歐元;短片內容預計為1.89億美元,歐洲佔3,900萬歐元;feature影片佔8.82億美元,歐洲佔2.07億歐元;fuzzy media為5.86億美元,歐洲佔5,700萬歐元。
在網路內容下載工具方面,Screen Digest也預估MPEG-4規格將成會消費者最普遍採用之格式,同時也會帶動消費者使用streaming video。而在內容傳遞網路市場方面,中短期來看Akamai Technologies、Digital Island、Speedera以及RealNetworks仍然會是領導廠商。
技術競爭分析
技術的開發終究要面對市場接受與否的考驗,目前市面上已有多種MPEG-4 codec發表,各有各的特色與強點,如何訂定產品的差異化,是建立產品競爭力的第一步。由於目前市場對於MPEG-4 codec此種視訊編解碼器的需求,還不是很強烈,僅止於市場探索與教育大眾的階段。但未來產品的成功,則必須有以下幾點:
- (1)效能卓越:如高resolution(CIF、VGA、甚至於HDTV),高frame rate(30 fps at least)。
- (2)網路因素的考量:codec可支援rate control、error resilience、error concealment、scalability等特性。
- (3)Application dependent的特殊考量:省電、小體積、易於設定、cost down等。
- (4)設計架構的可擴充性:MPEG-4的profiles眾多,如何快速簡單更改設計或製程,即可增加profile或新功能。
- (5)其他多媒體的整合設計:如Still image、Audio/Speech、Text、Graphic、Data等。
- (6)週邊元件的整合:LAN interface、RS-232、Host interface(AMBA)、USB、A/D、D/A等。
- (7)配合系統:
- * board level reference design:以所設計元件為中心所設計的硬體系統,可以有 Debug、Testing與Demo的多重功用。
- * Software:從最底層的Driver(MPEG-4 codec與其他元件),系統的 RTOS,到上層應用的執行軟體,都必需具備與完整。
- * 開發環境:提供一個良好的系統開發環境,可大幅縮短產品開發時間,並提升效能與穩定度。
- (8)SoC化:結合以上兩點的開發經驗與技術,設計系統整合的晶片,以降低成本,並增加系統的穩定度。
國內投資優勢
在國家政策面,以矽導、電信及數位學習等國家型計畫的推動下,可引進更多的研究資源;在產業面,以結合國內晶圓代工、封裝測試、IC設計相關(IC design、Design service、Design tools等)、系統軟硬體廠商所構成的上、中、下游供應鏈,是我們的利基與優勢;在學術與研究面,國內有很多教授多年來一直專注於多媒體方面與IC設計的研究,所培養出的學生亦是此方面人才的來源,而全球的華人學者與研究人員在此領域的成果,也一直引領風騷。若能結合這些資源,則一定能創造出台灣第一的產業聚落。茲將詳細分析敘述如下:
- (1)以國家政策為依規,凝聚產、官、學、研的資源,互相分工,資源共享,是目前國內漸漸形成的發展環境,也是一大優勢。
- (2)國內在寬頻網路相關的產業中,不管是用戶端或局端設備,一向只注重接取設備或網路之系統與相關零組件的研發與生產。多媒體產業的發展其實是和寬頻接取設備或網路相輔相成的,由目前台灣各寬頻ISP業者不約而同推出網路多媒體服務,及行動通訊業者積極計劃推出MMS(Multimedia Message Service)服務,以增加operator的 revenue,可見一斑。而台灣目前的多媒體系統與軟體技術都有一定的成績,唯獨關鍵性硬體零組件方面的技術非常缺乏,我們應加強此類技術的研發。
- (3)搭配在多媒體通訊(STB)與儲存(extended-DVD)的產品,可構成產業完整的supply chain,並cost down,如MediaTek與Ali除了在DVD Servo佔有絕大市場外,最近更不約而同推出Servo+MPEG-2 decoder的整合chip,未來MPEG-4若被next generation的STB或DVD Forum的藍光雷射HD DVD player選為標準,則對產業的impact更大。產業的輪替是大勢所趨,隨時掌握下一波的市場技術,及早投入研發能量,才能適時的 time to market。
- (4)MPEG-4 chip的市場需求點,應該會在2003~2004年之間,現在投入開發正是時候。先以portable devices的應用為目標,強調產品的整合度、可靠度、省電性及變化性,第二步可配合STB與DVD需求的興起,以MPEG-4 ASP profile,甚至AVC(14496-10),為規格,開發更大resolution、更高壓縮率及更好品質的Codec。
- (作者為工研院電通所軸纜與視訊技術部經理)