账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
以DSP为基础的数字相机MPEG-4压缩技术
 

【作者: Madhukar Budagavi,Youngjun Yoo】2004年03月05日 星期五

浏览人次:【5149】

数字相机在市场出现还不到几年时间,已大幅改变消费性影像产业,目前全世界相机销售量中,数字产品约占三分之一,而且比重还在稳定增加。百万像素等级的数字相机提供越来越高分辨率的影像,画质已媲美传统胶卷相机;同时,崭新的智能型操作模式,帮助用户在各种环境中拍摄出更好的照片,视频模式也成为消费性数字相机的标准功能,它能让用户迅速捕捉多个画面,以便有更多照片供他们选择;消费者还能在重要事件发生时,拍摄短片做为记录。除此之外,数字相机也开始与移动电话结合,让用户能从任何地点迅速传送相片和短片。


由于变动快速的数字相机市场越分越细,厂商必须继续利用技术创新,加速产品的差异化;今天,这些创新做法之一是将MPEG-4视频压缩,用于以高效能DSP(Digital Signal Processor;数字信号处理器)为基础的消费性数字相机,MPEG-4标准将使数字相机更有效地提供视讯和其它操作模式,不但增加视频剪辑的储存量,还支持强健可靠的影片传输。DSP,特别是架构支持快速图像处理的组件,为低价位相机提供MPEG-4编码和译码所需的运算效能,可程序能力则让厂商将同样的DSP平台用于整个数字相机产品线,并透过软件为各项产品提供优化的图像处理能力。


新的压缩标准

传统上,数字相机都依赖JPEG压缩标准,此标准主要用来储存图片,在因特网上的应用极为广泛。压缩数据时,JPEG会利用离散余弦转换(Discrete Cosine Transforms;DCT)和量化技术,从8×8像素组成的最小编码单元(minimum coded unit)的数据描述中除去大部份的空间冗余性;然后,这套算法使用熵编码(entropy coding)或是可变长度编码(Variable-Length Coding;简称VLC)技术进一步压缩影像数据,使它们更容易储存或传输,影像解压缩则会逆向执行上述步骤。虽然压缩比必须视影像内容而定,但整体而言,JPEG算法至少能将像素数据压缩一个数量级,而不会影响视觉感受。


动态影片和视讯的MPEG标准首先会使用与JPEG相同的框内(intraframe)技术压缩基准静态画面(baseline still image),又称为I图框,然后再利用其它框间(interframe)技术除掉后面图框带来的空间冗余性。基本上,框间技术会将每个图框分成多个16×16像素的宏区块(macroblock),将它们与前一个图框进行比较,然后使用移动估算(motion estimation)和补偿来描述这些宏区块在各图框间的移动情形;这些被预测的图框又称为P图框,它们只需描述自己与前面一个图框之间的差异。算法还会定期执行I图框编码,其间隔时间可由应用设定。


(图一)是普通MPEG视频压缩过程,上半部是从输入到输出的框内压缩步骤,包括离散余弦转换、量化及可变长度编码,它们已足以产生I图框。要产生P图框,必须将刚编码完成的图框译码结果储存至本地图框缓冲区,再将每个区块的内容与后面一个图框进行比较 (也就是移动估算),以便执行框间压缩;视讯译码则涉及图下方的步骤,包括逆向量化、逆向离散余弦转换和移动补偿。除了图中所示之外,MPEG标准还包括音频的压缩及解压缩算法,它们都有自己的执行流程。



《图一 MPEG视频压缩流程》
《图一 MPEG视频压缩流程》

MPEG-4多媒体标准

MPEG标准不断进步,以便跟上新推出的视讯应用。原始MPEG-1标准在发展时,主要用于大量数据储存和读取系统,例如交互式CD-ROM和VCD。不久后,此项标准改进为MPEG-2,以便支持高画质电视所需的更高分辨率、更多种格式以及数字编码应用;由于获得DVD采用,MPEG-2的应用更加广泛。MPEG-7标准则直接锁定视讯数据库的需求,它能描述数据内容,以利信息检索。


MPEG-4主要用来支持交互式多媒体应用,包括经由无线连接所提供的各种应用,它与基准H.263视频压缩标准采用相同算法。相较于先前的MPEG标准,MPEG-4拥有更良好的压缩能力,可得到更精简的影像和更强大的抗错性(error resilience),进而提供更强健的数据传输支持;此外,MPEG-4还能将多种类型的对象引入图框内,让不同的影像和绘像素素能被单独的定义、压缩、传送和重新组合。另一方面,虽然这项标准已有能够支持对象的功能,但真正的实作仍然有待发展;在此之前,包括数字相机在内的绝大多数MPEG-4应用将继续使用单一对象,由它代表整个画面图框。


高压缩效率

随着影片内容不同,特定片段的压缩比会有很大的差异;整体而言,MPEG压缩技术能于M-JPEG之上,再将压缩比提升一个数量级,M-JPEG是由同样分辨率的连续JPEG图框组成。使用框间技术还能进一步提升压缩比,视讯图框通常约有10万像素(352×288像素,CIF分辨率)或大约2.5万像素(176×144像素,QCIF分辨率),而不是JPEG常使用的200至250万像素;高画质照片或许无法接受分辨率降低至这种程度,然而加上它的视讯撷取功能,已经能实现许多消费性数字相机的要求。


MPEG-4算法利用压缩技术的改良,将先前MPEG标准的压缩比提升约20%,这种高水平的压缩能力使得MPEG-4在处理每秒15格画面的QCIF视讯时,能将4.5 Mbps的原始视讯数据压缩至64 kbps以下,并维持合理的视觉质量。在数字相机中,MPEG-4压缩能于内存中储存超过M-JPEG好几倍的视讯画面。


更强大的抗错性

MPEG-4也增加数种新的抗错性技术,这是很有用的功能,因为越来越多用户开始将数字相机拍摄的照片和影片传送给他人;随着照相手机日益普及,强健可靠的传输更将成为不可或缺的功能。MPEG-4抗错性技术包括:


  • ˙数目更多的再同步标记(resynchronization marker),它会将传输数据打散成小的视讯封包,使接收器能从许多种传输错误中恢复,并将数据损失减至最少;


  • ˙标头延伸码(header extension code),它会利用每一个封包来显示标头的存在,避免包含这项重要标头信息的视讯图框因为第一个视讯封包毁损,而使得标头信息也跟着丧失;


  • ˙把视讯数据分割成移动数据和纹理(空间)数据,进而增加部份数据能被正确接收的机率,使得错误的复原更容易;


  • ˙可逆式可变长度编码(Reversible VLC):使接收器能根据再同步标记,顺向或逆向进行译码,以便在发生传输错误时尽可能将画面复原;


  • ˙错误隐藏技术,可用于空间性和时间性的错误(MPEG-4标准介绍了少数技术,它们是此标准的附加内容,而不是算法的一部份)。



对于DSP效能和弹性的需求

由于框间移动估算和补偿还涉及其它的步骤,MPEG-4压缩及解压缩所需的处理运算远超过JPEG,因此数字相机的图像处理引擎必须提供更强大的运算效能。ASIC虽能达成这项要求,它却很难配合不同数字相机产品的图像处理管线;另一方面,可程序DSP不仅提供MPEG-4算法所需效能,还可以透过软件修改,针对不同的系统提供优化支持。同样的DSP在经由程序设定后,甚至能执行JPEG算法以便用于更高分辨率的数字相机,如此一来,整个数字相机产品线只需一套DSP平台,不但能增加产品的独特性,在发展过程中亦可省下可观的时间和成本。


包含图像处理架构的DSP范例

以TI的数字媒体处理器为例,该专为数字相机等产品的影像应用而设计的DSP组件,是以多处理器架构为基础,内建ARM7 32位RISC处理器,可用来执行非影像功能,并担任整个系统的主处理器;另外是可程序C54x DSP核心,负责执行音频的编码与译码。此外,该组件还整合多颗可程序协同处理器,专门设计来处理运算量最庞大的影像作业,其中一颗协同处理器是SIMD图像处理引擎(iMX),负责执行离散余弦转换、逆向离散余弦转换、移动估算和补偿以及许多图像处理运算,其它协同处理器则会执行可变长度编码和译码、量化及逆向量化。


(图二)是范例DSP组件的主要功能方块和流程,除了主处理器外,这颗组件并整合高速缓存和影像区块缓冲器,还有外部内存的控制,CCD、液晶显示器或电视输出,以及透过多只通用I/O接脚所提供的其它通讯界面。专属的影像前置处理硬件也能替主处理器分担部份工作,例如白平衡(white balancing)、自动曝光和自动聚焦。


在外部零件方面,它只需要SDRAM就能组成完整的数字相机图像处理引擎。MPEG必须保留额外图框以执行移动估算及补偿,例如在QCIF(176×144)分辨率下,它大约需要110 kByte的SDRAM内存来执行编码运算。而组件包含高整合度的特殊架构,不但支持30 fps以上CIF(352 ( 288)分辨率的MPEG-4编码作业,译码时更能将像素处理能力增加50%,也就是在HVGA(640 ( 240)分辨率下,达到30 fps以上的速率。这颗组件还支持多媒体所用的其它重要视讯、音频和语音标准,并能搭配专门担任移动电话引擎的DSP组件。



《图二 数字媒体处理器架构》
《图二 数字媒体处理器架构》

照相手机和其它新应用

在变化快速的消费性影像视讯市场上,可程序能力的重要性可说是无庸置疑。数字相机正迅速演进至新应用,照相手机就是个例子,它们能拍摄相片和简短影片,并将拍摄内容传送出去,这类产品早已在市场出现。MPEG-4数据可嵌入多媒体简讯(MMS)的协议层迭(protocol stack),让视讯封包得以透过无线IP网络简讯服务的业界标准,轻易传送至其它任何无线网络。


厂商或许也要DSP提供的弹性,以便设计其它类型的相机系统,例如支持H.324视频会议的产品,许多无线产品也提供此项功能,这些支持视频会议的无线电话利用H.263或MPEG-4进行视讯的编码和译码;对于Session Initiation Protocol(SIP)的支持也可能有其需要,这种协议能把简讯传送和视频会议结合在一起。MPEG-4还会继续进步,例如提供能够支持对象的各种profiles,这可能会使得厂商想要重新设定(reprogram)已销售或发展中的产品,新出现的MPEG-4 AVC先进视讯编码标准(又称为H.264标准)的更大压缩密度就是这类进步之一。可程序DSP就能支持其中任何标准或者其它标准,进而协助影像系统发展厂商将他们的产品差异化,为新的市场需求预做准备。


结语

数字相机仍有很长的路要走,才能在画质方面与最精密的传统胶卷相机媲美,但是在低阶市场上,数字相机却能提供任何传统相机都无法匹敌的视讯及其它功能。今天,数字相机厂商已发现利用MPEG-4的更高压缩比和更大抗错性,他们就能提供消费者想要的更多功能。可程序DSP把实作MPEG-4算法所需的效能提供给低价位数字相机,这能为厂商带来弹性,以便支持高度区隔化的市场,满足它们的不同需求。


以DSP为基础的MPEG-4压缩还开启许多新的应用商机,例如将数字相机和无线仪表整合在一起,并于未来支持其它类型应用;在MPEG-4以及DSP的携手合作下,低价位消费性数字相机的未来仍将非常乐观,让用户可放心享受拍照的乐趣。


(作者任职于德州仪器TI)


  • 原文刊登于2003年七月份EDN杂志Digital Den


相关文章
AI Everywhere势不可挡 信任运算架构将成关键
神经处理/运算为边缘带来实时决策
嵌入式应用渐趋多元 浮点运算MCU满足市场不同需求
高性能DSP与深度学习语库是智慧语音开发关键
类比、数位还是混合型电源:何时为电源增加智慧功能才有意义
comments powered by Disqus
相关讨论
  相关新闻
» SiTime专为AI资料中心设计的时脉产生器 体积缩小效能提升10倍
» AMD蝉联高效能运算部署的最隹合作夥伴殊荣
» 意法半导体推出灵活同步整流控制器 提升矽基或氮化??功率转换器效能
» 笙泉与呈功合作推出FOC智慧型调机系统 实现节能减碳
» Nordic上市nRF Cloud设备管理服务 大幅扩展其云端服务


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK85H06880SSTACUK9
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw