介绍

视讯压缩编码技术在压缩率上获得相当大的成功，此进展也推动了多媒体通讯相关产业的蓬勃发展，然而随着多媒体应用高度多样化的需求，使得除了压缩率之外，视讯压缩技术的其它功能性也越来越受重视，其中又以抗传输错误以及可调式视讯编码尤为重要。鉴于传统视讯压缩标准在这些功能性上遭遇相当大的瓶颈，MPEG组织已着手制定未来下一代的视讯压缩标准：Scalable Video Coding (SVC) [1]，希冀能满足工业界对多媒体功能性多样化的需求。可调式影像编码的目的是使单一压缩位元串能在不同画面大小、画面速度以及画质下都提供最佳传输效能如下(图一)所示，然而其演算法设计实现上也和以往传统压缩系统迥然不同。

《图一 可调式影像(SVC)串流处理模型》

SVC于核心演算法上除了继承之前H.264的封闭式预测结构的阶层式双向预测画面(Hierarchical B-frame scheme)，在其开发阶段也引进过全新的开放式预测结构的多重层级移动补偿式时间滤波(Multi-level motion-compensated temporal filtering)，这两种演算法皆可以达成影像拨出速率的可调性并同时提升整体影像压缩的效率。另外为了达成影像解析度的可调性，SVC采用了一个接近金字塔型的编码方式(Pyramid coding)，同时为了移除各个不同画面解析度间的多余资料，三种画面层级之间的预测(Inter- Layer Prediction )工具一起被采用来增进压缩效率。最后为了让产生的影像品质也可以具有可调性，也就是说，解码器端接收到越多位元串资料，就可以让使用者观看到越好的影像，SVC提供了三种不同精度的画面品质可调性。一个完整的SVC编码器可以如下(图二)所示，基本上SVC编码器是建构在原本的H.264/AVC之上，并引进了上述提到支援影像可调性的编码工具。在SVC编码器的硬体实现上，有几个主要的设计要点，分别是晶片的外部记忆体频宽、晶片的运算量、所需运算时脉数和内部记忆体频宽。在下文中，我们将整理几种针对可调式编码器实现的创新技术及设计概念来解决上面的设计要点，分别是巨集区块间的Level C+资料重复使用(Level C+ Data Reuse)[3]、画面层级的资料重复使用(Frame-Level Data Reuse)[4]和时间和空间上的阶层式移动估计(Spatial-temporal Hierarchical motion estimation)[5]。

《图二 可调式影像(SVC)编码器架构示意图》

巨集区块间的等级C+资料重复使用

图三(a)中所示为目前在移动估计硬体模组中最为普及的等级C资料重复使用架构(Level C data reuse scheme)[2]，它可以达到水平方向的搜寻区域(Search Region)资料的重复利用。然而随着影像应用的解析度日趋增加以及双向式画面预测带来的外部汇流排频宽增加量，传统的等级C架构已经无法满足系统设计者的需求，然而在巨集区块层级中同时具有完整的水平及垂直方向资料重复利用且具有最低频宽的等级D架构会带来过高的内部记忆体使用量[2]，因此我们提出了等级C+资料重复使用架构(Level C+ data reuse scheme)在两者之中取的一个平衡[3]。如图三(b)所示，等级C+架构会需要比等级C架构多出一部分的内部记忆体容量，但是可以相对的提供部分垂直方向的资料重复使用，以图三(b)为例，上下两条横向的巨集区块将可共用搜寻区域，约可减少50%的外部汇流排频宽。

《图三 (a)传统的等级C数据重复使用 (b)等级C+数据重复使用》

画面层次的资料重复使用

画面层次的资料重复使用 (Frame-Level Data Reuse) 主要是针对SVC中大量使用的双向式画面预测 (B-frame) 提出的[4]。不论是开放式架构的移动补偿式时间滤波(MCTF)或是封闭式架构的阶层式双向预测画面(Hierarchical B-frame scheme)，都因为使用了双向式移动估计，使的移动补偿式时间滤波器以及移动估计/移动补偿处理引擎对于外部记忆体的影像资料读取加倍，这不仅让外部记忆体的功率消耗因读取次数上升而增加，更会造成系统对外部汇流排(External bus)的负载过重或是产生汇流排上资料壅塞的情形出现，使整个视讯编码解码系统的工作效率下降。

我们针对双向式画面预测的特性提出了画面层级的资料重复使用，原本双向式画面预测的资料流程如图四(a)所示，每一张目前画面的预测皆需要读取前后两张参考画面的资料；然而这些参考画面实际上会分别被前后的目前画面所使用到所以会造成两倍的读取频宽，因此我们提出了图四(b)的双张目前画面架构(Double current frame scheme , DCF)使参考画面只需要被读取一次而降低了接近一半的外部汇流排频宽。另外为了提升在移动补偿式时间滤波架构中的效率，图四(b)的架构也可被延伸为图四(c)的架构以进一步降低所需要的汇流排频宽。此外为了能够配合多重阶层(Multi-Level)编码中不同阶层对应到的画面群集(Group of Pictures, GOP)，上述各种画面层的的资料重复使用架构更可混合使用来达到最低的外部汇流排频宽。

《图四 (a)传统双向式画面预测、(b)Double Current Frames (DCF)、(c)Extend-DCF的示意图。》

时间、空间上的阶层式移动估计

由于SVC编码器必须对所支援的各种画面解析度接进行预测编码的处理， 另外还要配合阶层式双向预测画面和多重层级移动补偿式时间滤波架构中的不同画面群集大小，我们提出了图五中所示的时间、空间上的阶层式移动估计演算法[5]。有别于传统的阶层式移动估计，我们使用了各个画面解析度中得到的最好的移动向量(Motion vector)来预测下一个画面解析度中的移动向量，并以此为起点对移动​​向量进行一定范围内的修正，另外还会统计属于同一条巨集区块的平均移动向量，使用中央移动资料暂存区(Centric moving row buffer)来进行巨集区块间的资料重复使用以进一步减少移动估计的运算量和搜寻资料的读取量。另外在内部记忆体部分，我们提出了可重组化的内部搜寻范围记忆体的配置方式，这是因为单向预测的画面在多重阶层的预测架构中会和时间距离较远的画面进行移动估计，而双向预测的画面是和时间距离较近的参考画面进行移动估计，所以可以将一个双向式画面预测所使用到的两块搜寻区域记忆体可以合并成一个提供更大搜寻范围的记忆体给单向预测的画面使用，让单向预测的画面可以拥有比原来更好的预测品质。

《图五 时间和空间上的阶层式移动估计的算法示意图，图中的黄色区域为被读取的搜寻区域数据，红色箭头代表了被放大的移动向量。》

合并的移动补偿时间滤波和移动估计硬体架构

综合了上述提到应用的SVC的硬体设计技术及概念，我们提出了一个合并的移动补偿时间滤波和移动估计硬体，其细部架构如(图六)所示，配合我们于[6,7 ]中所提出的交错式巨集区块运算排程(Interleaved MB-pipeline schedule)以及提升步骤(Update stage)架构，此硬体可分别支援开放式架构的移动补偿时间滤波以及目前SVC采用的阶层式双向预测画面等多种预测方式，并且节省了其中需要的暂存记忆体容量。

《图六 合并的移动补偿时间滤波和移动估计硬件示意图，实线部分为所需要的数据暂存内存，虚线部分为采用交错式宏区块运算排程后可节省的暂存内存。》

晶片实作

这颗晶片使用了台积电18微米制程，晶片大小为3.824x3.568 mm2频率为60MHz。此晶片的功能特色如下(图七)所示，量测到的功率为410mw，晶片如(图八)所示。 (图九)中我们详列了本晶片在各种运算模式下所需要的系统频宽以及运算时脉数。在减少外部记忆体频宽方面，藉由我们提出的画面层级资料重覆使用，针对(5,3)移动补偿时间滤波来看，约有13%至36%的频宽减少，此外也可以套用在其他的双向式预测画面架构上，都可有着不错的频宽减少量。表二中也列出了各种编码架构需要的运算时脉数，从29MHz对应的IPPP w 1-ref到所需时脉数最高的4 Level 5/3 MCTF的59.7MHz。同时各种架构的系统频宽也从最低的24.05MByte/sec分布到最高的50.09MByte/sec，这两个数据提供了这颗晶片运算量上的可调性，而上层的系统控制模组将可根据目前所拥有的资源，来调整最适合的编码标准或编码选项，让整个编码系统能在压缩频宽(bit-rate)、压缩画面品质(distortion)和系统运算量(computation)中取得最佳的平衡点。

《图八 芯片图》