数码相片与视讯的价格近年来大幅下滑，画质却越来越高，因此驱动了数字相机的爆炸性成长。许多应用现在都具备数百万画素的相机，如数字相机、摄影机、照相手机和视讯监控设备等。

然而，影像分辨率的提升却也导致图像处理更趋复杂。这类产品内部的图像处理管线是由一系列特别设计的影像数据实时处理算法构成，可接受相机感光组件传来的原始数据，再产生可供观看或进一步处理的数字影像。由于最终画质取决于管线效能，许多相机都会利用硬件来实作图像处理管线。这种做法不需透过主要应用处理器的支持，即可完成前端图像处理，因此应用处理器可将其频率周期保留给编码或对象辨识等先进处理作业。

由于相机用户对最终影像及视讯有不同偏好，因此目前没有任何可做为标准的调校方法或画质评估指针。设计人员必须了解各种功能方块的用途，以及如何针对特定应用将管线的每个处理阶段优化，以大幅增强影像和视讯画质，使其更加清晰锐利。

图像处理管线的组成单元

图像处理管线可细分为10个不同的处理方块，如(图一)，有时甚至还能关闭其中某些方块。图像处理作业的总延迟时间是由速度最慢的方块决定，因此关闭部份方块并不会影响延迟时间，通常彩色滤镜数组（CFA）内插运算是最慢的方块，因为必须将感光组件传来的数据转为RGB数据。

图像处理具备高度的平行性，因此各阶段管线不需接收到完整影像即可开始处理。此外，将管线分为多个处理阶段后，相机就能并行处理多张图片，显示管线的效率越高，所能拍摄和处理的图片就越多。

影像管线的处理阶段已大致标准化，或许顺序略有差异，但仍会涵盖相同的基本处理功能。然而，效能并不是影响画质的唯一因素，许多方块除了必须根据特定用户的偏好进行调整外，还要特别调校以配合相机使用的感光组件与镜头组合，以及各种不同的相机操作条件。

图像处理管线最好采用可配置组态设计，使开发人员既能调整滤波和算法参数，又能受惠于硬件处理的速度优势。ASIC设计虽提供高效能和降低成本，其固定架构却很难调整配合不同的应用，因此也无法达到最佳画质。另一方面，可程序化设计尽管具备优异弹性，却会占用太多的主应用处理器效能，并且消耗过多电力。

幸而图像处理管线原本就很适合采用可配置组态的算法，就算是平常使用专属设计的功能方块也不例外。举例来说，开发人员若使用德州仪器（TI）以DaVinci技术为基础的DSP实作图像处理管线，就能调校其所含的10个不同方块，以便提供最快速的实时视讯处理。开发人员还能调整每个管线方块的特定参数，以便弹性微调管线产生的影像，进而提升最终产品的质量。

基本上，每个设计（亦即每组感光组件和镜头）都要执行一次微调程序。若相机只用于特定应用，那么一组参数就足够。若是用途较广的相机，开发人员就会执行多次测量，以针对每一组适用的照明条件计算出适当参数。举例来说，用户便能选择阴天、晴天或夜间照明条件优化的参数。更有甚者，相机本身能自动评估目前的照明条件，再针对所要拍摄的画面选择合适的参数。

《图一 图像处理管线是一系列实时调整影像数据的特殊算法，可接受相机感光组件传来的原始数据，再产生可供观看或进一步处理的数字影像。此图包含10个不同功能方块的图像处理管线。》

影像管线微调

黑阶调整

管线的第一个处理阶段是将感光组件的黑色设为影像的黑色。计算这个调整值的最简单方法是盖上相机镜头的盖子，拍张全黑的照片。这将提供三个基准偏移值，代表必须从拍摄影像删减的感光组件暗电流和镜头光晕（lens flare）。不删减这些偏移值会造成影像对比下降。

噪声抑制

这个方块会计算相邻类似像素的平均值，以便消除光、电、数字和电源等各种噪声来源。倘若在干净的画面运用太强的滤波器，会造成影像模糊，而对噪声滤波功能进行微调则可避免这种情形。一般而言，噪声位准如果很高，就应提高相邻类似像素平均值的权值；反过来说，如果噪声位准很低，就应该提高原像素的权值。(图二)是使用均匀光源的光电转换函数图（OECF），可用以决定不同亮度的噪声位准。光电转换函数图的12个均匀灰色区块提供12种功率位准，设计人员可随着感光组件和增益值（或ISO）的不同，以线性或平方根的方式根据这些功率位准来处理噪声。

白平衡

白平衡方块可自动补偿各种照明条件下的色差，以正确显示白色，这些不同的照明条件包括白炽灯、荧光灯、自然光源、脉冲氙灯、白光LED闪光灯和混合光源，其中又以混合光源下的调校最困难。至于白平衡所需的补偿增益值，则可利用(图三)所示的色彩导表（ColorChecker）取得6个灰色区块的平均RGB值后，再计算而得；一般说来，红色和蓝色增益是将均方误差减到最小而得，绿色增益则会设为1，可省下1组增益值的计算过程。

彩色滤镜数组（CFA）内插

相机通常只有一个感光组件，因此虽然RGB总共需要3种色彩，相机通常只能在每个像素取得1种色彩，然后透过彩色滤镜数组内插运算得到另外两种色彩。尽管这是图像处理管线最复杂的算法之一，且其质量主要取决于芯片制造商的专业知识，但基本上就是一种变换函数，不受感光组件或照明条件的影响，因此也不需要任何调校。

《图二 光电转换函数图（OECF）的12个均匀灰色区块，可用以决定不同亮度的噪声位准。》

RGB混色

RGB混色方块的重要处，在于不同的感光组件会对同样的颜色产生不同的RGB值。调校这个方块时，必须产生一个矩阵，以便将感光组件的RGB色彩空间转换为Rec709 RGB之类的标准色彩空间。要达到这个需求，只需在白平衡处理后，利用色彩导表取得18色区块的平均RGB值，再于逆向Gamma修正后对参考RGB值执行约束最小化（constrained minimization)。

Gamma修正

此方块会补偿输出显示器的非线性失真。只要采用Rec709或SMPTE240M之类的标准Gamma修正，就能利用与多数显示器相同的校准方式来校准相机，因此多数应用并不需要调校这个方块。但某些特别的显示器则例外，例如机场计算机或军事应用所使用的显示器就需要不同的Gamma修正。在这些情形下，开发人员必须设定图像处理管线的组态，并让Gamma修正功能方块使用特别的Gamma修正查询表。

RGB到YCC转换

人眼对于亮度（Y）的敏感度胜过色度（Cb、Cr），因此每个色彩分量都需以不同的精准度进行不同处理。这个方块就是单纯的转换功能，不需任何调校。

边缘强化

这个方块的默认参数在多数应用都有不错的表现，因此通常不需调校。但若需要更锐利或更柔和的画面，则可适当增加或减少边缘强化程度。边缘强化功能只用一个参数，参数值越大就表示边缘强化越明显。但边缘强化参数的调整必须与噪声滤波功能取得平衡，这是因为边缘与噪声在画质较差时会变得很难区别。开发人员有时还可关闭这个功能方块，例如亮度不足时拍摄的画面会有较小的讯号杂波比（SNR），此时边缘强化功能反而会增强噪声，使观众觉得画面噪声更明显。

对比强化

这个方块使用对比和亮度两种参数。会根据特定照明条件和用户喜好进行调整，因此通常由用户动态选择。在白天等正常照明条件下，若能将对比调为最大值而不造成画面高亮度部份饱和，则大都可以得到最佳画质。

假色度讯号抑制

这个方块会消除彩虹斑（color artifacts）。一般应用在正常照明条件下不需调校这项功能，但相机在照明不足时却会拍到画质不佳的影像，使纹理或物体边缘出现彩虹斑，此时应将假色度讯号抑制参数调高。另外，高对比度的边缘还可能出现紫边现象（purple fringe），例如拍摄以天空为背景的树叶。

《图三 色彩导表（ColorChecker）的6个灰色区块可在不同的照明条件，如白炽灯、荧光灯和自然光源下取得平均RGB值。》

偏好决定画质

图像处理管线的设计会对最终画质产生重要影响，但数字相机开发人员应了解图像处理管线的调校比较类似艺术，而不是科学，因为常涉及主观的画质诠释；换言之，画质调校在许多时候其实是偏好的问题。例如边缘强化虽让画面更锐利，但不表示其画质就胜过柔和画面。最终关键仍在于相机能否根据其用途，产生对用户有吸引力的影像画质。

影像画质也与场景有关。例如人像画面就不必太锐利，应该柔和一些，并尽量减少噪声和色斑。提高人像画面的锐利度常造成线条边缘出现色斑，导致画质不佳。另一方面，提高锐利度则对风景画面有正面效应。

理想的图像处理管线不但能提供最佳效能，还必须具备适当弹性，协助开发人员微调图像处理管线，但又不会限制算法用途或对主要应用处理器造成太大负担。另外，开发人员必要时还应能关闭管线的部份处理方块。举例来说，某些应用可能需要解决特定的噪声问题，此时开发人员若能关闭图像处理管线所含的噪声滤波器，并导入特别设计或专属的噪声滤波器，就不需重新开发其他的图像处理管线。值得注意的是，增加增益（ISO）之类较复杂的滤波器也可能导致噪声增加。

因此图像处理管线须具备足够弹性，以便因应不断改变的用户偏好。此架构还能针对每一组感光组件及镜头和不同的照明条件将图像处理管线优化，协助开发人员将同一管线用于多种不同的应用。弹性运用同一管线还能减少产品线所需管理的零件数目、加速开发时程和透过经济规模减少整体用料，进而为最终用户提供最完美的影像画质应用。

---作者为TI德州仪器研究员---