速度更快，性能更好的機器視覺是邁向下一世代工業自動化，無人駕駛汽車和智慧城市管理之主要手段。更好的影像品質，更快的影像捕獲，以及更低設備成本和複雜性是自動化設備、檢查系統和機器人技術設計人員的關鍵目標，目的是加強品質保證，並提高生產率。

同樣的，進階機器視覺對自駕車也至關重要，由此可識別前方標牌、道路標誌和潛在危險。在汽車應用中，重點是將縮短系統回應時間和提高影像識別精度。就智慧城市應用而言，城市中心CCTV系統更高的影像清晰度，可以?明執法機構透過預測即將的干擾和提高識別能力來保護公民。

此外，針對高性能機器視覺的一些新應用機會也開始出現，其中包括車載無人機，用以協助車輛導航和資料收集用途（例如檢查農業用地或建築工地等）。

為了在較短時間內從捕獲的影像中提取更多的訊息，需要更高的品質影像和增強訊號處理性能。為此，正在出現一些適用於相機和影像感測器的重要創新，由於機器學習技術的商業化，因此被應用於影像處理技術。

下一世代鏡頭增強聚焦和視野

攝影鏡頭在整個系統前端，是一些強有力新技術進步之主題，這些包括透過使用單個攝影機或單個鏡頭執行多項任務的高靈活性，減少完成任務的週期時間，並簡化設備設計。

在這些新技術中，液體鏡頭（如圖1所示）是一類新興光學元件，可擴展傳統鏡頭景深，而避免了傳統電動聚焦系統高成本和複雜性。電動聚焦也相對的較慢，因此液體鏡頭避免這種情況出現，將有助於縮短應用中的週期時間，例如在工業檢查中需要涉及距離不同的物體。

圖1 : 使用液體鏡頭，僅需改變幾微米的形狀即可調整焦點。

透過在系統中引入液體鏡頭，標準光學系統就可以在幾ms內調整對於飛行物體的聚焦：從無限遠到小於100mm，具體取決於間距。液體鏡頭包含密封在柔性膜內部的光學液體，透過移動膜片或調節光學液體的體積，將鏡頭半徑僅改變幾μm即可達到與使用常規電動聚焦系統使鏡頭變動幾cm的效果。除了更快的聚焦和更簡單的構造（具有更少的運動元件，因此有更少的操作失敗機會）外，液體鏡頭系統還受益於更小慣性和更低功耗。

一個可選方案是，360度影像擷取使機器視覺系統能夠採用固定位置的單個攝影機來捕獲特定物體更多訊息，這樣可以降低多個攝影機檢查系統以及相關影像處理和儲存子系統成本和複雜性，但也可能導致系統性能受到限制。否則，在諸如食品包裝檢查或航空量測等應用中，可能需要一種機構來重新安置或旋轉攝影鏡頭以及需要檢查的物體，這同樣也增大了系統的整體費用和複雜性。

對於需要進行各個方向物體檢查之系統（例如包裝廠中黏貼到瓶子上的標籤），可以使用位於物體自身正上方的超中心（hyper-centric）或近中心（peri-centric）鏡頭來實現360度視覺功能。超中心鏡頭能夠捕獲光線，就好似它們是從位於鏡頭前面一定距離某個點發出的一樣。該彙聚點和鏡頭的周邊確定了視錐（viewing cone）。

將物體放置在此視錐內，直接位於朝下鏡頭下方，可以使來自物體頂面和垂直側面的光線同時進入鏡頭。將光聚焦在感測器上可以在單幀中捕獲整個影像。利用該原理，相機可以捕獲孔內或腔內的360度視圖，但無需插入光學探頭。透過單幀捕獲物體多個影像的其他技術是將超中心鏡頭與一組鏡面陣列整合，從而能夠有效地同時看到物體每一面。

感測器：物理原理與製造

提高CMOS影像感測器的解析度是捕獲更精細影像之關鍵，然而由於降低了訊雜比（SNR），僅減小畫素尺寸可能導致較差的影像品質。要獲得更高的解析度，就需要技術上的改進，以便在不影響感測器性能前提下減小畫素尺寸。

這些可透過許多層面實現，例如優化畫素間距和感光面積與總面積之比（也稱為畫素填充因數）。在畫素實體層面的更多根本性變化可以改善諸如增益、效率和動態範圍之類參數。感測器製造商還改進了從畫素讀取資料的技術，從而實現更高SNR、畫面播放速率和線性度等增強的特性。

在過去十年之間，驅動感測器性能改進的最重要技術之一是使用背照式（BSI）感測器，它們透過上表面和下表面吸收光線，推動了畫素小型化，而不會降低關鍵性能參數（如阱容量、量子效率、暗電流等）。這種技術的後續進展是對感測器和影像處理晶片的三維（3D）堆疊，能夠實現更小外形尺寸。

隨後，包括氧化矽和金屬焊盤的3D混合堆疊消除了矽通孔（TSV），從而更有利於兩個晶片之間實現有效直接連接。最近，又開發出順序整合，可以製造單片影像感測器，其中每個影像感測器都整合有光電晶體陣列、3D可堆疊畫素讀出邏輯和記憶體等，並透過整合式高密度I/O連接。

全域快門增強動態影像

在高速工業自動化以及汽車和無人機等應用中，需要捕獲快速運動物體的清晰影像。這對於傳統滾動式（rolling-shutter）影像感測器性能構成巨大挑戰，主要原因是傳統滾動式影像感測器一次將從感測器畫素讀取僅僅一列資料發送到幀緩衝器。如果物體正在運動，則從讀取一列影像到讀取下一行之間的時間位置變化可能會導致失真，出現影像模糊或彎曲等問題。

當拍攝快速運動物體或將相機安裝在運動車輛上時，全域快門（Global shuttering）可提高影像清晰度。這項技術首先在高階靜態相機中使用，現在已經應用到工業和汽車視覺系統以提供更高性能。在全域快門中，將所有畫素電荷值同時儲存到一個小的畫素內記憶體中，然後像以前一樣逐行依次讀取到架構緩衝區。這樣可以得到清晰影像，但沒有滾動式快門的失真。

畫素內記憶體會佔用一定的空間，從而顯著地減少用於光子吸收的畫素面積。為了創建具備更高SNR和動態範圍的全域快門影像感測器，同時不增加畫素尺寸，以便補償畫素內記憶體佔用空間，目前已經克服了一些技術挑戰。這種影像感測器的一個例證是1Mpixel、1/4英寸格式的ON Semiconductor ARO144。

圖2 : ON Semiconductor的ARO144影像感測器。

全域快門畫素具有高量子效率，可確保快速充電，同時又對與影像無關的充電（如由電子擴散引起的串擾）不敏感。另外，光學遮罩非常靠近感測器，可以在畫素表面排除雜散光影響。

影像處理中的AI

在訊號處理管道中，位於攝影鏡頭光學元件和感測器後面的是機器學習（利用深度神經網路）之商業化應用，這種技術使構建影像和隨後從中提取資訊方式發生了革命。這裡有一個例證，從中可以看到採用AI使低光照性能得到顯著改善，從而可以在近暗（near-dark）條件下拍攝高品質影像。

在低光照條件下捕獲的原始資料對於傳統訊號處理管道是很大挑戰。以電子方式提高感測器感光度（ISO值）會在影像上增添明顯的雜訊，從而導致影像品質變差，對影像進行降雜處理效果也很有限。其他改進影像品質的技術包括延長曝光時間，而這些在工業應用或車載攝影鏡頭中通常不切實際。

最近，一種巧妙技術得以開發，該技術利用機器學習來極為減小基於原始弱光資料構建影像的可檢測雜訊。使用包含原始短曝光時間、低光照影像和相應長曝光時間參考影像的資料數列可以訓練深度神經網路。在對網路進行充分培訓後，即可以透過直接處理原始短時間曝光資料來創建高品質影像。這項技術已在市場中的頂級智慧手機中得到應用，可以提供更美觀的圖片。它還可適用於工業和安全應用，例如可應用於生產線檢查或監控系統，能夠捕獲更好的影像。

結論

在當下的現代影像處理系統中，有大量技術改進正在發生，從系統前端相機鏡頭到其後方影像感測和影像處理元件。預計這些因素將共同推動潛在應用的進一步擴展，並提高系統性能基準。

(本文作者Mark Patrick任職於貿澤電子)