由2009年3D電影阿凡達開始，到2010年以立體方式轉播世界杯足球賽，全世界在短期間內帶起了一陣3D熱潮。相對於較為成熟的立體顯示技術，現階段的3D影像內容（content）的製作仍需依賴專業人員產生，進入門檻相對地較高。若想將3D影像技術融入一般人的生活當中，勢必要讓3D內容能輕易且快速的被製作。

2D轉3D技術即為解決3D 內容來源之技術之一，由於目前民眾日常生活的數位內容來源大都以2D影像為主，如數位相機或數位攝影機所拍攝的2D相片或視訊。若能讓隨處可得的數位相片及視訊輕易的在立體顯示器上呈現出來，將使得3D立體相關產品快速進入每個家庭當中。

2D轉3D技術主要利用了影像處理、圖型識別、影像分類等影像相關技術，估測出拍攝場景的深度資訊。使用者僅需輸入單張影像照片或是單一視訊影片即可自動產生立體影像資訊，於立體顯示器上呈現立體效果。

2D轉3D技術簡介

2D轉3D技術流程如圖一所示，依輸出的不同可分成：

此兩類技術使用截然不同的演算法來估測場景的深度資訊，因為視訊資料較單張相片有物件移動（motion）的資訊可參考利用。

《圖一　2D photo to 3D conversion系統流程圖》

目前國際上較常被使用的立體資訊儲存格式為2D+Depth（2D+D），由一張原始影像搭配一張相對應的深度圖（depth map）所組成，而2D視訊的立體資訊儲存格式，則是每張影格（frame）皆有相對應的深度圖。深度圖通常為一灰階值0～255的影像，圖中的顏色愈亮（值愈大）代表該位置離拍攝者的距離愈近，反之則愈遠，如圖二所示。當有了深度資訊之後，藉由「多視角影像合成」技術搭配不同的立體顯示器的顯示格式，產生不同視角的影像，此方法通常被稱為Depth Image Based Rendering（DIBR）。最後所交插（interlace）出的影像，即可於顯示器上產生立體效果。若顯示器為戴眼鏡式的立體顯示器，僅需產生相對應的左右眼影像即可；若為裸眼的立體顯示器，則需合成產生多張不同視角的影像，張數依裸眼立體顯示器的視域數規格而定。

（a） （b）

《圖二　(a)原始影像、(b)與原始影像相對應的深度圖》

以下就針對2D相片與2D視訊的深度估測技術進行討論，其中除了分析目前國際上較常見的轉換方法之外，亦將介紹工研院2D轉3D相關技術的發展。

2D Photo to 3D轉檔技術

國際上目前在單張2D相片自動轉換產生深度資訊的技術，大部份所採取的方法仍以傳統的圖樣識別技術為主。該方法透過訓練（training）得到圖樣的分類器（classifier）以辨識圖片中的不同的物件（如垂直面、地面），再給予不同的深度。目前利用此方法估測場景深度的研究團隊，主要以CMU的Photo Pop-Up技術（圖三）及Stanford大學的Make3D Project（圖四）最為著名，此兩學術單位皆提供網站讓使用者可自行上傳照片進行轉換。

由Stanford大學2008年所發表文獻中的實驗數據得知，Make3D於588張相片當中，有64.9％的相片能得到合理的深度估測結果，而Photo Pop-Up技術僅33.1％。目前這類技術的瓶頸在於無法找出適用於所有圖樣的分類器，導致整體的圖樣鑑別率下降。

《圖三　CMU Photo Pop-Up技術，左圖為原始影像，右圖為轉換後的3D效果》

《圖四　Stanford大學Make3D技術。左圖為原始影像，右圖為估測的深度結果》

此外，以2D轉3D技術聞名的Dynamic Digital Depth（DDD）公司，針對2D轉3D技術亦已發展了十多年的時間。目前已有市售的3D notebook搭載該公司的轉換軟體，韓國面板廠更與DDD合作開發轉換晶片，將2D相片、視訊轉換為立體3D影像，且可以即時（real-time）的速度進行立體轉換。

工研院電光所在近兩年來亦發展由單張2D相片產生深度資訊技術，主要的流程如圖五所示。首先針對原始影像進行影像切割（segmentation），以得到大小不一的的區塊。當影像依照顏色、材質等特性，劃分為大小不一的區塊時，就對每一區塊進行深度線索（depth cue）的分析，所謂的深度線索包含如顏色、材質方向、聚焦程度等可經由分析影像而得到的深度資訊。

《圖五　工研院自行研發之2D photo to 3D技術流程圖》

然而僅使用單一種深度估測方式，並無法適用各種影像，如近拍影像的深度估測原則即不同予風景影像的估測原則。為了提高自動轉換整體的正確率，工研院亦發展了自動場景偵測技術。針對不同的場景種類，給予不同的深度估測方式。利用影像處理技術，分析單張影像中多項影像內容資訊，將影像分類為風景、特寫兩類，正確率可達 89.6％。此技術能有效提昇最後深度估測的正確性。

為了評斷工研院自行開發技術之競爭力，便以人因的方式進行實驗，實驗共進行60個人次，每位受測者於戴眼鏡式立體顯示器上進行評比。在顯示器上同時秀出工研院與DDD之轉換結果（亂數擺放），讓受測者於其中選擇較佳之影像。共有60張從網路下載的受測影像，其中共包含了風景、人物、近拍三類影像。實驗結果顯示，工研院的轉換結果獲得59％的支持度，由受測者認定具有較佳的立體感。以深度估測的結果來觀察，DDD所估測的深度值是假設影像的中心為主體，因此亦假設影像中心最為凸出，在影像邊緣處則易被當成背景，造成深度估測錯誤。

2D Video to 3D轉檔技術

相較於2D相片轉3D技術，2D視訊轉3D技術因具有物件移動資訊可參考，故較具有理論基礎，且發展較為成熟。依照相機與拍攝物體之間的運動關係可分成不同的轉換技術，其難易度亦不同（如表一所示）。工研院所發展的技術則是在事先定義了七種不同的可能場景分佈模式，再利用視訊內容的motion資訊來決定場景分佈方式，再依照計算出的場景分佈模式，給予視訊不同的深度分佈權重，以此得到較正確的深度估測結果。

結語

目前國際上有非常多種不同的2D轉3D技術，在尋找技術的同時，必須先決定應用情境為如何，因為不同的應用情境所需的2D轉3D技術將有極大的差異。需要考慮的要素包含：

以專業市場的3D數位廣告為例，該應用講求高品質的立體觀賞效果，並於中大型尺吋立體顯示器上呈現，有別於一般平面視覺感受，以吸引人潮駐足。然而以目前全世界的任何的全自動2D轉3D技術皆無法完全勝任，故仍需要適當的人工介入進行深度圖的後製。數位廣告本身即較無即時轉換的需求，且運算平台可以是在個人電腦上，故整體來說此應用反而較需要一套如Philips Blue-Box的半人工深度編修軟體。

另一方面，若以消費型應用的立體數位相框為例，其講求的是趣味性及新鮮感。使用者可利用一般數位相機自行拍攝影像，並於PC或是立體數位相框上進行轉檔產生立體數位影像。或是可提供給網路服務廠商，利用網路伺服器進行2D轉3D的服務。使用者只需透過手機傳送影像，透過網路至雲端中心進行轉檔，就能將立體影像傳送至家裡的立體數位相框當中。

在消費型市場中較不要求高精確度的深度轉換，且主要應用於小尺吋的立體顯示器，較不易看出轉換的瑕疵。目前國際上較佳的全自動2D轉3D技術，即能直接應用於此類市場當中，唯一需考慮的是技術運算複雜度，是否符合其應用平台運算能力的需求。

提供具有深度與立體感的影像/視訊本來就是最符合自然的視覺體驗，同樣若能從2D的影像輕易地獲取其立體資訊，勢必可大幅降低立體影像的建置成本，從而使得3D影像資訊的取得更加地便利性與普及性。雖有許多人不滿意此類轉換的假3D結果，但在如立體電影後製時發現拍攝的問題卻又無法補拍時，2D轉3D技術將會是立體電影導演的救星。因此如何好好利用此技術且應用在未來的虛實空間中，將有許多的想像空間。

---作者任職於工研院電光所---