隨著晶片設計越來越複雜，以及人工智慧應用對運算與儲存的要求變得更加嚴苛，不論是處理器或終端應用晶片，都面臨散熱的嚴峻挑戰，未來晶片設計也顯現高度整合與智慧化的發展趨勢。

提到晶片設計，往往會出現一個衝突的景象，那就是設計人員必須面臨很多艱難的抉擇，且最終常常只能妥協（tradeoff）。尤其在人工智慧（AI）技術即將大放異彩的開發時代，做出「高效能或低功耗」、「小尺寸或多功能」這類選擇的次數只會越來越頻繁。

而在設計AI晶片的巨量題庫中，導熱無疑是道必考題。在設計考量的天平上，走向多功能、高效能的一端，可能就必須犧牲節能或小巧的特點，且要面對晶片散熱問題可能會降低運作效能與產品壽命的威脅。

觀察目前半導體製程的進展，儘管摩爾定律的有效性仍是未知數，但以最新的5nm或7nm技術節點來說，每平方毫米多達數十億個的電晶體密度，就已經讓晶片的散熱設計名副其實地成了「炙手可熱」的話題。

再加上，晶片的AI應用勢必使得新世代晶片歷經大量或高速的運算工作，無疑是火上加油。這些AI晶片的開發選擇多元，根據市調機構Grand View Research針對AI小晶片（chiplet）市場進行調查的報告結果，估計到2025年，ASIC晶片將在亞太區的開發市場中具備最高的經濟價值，其次是GPU和CPU晶片。

圖一 : 市調機構Grand View Research預估到2025年亞太區的AI小晶片開發市場中，能夠加速推廣AI在不同領域應用的ASIC晶片最具經濟價值，其次是GPU和CPU晶片。（source：grandviewresearch.com；製圖：CTIMES 2020）

整體而言，不論是設計大型資料中心、雲端運算平台等應用的高效能運算（HPC）等級處理器，或是分散在網路邊緣的智慧終端處理晶片，降低運算功耗來排除導熱陰霾，將是實現新世代硬體智慧化的關鍵技術。

HPC系統級降溫方案 導入AI優化成效

大型資料中心、超級電腦、雲端運算平台等HPC應用場域，往往是最新處理器技術的首要驗證場域。作為巨量資料的總倉與中控室，這些場域的硬體系統呈現高度複雜性，除了多半採用多核架構之外，在進行AI工作時，整體系統運作的處理核心數量更動輒上看幾十萬顆，功耗龐大，且對運算的需求呈現高動態性，峰值需求的功耗可能高達200W以上。

此外，由於這些應用中的處理器設計為大規模的多核架構，所以晶片的熱生成模式也呈現了異質的特性（heterogeneity），運作中與閒置的核心之間溫差可達20℃~30℃，不僅散熱與監測設計更複雜，驗證程序也更費時。要在工作負載呈現如此高度動態且24/7運轉的嚴峻環境下維持高效穩定的運算工作，無疑帶給硬體設計人員嚴峻挑戰，相應的熱管理解決方案因而涉及晶片至系統級的多層面向。

從晶片角度來說，儘管伺服處理器朝向7nm甚至更低的技術節點邁進，並選用極紫外光（EUV）技術製造，理論上電路的傳輸距離縮短，動態能耗就會降低，但也因為電晶體持續微縮，靜態漏電流變大，因此，摩爾定律雖讓晶片尺寸更為小巧，但功耗卻並沒有等比例降低。事實上，以系統的角度來看，大量電晶體累積的總體功耗呈現上升趨勢。

各家科技大廠分別選用不同類型的處理器來實現雲端運算、邊緣運算、AI模型訓練（training）或推論（inferencing）等不同HPC應用，例如像是傳統用來處理複雜運算的CPU、具備平行運算能力的GPU，到採用FPGA等具備彈性設計優勢的AI加速器類型。可以發現，AI應用的整體運算工作量龐大，因此專用硬體的分工細瑣，目標皆是在消耗可能最低或系統可負擔的功耗使用情況下完成不同AI運算，架構開發以提高能耗使用效率為導向。

目前，在深度學習（deep learning）推論與機器學習（machine learning）模型訓練的應用中，GPU因為能在較短時間內完成大量運算而備受矚目，而GPU大廠Nvidia更著力開發一系列全新架構，從Pascal、Maxwell、Volta到最新的Ampere架構，每一代採用了更進階的半導體製程與多核GPU互連技術NVLink，以縮短資料傳輸距離，提升頻寬與降低延遲，但在低功耗設計上卻著墨較少。

而以CPU為主的伺服器系統運行已久，像是科技大廠英特爾（Intel）推出的水冷或氣冷式CPU散熱解決方案因而相對完善。由此可見，HPC應用的處理器涉及的性能與功耗表現皆為系統級，效果較為顯著的導熱方案多半是在伺服器系統加裝專用的降溫系統。

圖二 : 隨著資料中心運算需求增長，機房的能源使用效率（PUE）成為關鍵指標，而面對降溫系統日漸加重的工作負載，Google導入AI演算法進行更高效且低成本的監控。（source：google.com）

也因為系統級的降溫系統成本高，Google、華為等科技大廠也紛紛導入AI演算法以監控並調配能源使用效率，維持HPC效能之外，更努力達到企業的節能減碳目標。

Edge AI晶片應用廣泛 專用IP興起

相較於大規模的AI伺服系統，邊緣運算晶片通常是嵌入式的小型晶片，設計複雜度相對較低，但也因為這些晶片具備可攜或行動式的特點，這也代表著運算、儲存與資料傳輸工作都必須仰賴電池供電，功耗要求甚至低至1W以下。

從電路設計的角度來看，功能性越趨複雜的晶片就必須處理多閘極電壓（multi-gate voltage）的設計問題，晶片系統充斥著不同的用電需求，使得供電電容的可靠性驗證變得複雜。

因此，在晶片設計時，設計者除了可以善用逐漸導入智慧功能的設計模擬工具，進行更快速且完整的效能分析與驗證之外，還能進行更精準的熱點（hotspot）分析，運用電源閘控（power gating）或動態電壓與頻率調整（dynamic voltage and frequency scaling；DVFS）等技術，依據處理器或控制晶片當前所需完成之運算工作，進一步調節晶片的運算資源分配，例如控管睡眠電晶體的尺寸與喚醒排程，將晶片上閒置區塊的電路關閉，以降低漏電流與功耗。

此外，提前在規劃設計流程時，採用叢集（cluster）的架構進行晶片的分區管理，以簡化散熱管理的複雜度，也是有助於優化晶片降溫效果的做法。

另一方面，透過縮短記憶與運算單元之間的電路複雜度與傳輸距離，進而實現低功耗傳輸的記憶體內運算（CIM）、3D記憶體等高度整合技術，也是設計AI晶片的未來趨勢。

圖三 : 愛美科攜手格羅方德，研發記憶體內運算的高效能低功耗AI推論終端晶片，圖為封裝在PCB板上的測試晶片。（source：imec-int.com）

日前愛美科（imec）與格羅方德（GLOBALFOUNDRIES）才宣布共同研發出高效節能的AI推論終端晶片，採用imec的類比記憶體內運算架構（Analog in Memory Computing；AiMC）架構，以及格羅方德的22nm FD-SOI製程，實現在SRAM內進行類比運算，運算性能高達2,900TOPS/W，提供推進物聯網終端裝置智慧化的發展動能。

針對智慧終端晶片的各類應用，新思科技（Synopsys）、益華電腦（Cadence）、明導國際（Mentor Graphics）等EDA大廠也積極開發特定AI應用領域的IP方案，其中最受歡迎的無非是車用電子。

Synopsys日前宣布推出整合電動車（EV）軟硬體開發的完整虛擬原型（virtual prototyping）解決方案，進一步優化電池管理、功能安全（functional safety）以及多層驗證的流程與整合資源；而Cadence提供了開發ADAS系統單晶片所需的混合訊號、可靠性與進階製程方面的設計支援，整合車用所需的光達、雷達與影像感測器的類比、電熱學分析與驗證；Mentor Graphics則開發一系列系統架構設計、車聯網軟體開發、感測融合與降溫系統的熱學模擬等解決方案。

結語

智慧化，是未來晶片與處理器的指標性趨勢，因此，國際科技大廠與晶片開發商除了積極擴充AI硬體的功能性與效能之外，優化系統的能源效率與達成可能的最低功耗也會是開發計畫不可忽視的一大重點。利用AI演算法、EDA驗證與模擬工具，以及運算與儲存單元的硬體設計優化，晶片導熱產生的設計陰霾也能漸漸散去，迎向AI時代的明媚風光。

**刊頭圖（source：itp.net）