為了適應網路邊緣人工智慧(AI)計算及相關推論演算法的快速發展,韓國智慧硬體公司(IHWK)正在為神經技術設備和現場可程式設計神經形態設備開發神經形態計算平臺。Microchip Technology Inc.透過子公司冠捷半導體 (SST) 參與協助開發,為該平臺SuperFlash memBrain神經形態記憶體解決方案提供評估系統。該解決方案基於Microchip經行業驗證的非揮發性記憶體(NVM)SuperFlash技術並加以優化,可透過類比記憶體計算方法為神經網路執行向量矩陣乘法 (VMM)。
memBrain技術評估工具包旨在讓IHWK展示其神經形態計算平臺在邊緣運行推論演算法的絕對能效。最終目標是為生成式人工智慧模型、自動駕駛汽車、醫療診斷、語音處理、安全/監控和商用無人機等應用創建超低功耗類比處理單元(APU)。
由於目前用於邊緣推論的神經網路模型可能需要5000萬或更多突觸(權重)進行處理,因此純數位解決方案需要足夠頻寬來使用晶片外DRAM,這對神經網路計算造成了瓶頸,降低了整體計算能力。相比之下,memBrain解決方案在超低功耗亞閾值模式下將突觸權重儲存在晶片上浮動柵中,並使用相同儲存單元進行計算,進而顯著提高了能效和降低了系統延遲。與傳統數位DSP和基於SRAM/DRAM的方法相比,該方案可將每次推論決策的功耗降低到原來的1/20到1/10,並能顯著降低總體物料清單。
為了開發APU,IHWK 還與位於大田的韓國科學技術院 (KAIST) 合作進行設備開發,並與位於首爾的延世大學 (Yonsei University) 合作提供設備設計協助。最終的 APU 預計將優化推論的系統級演算法,並在每瓦 20-80 TeraOPS 之間運行,實現了為電池供電設備設計的記憶體計算解決方案的最佳效能。
Microchip技術授權業務部門SST副總裁Mark Reiten表示:「透過使用成熟的NVM而非替代性晶片外記憶體解決方案來執行神經網路計算和儲存權重,Microchip的memBrain記憶體計算技術有望突破在網路邊緣執行人工智慧處理所面臨的大規模資料通信瓶頸。與韓國領先的研發公司IHWK、相關大學和早期用戶開展合作,進一步證明了Microchip神經處理技術的先進性,也將推動Microchip在人工智慧領域的發展。」
IHWK 分公司經理Sanghoon Yoon 表示:「韓國是人工智慧半導體發展的重要熱點地區。我們的非揮發性記憶體和新興記憶體專家已經證實,Microchip基於成熟非揮發性記憶體技術的memBrain產品是創建記憶體計算系統的最佳選擇。」
將神經模型永久儲存在memBrain解決方案的處理元件中,還可支援用於即時神經網路處理的即時開啟功能。IHWK正尋求利用SuperFlash記憶體浮動柵單元的非揮發性,支援低功耗邊緣計算設備使用先進ML模型,建立機器學習推論的新基準。