晶心科技和Deeplite宣布,兩家公司透過使用Deeplite的最佳化軟體和晶心科技低功耗RISC-V CPU核心,研發出具有人工智慧運算能力的應用程式(AI-powered applications)。
|
參考模型和最佳化模型的模型之檔案尺寸,精確性和執行時間之間的參數 |
這項合作著重於壓縮(compressing)並加速(accelerating)著名的視覺喚醒詞(Visual Wake Words (VWW))應用程式。微型相機可以利用此類程式,進行人物圖像偵測。Deeplite及晶心科技從利用浮點運算的Mobilenet-v1-0.25x模型中,產出各式最佳化的INT8模型。
本次發表的第一組研發結果側重於提高精確性,以精度為主的INT8模型最佳化提高了2.7%的精度,縮小了1.7倍(172 KB)的檔案大小以及提高了9%的執行速度。第二組結果主要著重於最大化壓縮(maximizing compression)。
與TensorFlow Lite Micro提供的INT8 模型相比,本組專注於模型檔案尺寸最小化的模組,成功做到縮小2.3倍(127KB)的檔案大小,更高的精度(0.7%)和提高了15%的執行速度。
「我們決心為低功耗設備提供最高效,最精確的解決方案,尤其是隨著邊緣計算類型之AI越來越多地在應用在智慧助理、安全監控和智慧製造應用中。」 晶心科技技術長兼總經理蘇泓萌博士表示。「Deeplite的尖端軟體為AI模型最佳化提供了一種有效的方法,可以增強目前架構的性能。Deeplite支援我們的AndeStar? V5架構,並已於第一個具有RISC-V P 擴充指令 (DSP SIMD) 的CPU核心D25F上高效率的執行;客戶能將之應用在選定的AI模型上。」
「Andes RISC-V CPU核心是非常理想的硬體的範例,替Deeplite的模型展示了最佳化的優點,為低成本、使用電池作為供電的設備,提供了以往無法達成的複雜智慧功能。」Deeplite首席執行官Nick Romano說:「隨著我們持續在業界最大的挑戰上(如視覺喚醒詞Visual Wake Words和語音關鍵字查詢keyword spotting)取得領先成果,我們預計由Deeplite軟體提供支援的邊緣運算AI應用將出現大幅度的成長。」