高通技術公司推出高通視覺智慧平台(Qualcomm Vision Intelligence Platform),其中搭載了公司首款採用先進10奈米FinFET製程技術、專門針對物聯網(IoT)所打造的系統單晶片(SoC)系列。
|
全新的10奈米系統單晶片設計旨在為新一代機器人、智慧相機和智慧家居提供高性能與高效能的邊際運算能力 |
QCS605和QCS603系統單晶片能夠針對廣泛的物聯網應用,為裝置內建的相機處理和機器學習提供強大的運算能力,同時具備出色的功效和散熱效率。此兩款系統單晶片整合了高通技術公司迄今為止最先進的圖像訊號處理器(ISP)和高通人工智慧(AI)引擎,以及包括基於ARM的先進多核CPU、向量處理器和GPU在內的異構運算架構。該視覺智慧平台還包括高通技術公司的先進相機處理軟體、機器學習與電腦視覺軟體開發套件(SDK),以及高通技術公司經驗證過的連接和安全技術。該平台經優化後可為工業級與消費級智慧安防相機、運動相機、可穿戴式相機、虛擬實境(VR)360度與180度相機、機器人和智慧螢幕等領域帶來令人振奮的全新可能性。包括科達(KEDACOM)和理光(Ricoh)THETA正計畫開發基於高通視覺智慧平台的產品。
高通技術公司產品管理副總裁Joseph Bousaba表示:「透過協助客戶打造強大的裝置內建智慧、相機處理與安全功能,我們的目標是讓物聯網終端變得更加智慧。人工智慧已支援具備物體偵測、追蹤、分類和臉部識別能力的相機,可自動避障的機器人,以及可學習並生成消費者最近一次探險活動影片摘要的運動相機,但這都還僅僅是個開始。高通視覺智慧平台是我們多年來先進研發的成果,匯集了相機、裝置內建人工智慧和異構運算領域的突破性進展。該平台是支援製造商和開發者打造全新智慧物聯網終端世界的首選媒介。」
強大的高通人工智慧引擎(AI Engine)
該視覺智慧平台整合了由多個軟硬體元件組合而成的高通人工智慧引擎(AI Engine),以加速終端裝置人工智慧。高通人工智慧引擎包括高通Snapdragon神經處理引擎(NPE)軟體框架(針對採用TensorFlow、Caffe和Caffe2框架進行的開發,配有分析、優化以及調試的工具)、ONNX(Open Neural Network Exchange)交換格式、Android神經網路API和高通Hexagon Neural Network Library。以上所有設計旨在支援開發者和OEM廠商,使其能夠輕易地將訓練網路接入到此平台。透過高通人工智慧引擎和Snapdragon神經處理引擎軟體框架,該視覺智慧平台可為深度神經網路推理提供高達每秒2.1萬億次運算(TOPS)的運算性能,與其它領先的替代解決方案相比提升超過兩倍。
卓越的圖像品質
該視覺智慧平台可支援高達4K@60fps或是5.7K@30fps的影片,以及更低解析度的多個並行影像串流。為了實現卓越的圖像品質,該平台整合了高通技術公司迄今打造的最強大相機處理器——支援雙1600萬像素感測器的雙14位元高通 Spectra 270 ISP,其頂級ISP功能演進在過去數代中一直居於DxOMark基準測試的領先位置。此外,該視覺智慧平台包括物聯網細分領域所必需的先進視覺處理功能,例如可防止高動態範圍影像出現「疊影」效果的交錯式HDR(staggered HDR)、先進的電子影像穩定、畸變校正、降噪、色差校正,以及硬體移動補償式時間濾波(MCTF)。
異構運算架構及其關鍵特性
該視覺智慧平台QCS605晶片組的異構運算架構,整合八核高通Kryo 360 CPU、高通Adreno 615 GPU和Hexagon 685向量處理器。該視覺智慧平台的整合式顯示處理器可為一系列顯示螢幕選項(包括高達WQHD解析度的觸控式螢幕)提供硬體加速合成、3D覆蓋,以及包括OpenGL、OpenCL和Vulkan在內的主流圖形API支援。該架構支援多種高級作業系統,旨在讓開發者和製造商在其解決方案中輕鬆打造差異化特性,例如VR 360度攝影機的終端內容拼接,自動機器人導航與避障,以及運動攝影機的影片摘要。
該視覺智慧平台支援具備MU-MIMO和雙頻段同步傳輸特性的2x2 802.11ac Wi-Fi、藍牙(Bluetooth)5.1、高通3D音訊套件、高通Aqstic?音訊技術和高通 aptX音訊。該平台還具備高通噪音抑制與回音消除技術,以及先進的裝置內建音訊分析與處理特性,支援自然語言處理、音訊語音辨識和語音插播功能,打造可靠的語音介面,甚至在吵鬧或嘈雜的環境,或當使用者遠離裝置時也可實現。
該平台基於硬體的安全特性可通過下列功能支援可靠的物聯網終端,包括硬體可信根的安全啟動、可信執行環境、硬體加密引擎、存儲安全、貫穿生命週期控制的調試安全、金鑰分發和無線協議安全等。
生態體系和上市情況
為加速開發並進一步實現產品差異化,製造商可依靠技術廠商組成的生態體系,透過其提供的技術,作為此視覺智慧平台補充的解決方案。上述技術廠商包含了人工智慧公司,像是支援臉部、圖像和物體識別的商湯科技(SenseTime),或是支援如運動和物體偵測、分類與追蹤等各種視覺任務的Pilot.ai公司,以及支援先進圖像品質校準服務的公司MM Solutions等。
目前,高通QCS605和QCS603正進行送樣階段,多個SKU可以滿足對技術和成本的不同需求。高通技術公司與領先的相機ODM廠商華晶科技合作,基於QCS605產品的VR 360度相機參考設計現已上市,此外也預計將於2018年下半年推出基於QCS603的工業級安全相機參考設計。。