帳號:
密碼:
最新動態
產業快訊
CTIMES/SmartAuto / 新聞 /
AWS宣佈Amazon SageMaker新功能 加速機器學習模型開發
 

【CTIMES/SmartAuto 王岫晨 報導】   2020年12月16日 星期三

瀏覽人次:【4350】

Amazon SageMaker是面向機器學習開發者的一個整合式開發環境,是一項全託管的服務,消除機器學習過程中每個階段的挑戰,使開發人員和資料科學家日常能夠從根本上更輕鬆、更快速的建構、訓練和部署機器學習模型。Amazon SageMaker的功能也在快速反覆運算中,過去一年已經發表了50多項新功能。在re:Invent 2020大會上,AWS再次發佈9項新功能。以下重點整理針對台灣產業相當實用的功能:

Amazon SageMaker Feature Store

現今企業中,常有數十甚至數百個機器學習模型,以來自多個資料源、多種格式的資料做訓練及推斷。如何管理模型所需的特徵資訊成為了一個工程上的挑戰。

以金融業為例,金融機構中利用機器學習進行市場分析、風險評估及提升客戶留存率等應用,動轍數百個模型在生產線上,而建模所需的資料來源橫跨多種來源,例如原物料價格、失業率、股價、財務分析報告到客戶交易資料,其更新頻率、格式及儲存方式亦各有不同,定義不同資料源的處理邏輯與確保品質是一個關鍵。再者,不同模型中常會共用特徵資料建模,讓特徵值便於重複使用對團隊的效率並定義明確的特徵值,讓團隊在建模後,能夠進一步分析以獲得洞察。

以往資料科學家或資料工程師必須付出許多努力管理特徵值,確保品質並提高重用性,但往往隨著模型開發、新的資料源加入或是不同版本的特徵處理方式面臨規模化的困難。AWS 在re:Invent 2020 新發布的Amazon SageMaker Feature Store 提供資料處理整合介面,並建立特徵值的命名、定義及發掘的便捷機制,讓資料科學團隊專注在具有商業影響力的建模與分析上。

Amazon SageMaker Pipelines

機器學習的工程程序包含三大階段:資料準備、訓練及部署。而三階段又各有其子任務:資料準備階段意指準備訓練及推斷資料,包含資料前處理、資料轉置;訓練過程包含模型訓練、訓練中的數據收集、超參數優化及離線評測等等;部署則有模型對推斷裝置的優化及推斷端點的生成、因應實際狀況擴大或縮小機器規模等等工作。整體是一個十分冗長的管線,如何管理工程管線、加速工程任務的整合對開發效率有關鍵性的影響。

以電商企業中開發推薦引擎為例,資料準備階段會需要整合銷售、會員資料、使用者在線使用記錄等多個資料源,將其整理為機器學習模型所需的特徵值。在訓練時則需以資料準備階段產出的資料進行訓練,並且進行參數的優化,而進行離線評測後若模型達到品質標準,則趨動產品線上的部署,讓使用者使用。

在此流程中,資料、程式邏輯或是模型效能上有品質疑慮的話,需要中斷部署流程,確保線上產品品質。舉例來說,若是在資料準備階段,發生來源資料格式變動,或是程式邏輯需要修正的情況導致資料缺失,必須反應給開發團隊或資料提供者進行修正,停止後續部署;或是在離線評測結果未達標準的情況下,必須停止部署流程,並趨動它種模型再訓練或反回團隊進行模型調整。

更重要的是,在歷程中的模型參數、訓練資料、及所使用的運算資源等等資訊必須能被記錄追蹤,在部署後發現線上品質有疑慮時可快速切回先前版本,提升服務可信賴性及可用性。

Amazon SageMaker Edge Manager

在製造業中,需要許多邊緣推斷的應用,如異常偵測或是品質檢測,在邊緣裝置提供低延遲且準確推斷對於工廠的運行效率十分重要,這次發布的Edge Manager能在雲端訓練精確模型,針對不同的邊緣置進行壓縮與優化,達到加速推斷速度至二倍並降低所需記憶體至十分之一,提升了邊緣推斷的效能。另外,邊緣推斷面臨的另一個問題是,如果機器學習模型因為環境變遷之故準確率隨時間變動,將對產線效率及產品品質有重大影響。Amazon SageMaker Edge Manager 讓使用者加密上傳模型及推斷資料至Amazon SageMaker,對模型推斷效能進行監控,提早發現模型準確度變動的問題,先一步提供根據最新資料優化的模型,維持產線效率及產品品質。

關鍵字: 機器學習  AWS 
相關新聞
Crayon加入AWS生成式AI合作夥伴創新聯盟
2024中華郵政大數據競賽廣納全台42校AI創意
NetApp與AWS簽署策略性合作協議 強化雲端資料服務效能
日本JR東海選擇AWS合作 推動下世代高速列車的高效營運
科科旗下Going Cloud 獲AWS年度合作夥伴獎
comments powered by Disqus
相關討論
  相關文章
» SiC MOSFET:意法半導體克服產業挑戰的顛覆性技術
» STM32MP25系列MPU加速邊緣AI應用發展 開啟嵌入式智慧新時代
» STM32 MCU產品線再添新成員 STM32H7R/S與STM32U0各擅勝場
» STM32WBA系列推動物聯網發展 多協定無線連接成效率關鍵
» 開啟邊緣智能新時代 ST引領AI開發潮流


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.13.58.217.242
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw