账号:
密码:
最新动态
产业快讯
CTIMES/SmartAuto / 新闻 /
AWS宣布Amazon SageMaker新功能 加速机器学习模型开发流程
 

【CTIMES / SMARTAUTO ABC_1 报导】    2020年12月16日 星期三

浏览人次:【4409】

Amazon SageMaker是面向机器学习开发者的一个整合式开发环境,是一项全托管的服务,消除机器学习过程中每个阶段的挑战,使开发人员和资料科学家日常能够从根本上更轻松、更快速的建构、训练和部署机器学习模型。Amazon SageMaker的功能也在快速反覆运算中,过去一年已经发表了50多项新功能。在re:Invent 2020大会上,AWS再次发布9项新功能。以下重点整理针对台湾产业相当实用的功能:

Amazon SageMaker Feature Store

现今企业中,常有数十甚至数百个机器学习模型,以来自多个资料源、多种格式的资料做训练及推断。如何管理模型所需的特徵资讯成为了一个工程上的挑战。

以金融业为例,金融机构中利用机器学习进行市场分析、风险评估及提升客户留存率等应用,动辙数百个模型在生产线上,而建模所需的资料来源横跨多种来源,例如原物料价格、失业率、股价、财务分析报告到客户交易资料,其更新频率、格式及储存方式亦各有不同,定义不同资料源的处理逻辑与确保品质是一个关键。再者,不同模型中常会共用特徵资料建模,让特徵值便於重复使用对团队的效率并定义明确的特徵值,让团队在建模後,能够进一步分析以获得洞察。

以往资料科学家或资料工程师必须付出许多努力管理特徵值,确保品质并提高重用性,但往往随着模型开发、新的资料源加入或是不同版本的特徵处理方式面临规模化的困难。AWS 在re:Invent 2020 新发布的Amazon SageMaker Feature Store 提供资料处理整合介面,并建立特徵值的命名、定义及发掘的便捷机制,让资料科学团队专注在具有商业影响力的建模与分析上。

Amazon SageMaker Pipelines

机器学习的工程程序包含三大阶段:资料准备、训练及部署。而三阶段又各有其子任务:资料准备阶段意指准备训练及推断资料,包含资料前处理、资料转置;训练过程包含模型训练、训练中的数据收集、超叁数优化及离线评测等等;部署则有模型对推断装置的优化及推断端点的生成、因应实际状况扩大或缩小机器规模等等工作。整体是一个十分冗长的管线,如何管理工程管线、加速工程任务的整合对开发效率有关键性的影响。

以电商企业中开发推荐引擎为例,资料准备阶段会需要整合销售、会员资料、使用者在线使用记录等多个资料源,将其整理为机器学习模型所需的特徵值。在训练时则需以资料准备阶段产出的资料进行训练,并且进行叁数的优化,而进行离线评测後若模型达到品质标准,则趋动产品线上的部署,让使用者使用。

在此流程中,资料、程式逻辑或是模型效能上有品质疑虑的话,需要中断部署流程,确保线上产品品质。举例来说,若是在资料准备阶段,发生来源资料格式变动,或是程式逻辑需要修正的情况导致资料缺失,必须反应给开发团队或资料提供者进行修正,停止後续部署;或是在离线评测结果未达标准的情况下,必须停止部署流程,并趋动它种模型再训练或反回团队进行模型调整。

更重要的是,在历程中的模型叁数、训练资料、及所使用的运算资源等等资讯必须能被记录追踪,在部署後发现线上品质有疑虑时可快速切回先前版本,提升服务可信赖性及可用性。

Amazon SageMaker Edge Manager

在制造业中,需要许多边缘推断的应用,如异常侦测或是品质检测,在边缘装置提供低延迟且准确推断对於工厂的运行效率十分重要,这次发布的Edge Manager能在云端训练精确模型,针对不同的边缘置进行压缩与优化,达到加速推断速度至二倍并降低所需记忆体至十分之一,提升了边缘推断的效能。另外,边缘推断面临的另一个问题是,如果机器学习模型因为环境变迁之故准确率随时间变动,将对产线效率及产品品质有重大影响。Amazon SageMaker Edge Manager 让使用者加密上传模型及推断资料至Amazon SageMaker,对模型推断效能进行监控,提早发现模型准确度变动的问题,先一步提供根据最新资料优化的模型,维持产线效率及产品品质。

關鍵字: 機器學習  AWS 
相关新闻
电信服务调查:云端服务及AI未来贡献 6年将提升全球GDP逾数兆美元
Crayon加入AWS生成式AI合作夥伴创新联盟
2024中华邮政大数据竞赛广纳全台42校AI创意
NetApp与AWS签署策略性合作协议 强化云端资料服务效能
日本JR东海选择AWS合作 推动下世代高速列车的高效营运
相关讨论
  相关文章
» SiC MOSFET:意法半导体克服产业挑战的颠覆性技术
» STM32MP25系列MPU加速边缘AI应用发展 开启嵌入式智慧新时代
» STM32 MCU产品线再添新成员 STM32H7R/S与STM32U0各擅胜场
» STM32WBA系列推动物联网发展 多协定无线连接成效率关键
» 开启边缘智能新时代 ST引领AI开发潮流


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK8CMA5L5ZOSTACUK8
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw