NEC日前宣布，运用人工智慧(AI)发现混杂于巨量资料中复数规则的「异种混合机械学习」技术为基础，开发出更为强化的「分散版异种混合机械学习」技术，这项技术能从超大规模资料中，以分散的运算系统产生预测模型。

NEC开发高速分析超大规模资料的分散版异种混合机械学习

所谓的「异种混合机械学习」，是藉由巨量资料的分析与预测，再加上星期几、天气如何等条件，自动发现其中「资料的状况分类」与「变数的组合」的技术。

过往，资料的范例数量达到数千万件以上、大于一台电脑搭载记忆体容量的超大规模资料，要将其进行分析时，会另外再将资料分割后进行分析。另外，即使搭载高性能CPU（核心数增加等状况）也有所极限，因此该如何改善大规模的资料分析效能，就是目前面临的课题。

这次NEC所开发的技术「分散版异种混合机械学习」，是让分散开来的不同电脑，各自进行异种混合机械学习的分析时，能够同时将全体整合起来，只要增加电脑数量，庞大的资料也能不受限制的产生预测模型。举例来说，大型金融机构的结余预测，或是大型电信业者的客户解约数量预测，像这样有数千万件相关事例的超大规模资料，也能运用这次的新技术来进行分析。

由新技术来进行实证实验的结果，与旧技术相比，AI的学习速度约提升为原本的110倍，预测精准度也提升了17%。

NEC针对本技术会持续更进一步开发研究，目标在2018年3月将技术实用化。

NEC致力于推广「社会解决方案事业」，运用本技术为首的先进AI技术，为打造安全．安心的社会与商业基础建设的强化有所贡献。

背景

针对巨量资料迅速进行分析，在预测未来情形时也有所帮助，现在对如此技术的期待日益提升。 NEC至今都持续独家开发并强化「异种混合机械学习」，这项AI技术能够高度精确地进行巨量资料分析。

透过「异种混合机械学习」技术，使资源可以有效运用，包含能源、水、食材的需求预测，为提升物流管理效率的库存需求预测，强化零售店铺管理的商品需求预测等情形，都能进行高精准度且大规模的预测。另一方面，「异种混合机械学习」技术发展到现阶段，在运用超大规模资料学习时，会受到电脑记忆体容量、CPU 核心数限制等性能上的局限，是目前面临的课题。

这次所开发的「分散版异种混合机械学习」，是在分散的运算系统上能够执行异种混合机械学习，即使资料事例数量有数千万件以上的超大规模资料，只需增加电脑的数量，就能够不受限制地藉由本技术来产生预测模型。

新技术特长

1.开发出可适用于分散运算系统的演算法（手法）

开发出的分散版异种混合机械学习演算法，能同时使复数的电脑协作，从预测模型中学习。本演算法会将（1）预测模型资讯（依据资料状况分类与变数组合的资讯）与（2）统合各个预测模型资讯后适用于独创演算法的部份，由这两者让电脑们各自独立学习后全体整合运用，产生高度精准的预测模型。

2.开发出可再分散运算基础Apache Spark上运行的软体

作为分散运算系统基础之一的Apache Spark，NEC开发出可在此系统基础上运行分散版异种混合机械学习演算法的软体。

3.本软体会将所有分析对象的资料，分散配置给不同电脑的记忆体，之后不需再次分配或进行读取，就能运行分散版异种混合机械学习演算法。藉由这样的方式，与分析对象资料的通信或存取硬碟次数，并不会因为电脑数量而随之增加，更能发挥Spark的优势，在分散的不同记忆体上发挥最大的运算效能，因而能够高速运行演算法。 （编辑部陈复霞整理）

展会讯息

NEC在美国的Spark Summit 2016（6/6～6/8于美国旧金山）的6/8场次，以及Hadoop Summit San Jose 2016（6/28～6/30于美国圣荷西）的6/30场次，发表本技术相关内容。