「大数据」一词近年相当热门,许多企业力求转型的第一步便是导入大数据的概念,而Cloudera利用最新开放原始码技术,提供现代化的数据管理、机器学习和先进分析平台。Cloudera系统能够透过有效率地撷取、储存、处理,以及分析大量的数据来帮助企业解决困难的企业挑战。
在台湾,中大型企业的特色是拥有多元化的服务或产品事业群,伴随着的是相当大量却仅限於原事业群使用的数据资料,而其中绝大部分都是行为数据,例如消费者的行为偏好轨迹、App使用轨迹、电子通路使用轨迹等,这些数据能让企业进一步了解客户的真实样貌与产品的现况。Hadoop的架构正适合存放这种产生速度较快且较为大量的轨迹数据,企业亦能藉此打破各事业体间的数据藩篱,建立整个事业体的数据资料库,同时建置出有利於企业後续分析与预测的数据系统。
富邦集团旗下拥有金融、电信、电子商务等不同产业,近年来极为重视「FinTech金融科技」的运用,富邦金控於2015年底成立「创新科技办公室」以推动金融科技创新,目前富邦金控在发展金融科技的成果逐渐显现,更成为台湾提出区块链测试产品的金融机构先驱,而以下几个重要的考量点,正是让富邦金控决定率先导入此技术的关键。
整合事业群数据,快速查询分析
![图1 : Cloudera Hadoop架构扮演资讯归纳统整的角色,提供企业安全且快速的资讯查询检索功能。(source: Hayes Culleton)](/art/2017/11/071550150060/p1S.JPG)
图1 : Cloudera Hadoop架构扮演资讯归纳统整的角色,提供企业安全且快速的资讯查询检索功能。(source: Hayes Culleton) |
|
许多企业拥有巨量的消费者资料却缺乏整合分析,各事业群或部门的资讯也无法互通或有效利用,而Cloudera Hadoop架构在这之中正是扮演资讯归纳统整的角色,提供企业安全且快速的资讯查询检索功能。过去往往因为传统数据库的运作限制,只要面临巨量资料的索引与分析就会让企业相当头痛,许多企业即便花了大量的时间去优化程式,还是会遇到许多瓶颈和限制,但在导入Cloudera Hadoop架构後,纵使是处理巨量资料,也能快速的透过Hadoop分散式档案系统(HDFS)与Apache Hive归纳、查询与分析资料。
「即时回应」并「一次到位」的解决客户的问题,长久以来一直是各产业努力的目标,但碍於系统的限制,大多仅能做到批次查询後再运用不完整的资讯去分析,而且纵使後端做了许多不同类型的分析,但要回??到前端往往也需耗费些许时间,很难在第一时间回覆客户的深层需求。
导入Cloudera的系统之後,由於来自於各事业群的资料会先被整理归纳,企业可以在短时间内从成千上万笔资料中找到有用的数据,针对客户的过往纪录、状况、问题,建构出客户的消费样貌,适时的针对客户需求推荐合适的产品或解决方案,除了可以快速有效的解决客户问题,更能够表现出企业的对客户的深度了解,同时也能减少企业的时间和金钱上的成本消耗,将每一分心力及资源都做最有效的运用。
深度的专业建议,全面的管理工具
由於Hadoop架构的内容相当广泛,要能够快速找到最适合的解决方案相当不容易,藉由Cloudera在Hadoop与大数据上的深度了解与实务经验,在本次与富邦金控资料库建置与设计,即提供专业的建议与解决方案。
与富邦金控的合作当中,Cloudera运用自身在Hadoop与大数据上的丰富经验,与客户就资料库建置与设计上进行多次沟通交流,并结合客户所提供的实务状况,提供专业的建议与解决方案。除此之外,Cloudera也提供数种不同的管理工具,例如Cloudera Manager能够大幅提升企业在整合各个伺服器及元件设定便利性,对於企业内部的系统工程师而言,Cloudera Manager可带来相当大的助益。
安全的数据管理,进阶的数据应用
![图2 : 「FinTech金融科技」的核心是大数据与机器学习,而Hadoop是这些技术的基础。(source: businessworld.in)](/art/2017/11/071550150060/p2S.JPG)
图2 : 「FinTech金融科技」的核心是大数据与机器学习,而Hadoop是这些技术的基础。(source: businessworld.in) |
|
数据资料的安全一直以来都是资料库系统的重点,对於攸关个人、公司资产的金融产业来说更至关重要,Cloudera平台通过业经世界五大信用卡集团认可的PCI-DSS(Payment Card Industry Data Security Standard)认证,此认证针对资讯的安全管理、政策、程序、网路设定与软体设计等多方面进行考核,目的是竭尽所能的保护持卡人的资料安全。以金融业大数据平台而言,Cloudera在资料安全方面投入了大量精力,并且在与金融企业合作的过程当中,不断强化安全等级与效能。
实际上,「FinTech金融科技」的核心就是大数据与机器学习,而Hadoop正是这些技术的基础,然相同的概念可以被应用在各个不同的方面,例如富邦金控除了运用资料库来了解消费者的样貌外,亦将资讯安全相关登录档(Log)导入资料库当中,如此,将来透过资料库的数据,就能够分析及预测各种不正当行为,同时提高公司内部及对外的资讯安全层级。
导入管理系统分析客户行为路径
富邦金控为了妥善发展大数据相关应用而导入Cloudera的管理CEH(Customer Event Hub)系统以分析客户行为路径,将其旗下银行、人寿、证券、产险等业务单位的资料进行整合,建立每位客户的年龄历程模型,针对客户过往的活动纪录与偏好,推荐适合客户的金融产品。如此一来,各业务单位的员工便能更有效的即时了解客户的状况、可能面临的问题以及需求,也可以避免不必要的人力及时间耗费,替企业带来更出色的表现。
此外,透过系统,富邦金控将来能够针对企业策略与目标,进行金控层面的数据收集与分析,无论是想要找出公司内部的问题,或是希??能了解特定事件的样貌或情况,只要审慎评估需要收集的资料以及目标方向,就能够从跨子公司巨量的数据中寻找答案。
结论
当企业希??发展大数据、机器学习相关领域时,除了积极寻找相关人才的加入,透过Cloudera在全球各地累积的技术支援与实务经验,进而提供企业一个有效存取、处理,以及分析的安全平台,专业人员也可以协助企业培训自家的大数据分析人才,经过此次Cloudera和富邦金控的合作可以看到,建置金控内的大数据资料库与应用,让企业的资料不再是单纯的数据,而是可以了解客户行为、偏好,甚至预测客户需求的利器,有效提升企业表现并同时降低企业的成本消耗。