「数据让一切皆有可能」,大数据(Big Data,或称巨量资料)的技术演变迅速超乎想像,对于电信、金融、制造、医药等众多产业造成莫大的影响。根据资策会产业情报研究所(MIC)预估连网终端至2025年将超过1,000亿个,而在2019年全球智慧家庭市场规模可望成长至1,150亿美元,甚至于联网整体市场产值将高达6,000亿美元,显见未来联网市场潜藏的无限商机。
![Hadoop为开放原始码的软体,从根本改变了企业储存、处理和分析资料的方式,同时能够在相同数据上同时进行多种工作负载分析。](/news/2016/06/08/1750169670S.jpg) |
Hadoop为开放原始码的软体,从根本改变了企业储存、处理和分析资料的方式,同时能够在相同数据上同时进行多种工作负载分析。 |
储存、分析及运用
大数据的产生如同颠覆视野的革命,Cloudera亚太区资深总监伍长辉表示,相较于过去的资料多半以文字型态来存取,资料内容为结构式呈现,现今的物联网(IoT)装置所接收的讯号显得复杂多样,其中包括影像、声音及影片等非结构式资料,不只是存取各式各样的资料,甚至是从多感测器撷取搜集而来许多的个人资料或动态资料,究竟该如何快速的在多样化资料中寻找资料之间图像与网络(Network)的关连性,无疑成为大数据必须解决的关键要项。
从昔日的硬体来看,除了记忆体容量较小且昂贵,其储存空间也有限,如今则不然,当储存装置变得越来越便宜,容量愈来愈大,资料不再缓慢累积而是呈现爆增成长时,伍长辉表示,我们必须思考探究的是在资讯世界中搜集拥有数据的目的,要储存放在哪里?如何快速分析?可以拿来做些什么?如何运用的更有意义?当面对巨量资料,除了搜集储存之外,有效的分析及利用更是重点。
在数位时代中,资料与软体是企业凭借以销售与维系顾客之间关系的主要工具。
随着近年来软硬体的技术效能大幅提升,对于Hadoop架构是否能符合新一代的软硬体需求的疑虑,伍长辉提出说明,他表示Hadoop为开放原始码的软体,从根本改变了企业储存、处理和分析资料的方式,同时能够在相同数据上同时进行多种工作负载分析。
在大数据技术的架构与扩充性方面,Hadoop不断提供新的管理工具,也开放原始码计画,让有兴趣的人可以打造新计画,透过网际网路把专业及能力放在平台上,进而找到其他有兴趣的人共同贡献己力,持续让此平台进行转变,共享合作平台的模式拓展平台的应用范围,逐渐形成庞大的资料生态系,使得Hadoop在资料管理与分析方面能够提供更多的协助,而在英特尔(Intel)加入技术开发团队之后,对于技术进展更添助力。
快速、简单及安全
在Cloudera的推动下,藉由快速、简单及安全的Apache Hadoop平台,进行资料管理与分析,能够协助企业解决大部分的数据问题。为了有效提升使用者与作业环境的绩效与系统效能,Cloudera Enterprise 5.7新版强化重要功能,包括新增Hive-on-Spark辅助能加倍快速的相对应处理数据,以及更新至Apache Impala(开发中),让企业智慧分析能力提升两倍;Cloudera Enterprise 5.7同时加强了在大量用户同时使用时的管理效率及资源配置。
Cloudera利用Apache Hadoop以及最新开放原始码技术,提供最新的数据管理以及分析平台,透过Cloudera Enterprise快速、简单且安全的数据平台,可以帮助解决企业困难的问题。让客户有效的撷取、储存、处理及分析大量的数据,并且能够利用先进的分析技术,达到比过去更灵活、更快速且更低成本的方式订定市场策略。
Cloudera Enterprise让Hadoop的用户能更专注于结果而非技术本身;除了能够更精准、更直接的协助企业,提升企业智慧分析能力,亦加强在大量用户同时使用时的管理效率及资源配置。伍长辉表示,Cloudera具有全面的安全防护、提供独特的加密技术、缜密的数据存取保护及全面的资料查核和沿袭功能,可以协同客户以更灵活快速的订定市场策略,并运用自有数据发挥企业既有的价值,甚至获取更高的价值。
大数据的下一步
物联网(IoT)的起飞驱使万物连网,未来经由大量、快速及多样化所产生的资料量将超乎想像,不同产业采用大数据时会有不同的需求和优先顺序,也更显出即时(Real-time)的资料处理分析能力优劣。产业经验丰富的伍长辉认为大数据的下一步将是机器学习和自动化,机器学习会促成自动化,以人工智慧(AI)进展为例,过去无足够的数据及分析运算能力,如今技术演变已然到位,而大数据所面临的最大挑战在于缺乏资料分析方面的专家。
举例而言,以整体作业环境来看,大数据分析需要特定产业相对的经验,然而资深工作者虽然产业经验丰富,对于大数据分析却不见得在行,而年轻工作者虽然有大数据经验,却没有丰富的产业经验,如何结合所长有效掌控利用资料发挥最大效益,将成为未来企业发展的重要关键。究竟要如何补强亚太地区的技术能力并有效利用 Hadoop从大数据中获取商机,正是Cloudera目前努力的方向。