「數據讓一切皆有可能」,大數據(Big Data,或稱巨量資料)的技術演變迅速超乎想像,對於電信、金融、製造、醫藥等眾多產業造成莫大的影響。根據資策會產業情報研究所(MIC)預估連網終端至2025年將超過1,000億個,而在2019年全球智慧家庭市場規模可望成長至1,150億美元,甚至於聯網整體市場產值將高達6,000億美元,顯見未來聯網市場潛藏的無限商機。
![Cloudera亞太區資深總監伍長輝(左)及大中華區暨韓國高級市場經理董辛乙(右)說明Cloudera數據平台的特色。](/news/2016/06/08/1750169670S.jpg) |
Cloudera亞太區資深總監伍長輝(左)及大中華區暨韓國高級市場經理董辛乙(右)說明Cloudera數據平台的特色。 |
儲存、分析及運用
大數據的產生如同顛覆視野的革命,Cloudera亞太區資深總監伍長輝表示,相較於過去的資料多半以文字型態來存取,資料內容為結構式呈現,現今的物聯網(IoT)裝置所接收的訊號顯得複雜多樣,其中包括影像、聲音及影片等非結構式資料,不只是存取各式各樣的資料,甚至是從多感測器擷取蒐集而來許多的個人資料或動態資料,究竟該如何快速的在多樣化資料中尋找資料之間圖像與網絡(Network)的關連性,無疑成為大數據必須解決的關鍵要項。
從昔日的硬體來看,除了記憶體容量較小且昂貴,其儲存空間也有限,如今則不然,當儲存裝置變得越來越便宜,容量愈來愈大,資料不再緩慢累積而是呈現爆增成長時,伍長輝表示,我們必須思考探究的是在資訊世界中蒐集擁有數據的目的,要儲存放在哪裡?如何快速分析?可以拿來做些什麼?如何運用的更有意義?當面對巨量資料,除了搜集儲存之外,有效的分析及利用更是重點。
在數位時代中,資料與軟體是企業憑介以銷售與維繫顧客之間關係的主要工具。
隨著近年來軟硬體的技術效能大幅提升,對於Hadoop架構是否能符合新一代的軟硬體需求的疑慮,伍長輝提出說明,他表示Hadoop為開放原始碼的軟體,從根本改變了企業儲存、處理和分析資料的方式,同時能夠在相同數據上同時進行多種工作負載分析。
在大數據技術的架構與擴充性方面,Hadoop不斷提供新的管理工具,也開放原始碼計畫,讓有興趣的人可以打造新計畫,透過網際網路把專業及能力放在平台上,進而找到其他有興趣的人共同貢獻己力,持續讓此平台進行轉變,共享合作平台的模式拓展平台的應用範圍,逐漸形成龐大的資料生態系,使得Hadoop在資料管理與分析方面能夠提供更多的協助,而在英特爾(Intel)加入技術開發團隊之後,對於技術進展更添助力。
快速、簡單及安全
在Cloudera的推動下,藉由快速、簡單及安全的Apache Hadoop平台,進行資料管理與分析,能夠協助企業解決大部分的數據問題。為了有效提升使用者與作業環境的績效與系統效能,Cloudera Enterprise 5.7新版強化重要功能,包括新增Hive-on-Spark輔助能加倍快速的相對應處理數據,以及更新至 Apache Impala(開發中),讓企業智慧分析能力提升兩倍;Cloudera Enterprise 5.7同時加強了在大量用戶同時使用時的管理效率及資源配置。
Cloudera利用Apache Hadoop以及最新開放原始碼技術,提供最新的數據管理以及分析平台,透過Cloudera Enterprise快速、簡單且安全的數據平台,可以幫助解決企業困難的問題。讓客戶有效的擷取、儲存、處理及分析大量的數據,並且能夠利用先進的分析技術,達到比過去更靈活、更快速且更低成本的方式訂定市場策略。
Cloudera Enterprise讓Hadoop的用戶能更專注於結果而非技術本身;除了能夠更精準、更直接的協助企業,提升企業智慧分析能力,亦加強在大量用戶同時使用時的管理效率及資源配置。伍長輝表示,Cloudera具有全面的安全防護、提供獨特的加密技術、縝密的數據存取保護及全面的資料查核和沿襲功能,可以協同客戶以更靈活快速的訂定市場策略,並運用自有數據發揮企業既有的價值,甚至獲取更高的價值。
大數據的下一步
物聯網(IoT)的起飛驅使萬物連網,未來經由大量、快速及多樣化所產生的資料量將超乎想像,不同產業採用大數據時會有不同的需求和優先順序,也更顯出即時(Real-time)的資料處理分析能力優劣。產業經驗豐富的伍長輝認為大數據的下一步將是機器學習和自動化,機器學習會促成自動化,以人工智慧(AI)進展為例,過去無足夠的數據及分析運算能力,如今技術演變已然到位,而大數據所面臨的最大挑戰在於缺乏資料分析方面的專家。
舉例而言,以整體作業環境來看,大數據分析需要特定產業相對的經驗,然而資深工作者雖然產業經驗豐富,對於大數據分析卻不見得在行,而年輕工作者雖然有大數據經驗,卻沒有豐富的產業經驗,如何結合所長有效掌控利用資料發揮最大效益,將成為未來企業發展的重要關鍵。究竟要如何補強亞太地區的技術能力並有效利用 Hadoop從大數據中獲取商機,正是Cloudera目前努力的方向。