账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
为大数据与各种工作负载设计的解决方案
 

【作者: Gerrit Kazmaier】2022年04月12日 星期二

浏览人次:【3034】

现今的资料格式不仅相当多元,更会以即时串流的形式提供,同时散布於世界各地许多不同的资料中心和云端环境中。从数据分析、资料工程、人工智慧与机器学习,到资料导向应用程式,运用及分享资料的方式仍在持续增加。资料的影响力不再仅限於分析师,现已扩及所有员工、客户和合作夥伴。


由於资料、工作负载和使用者的数量与类型急剧成长,因此目前正处於一个临界点上,即便将传统资料架构部署於云端,也无法完整发挥资料的潜在价值,导致资料越来越难以转化为实际价值。


为克服这些难题,我们正式发表多项资料云端的创新技术,协助大家处理各种工作负载中无穷无尽的资料,并让所有人都能使用。这次发表的项目中包含 BigLake和Spanner变更串流,这些技术可以进一步整合客户资料,同时确保资料能够即时传递。


另外,Vertex AI Workbench和Model Registry则能让大家轻松将资料转化为 AI方面的价值。为了让所有人都能使用资料,我们将发表经过统合的商业智慧 (BI)服务,当中包含全新的Workspace整合方案,以及进一步支援Google资料云端合作夥伴生态系的新计画。


突破所有资料限制

我们发表的Beta版BigLake,这个资料湖泊储存引擎可以整合不同的资料湖泊与仓储,进而打破其中的界线。如果分开管理不同的资料仓储与湖泊,会造成资料孤岛的情形发生,并导致额外的风险和费用,这样的问题在需要迁移资料时会特别明显。


有了BigLake,企业就能整合资料仓储和资料湖泊,并进行分析,且不必担心基础的储存空间格式或系统,这样就不需要复制或迁移来源中的资料,进而降低成本并提高效率。


在BigLake的协助下,客户可以采用更细致的存取权控管机制,并透过API介面使用Google Cloud和Parquet等开放原始码档案格式,进而运用Apache Spark等开放原始码处理引擎。这些功能将BigQuery十年的革新成果拓展至 Google Cloud Storage中的资料湖泊,实现了具备弹性并符合成本效益的开放式资料湖仓架构。


Twitter已开始采用BigQuery的储存空间功能来打破资料限制,以便进一步掌握其用户使用Twitter平台的方式,以及会感到兴趣的内容类型。因此,Twitter 能透过每秒可执行超过 300 万次聚合作业的广告管道,每天为数兆个事件提供内容。


另一项重大创新技术是Spanner变更串流。这项即将推出的新产品会进一步协助大家打破资料限制,并即时追踪Spanner资料库中的变更,以便创造全新价值。Spanner变更串流可以追踪Spanner的植入、更新和删除作业,并在整个 Spanner资料库中即时串流异动内容。这样一来,客户就能随时存取最新资料,同时轻松将Spanner中的变更复制到BigQuery来进行即时分析、透过 Pub/Sub触发下游应用程式行动,或是将变更储存至Google Cloud Storage (GCS)来遵守法规要求。Spanner目前每秒最多可处理超过20亿项要求,同时维持99.999%的可用性。而在增加变更串流之後,Spanner现在可以让客户在处理资料时享有无限可能。


消除资料工作负载的限制

我们的AI产品组合是以Vertex AI来驱动,这个代管平台提供建立、部署及扩充模型所需的各项机器学习工具,并经过最隹化的处理,可以顺畅处理 BigQuery 等服务中的资料工作负载。Vertex AI创新技术提供更加流畅的体验,让客户在更短时间内将AI模型部署至实际工作环境,并进一步简化维护作业。


Vertex AI Workbench现已正式推出,能够将资料和机器学习系统整合至单一介面,这样一来无论是执行资料分析、数据科学或机器学习等工作,团队都能使用相同的工具组来完成。Vertex AI Workbench与BigQuery、无伺服器 Spark和Dataproc整合後,可让团队快速建立、训练及部署机器学习模型,速度是传统笔记型电脑的5倍。事实上,一间跨国零售公司采用了Vertex AI Workbench之後,销售额增加了数百万美元,产品上市速度也加快了15%。


有了Vertex AI,就可以定期更新模型,不过要管理大量的构件并非易事,情况可能会在短时间内失控。为了能够更轻松地管理模型的维护作业,我们发布全新的机器学习运作功能Vertex AI Model Registry。目前Vertex AI Model Registry为Beta版,提供中央存放区,可供探索、使用及管理机器学习模型,BigQuery ML中的模型也包含在内。如此,数据资料学家就能轻松分享模型,以方便应用程式开发人员使用,进而让团队能依据资料即时制定决策,在面对持续变化的市场环境时能保持更高弹性。


扩大资料触及范围

我们也推出Looker连结试算表,以及在Data Studio中存取Looker资料模型的功能。无论是透过Looker探索(Looker Explore)、Google试算表或是数据分析(Data Studio)的拖曳式介面,大家现在都能按照自己选取的方式与资料行互动。


如此一来,所有人都能运用这个经过整合的全新Google Cloud商业智慧 (BI)平台,更轻松地存取资料、并从中撷取出深入分析的结果,藉此推动革新,并依据资料来制定决策。有了这项整合式商业智慧服务,使用者就能轻松取得受管理且值得信赖的企业资料、采用新的资料集和计算功能,并与同事协同合作。


Mercado Libre是拉丁美洲最大的线上商务与支付服务系统,同时也是Looker连结试算表的初期采用者。借助这项整合服务,他们已能透过原先惯用的试算表介面将资料存取权分享给更多员工。藉由降低入门门槛,他们已经营造出资料导向文化,所有人都能依据资料制定决策。


强化支持资料云端合作夥伴生态系

如果没有出色的合作夥伴生态系,我们即使拥有这些资料创新技术,也不可能让使用者轻松发挥数据的价值。目前已有超过700个软体合作夥伴使用 Google的资料云来驱动自家的应用程式。Bloomreach、Equifax、Exabeam、Quantum Metric和ZoomInfo等许多合作夥伴均已开始采用我们的资料云功能,并叁加Built with BigQuery计画,来享有专属工程团队、协同行销和市场开发的支援。


我们的用户希??合作夥伴解决方案不仅能够与BigQuery等产品紧密整合,并可以进一步优化。因此Google Cloud Ready - BigQuery这项全新的验证机制,能够识别一系列符合功能性和互通性核心需求的合作夥伴解决方案,例如 Fivetran、Informatica和Tableau所提供的服务。目前在「Google Cloud Ready - BigQuery」计画中收录了超过25个合作夥伴。这项崭新的计画可协助客户减少评估新工具所需的成本,同时支援新的应用情境。


另外,我们也宣布一项新的资料库迁移计画,希??能够协助大家在短时间内顺畅且迅速地迈开迁移的脚步,将地端部署环境和其他云端中的资料迁移至 Google的全代管资料库服务上。除了由Deloitte等合作夥伴提供的工具、资源和专业知识之外,我们也提供奖励来协助客户节省迁移资料库的费用。


我们会继续与客户??注资源的资料与数据分析公司合作,持续推动革新。Databricks、Fivetran、MongoDB、Neo4j和Redis也都已经向Google Cloud 的用户公布重大新功能。


(本文作者Gerrit Kazmaier为Google Cloud资料库、资料分析及Looker商业智慧平台总经理暨??总裁)


相关文章
大数据和AI预测助力 快土石流不只一步!
生成式AI与PC革新
利用学习资源及AI提升自动化程式开发效率
机器学习可以帮助未来的癌症诊断
资料科学与机器学习协助改善颈部损伤评估
comments powered by Disqus
相关讨论
  相关新闻
» 伟康科技获得三重资安验证 全方位防护控管
» 精诚金融科技取得第三方支付能量登录 数位金流布局到位
» 联发科与大联大品隹集团於Embedded World 2024展出嵌入式智慧物联网合作成果
» 远东医电与台北荣总签订MOU 旅游E指服务接通
» 资策会携手日本5GMF推动5G发展趋势及创新应用


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK84J3DMRJ6STACUKC
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw