《谷歌云:为什么智能数据云对于数字化转型至关重要(2021白皮书)(13页).pdf》由会员分享,可在线阅读,更多相关《谷歌云:为什么智能数据云对于数字化转型至关重要(2021白皮书)(13页).pdf(13页珍藏版)》请在三个皮匠报告上搜索。
1、为什么智能数据云对于数字化转型至关重要 2021 年 3 月目录执行摘要现代化数据策略受困于老旧的数据系统从差距到鸿沟:公司为什么无法将数据转化为价值将数据转化为智能再转化为价值智能数据云我们在 Google 学到的经验数据转型是一段征程,而非最终目的开始使用.1.10.2.3.9.5.7.9执行摘要在当今充斥着数字化颠覆的世界中,各行各业的组织都面临着同行带来的威胁:总有别的公司拥有更好的技术、更好的业务模式、更好的运营价值链以及更好的客户体验。数字化转型并不是一种新现象,但近期我们发现许多行业都加快了数字化转型进程,其中包括零售业、医疗保健业、金融服务业、交通运输业、汽车业、媒体和娱乐业以
2、及制造业。我们看到数字创新者正以更快的步伐进行创新,完全颠覆了现有企业的业务模式。这些数字创新者明白在整个组织中统一数据的巨大威力,知道这样做能真正推动转型并创造价值。他们知道具有弹性的任务关键型数据库、分析系统和机器学习系统有助于他们全天候可靠地运营业务并推动创新,进而取得卓著的业务成效。数字创新者希望利用开放、智能且可信的平台构建自己的数据云,现在他们已付诸行动。利用智能数据云推动数字化转型的一些客户:The Home Depot(THD)使得逾 40 万名员工能够清楚了解每个客户所需商品的具体情况,从而更加机敏地处理存放在 2000 多个地点中的 5 万多种商品。THD 还使用 Clou
3、d SQL、Spanner 和 Bigtable 来满足其运营场景的需求;并通过 AI 技术使用移动应用进行店内导航,从而帮助找到商品。美国癌症协议使用机器学习和计算技术来辨别数字病理图像中的新形态,以期改进病患治疗效果;同时还将乳房癌图像的分析速度提高了 12 倍。如果没有采用机器学习方法,即使有一支专职病理学家团队,他们也需要若干年时间才能分析完 1700 个组织样本,而不是三个月。借助 BigQuery 和 Spanner,UPS 将每年的燃料消耗量降低了 1000 万加仑,一年可节省高达 4 亿美元,这使得他们能够以更低的成本交付更多包裹,并以更智能、更灵活的方式为客户服务。在线零售商
4、 Zulily 使用人工智能、机器学习和云计算领域中的最新工具进行创新,并有针对性地为客户提供服务。为了让在线买家整体上了解服饰的试穿效果,Zulily 训练了机器学习模型来检测商品图片并辨别相关信息。他们在 AutoML Vision 等云技术的帮助下构建了这类解决方案。在 BigQuery、Cloud SQL 和 Spanner 的助力下,ANZ Bank 的银行业务处理速度比以前提高了多达 250 倍。在机器学习、BigQuery 和 Google Kubernetes Engine 的帮助下,Priceline 能够更快地做出由数据驱动的决策,进而更加快速地响应不断变化的客户需求。1但
5、是,要获得以上这样的成果并不容易。互相孤立的旧式系统似乎是主要的罪魁祸首,因为它们需要大量的维护和管理工作,侵占了本可以用于获取价值的关键资源。通过与客户交流,我们还了解到,即使他们确实拥有了更多现代化的工具,但也无法轻松连接这些工具,因此大部分时间都用在了系统工程上,而用于实际数据分析的时间却少之又少。如果企业不能找到方法来集成、管理和使用数据,就会错失巨大的价值;而且随着数据量不断增加,数据价值的差距将愈发显著。未来的颠覆性革命势不可挡,并将继续定义组织的业务模式。组织要想顺应这种趋势,就必须立即采取一些措施,理清如何消除差距并创造价值。在此白皮书中,我们将探讨为什么您的企业需要智能数据云
6、来开展日常运营工作;为什么数据转型对于解锁企业的更多价值至关重要;以及 Google 可如何助企业一臂之力。如果企业不能找到方法来集成、管理和使用数据,就会错失巨大的价值;而且随着数据量不断增加,数据价值的差距将愈发显著。2现代化数据策略受困于老旧的数据系统Google Cloud 客户 The Home Depot(THD)因其越做越大而声名鹊起-商店规模大、商品选择多,而且最重要的是客户满意度也很高。但随着时间发展,THD 认识到自身存在着一个问题,当然,这个问题也很大-大数据。在过去几年中,虽然他们的成功很大程度上是由数据驱动的,但 THD 一直在想方设法地寻找一种现代化运作方式。他们需
7、要更好地集成相关业务中的复杂任务,例如工具租赁和家庭服务。另外还希望利用移动计算设备更好地支持数据分析团队和店内员工,并利用电子商务和人工智能(AI)等新的现代化工具来满足客户需求。事实证明,他们现有的本地数据仓库存在以下缺点:过于局限,无法承受现代压力;因持续不断的分析需求而不堪重负;并且难以应对其数据分析师提出的越来越复杂的使用场景。这些现实状况一方面要求该公司大规模扩展数据仓库,另一方面还为优先任务、性能和费用的管理带来了挑战。如果 THD 希望为其环境增加容量,则需要在规划、架构和测试方面投入巨大的精力。在一次行动中,增加本地容量花费了六个月的规划时间,并且迫使服务中断三天。但这样做只
8、取得了短期成果-一年之内,容量再次短缺,从而影响性能以及执行所有必要报告和分析工作负载的能力。The Home Depot 还需要对其运营数据库进行现代化改造,以便更快地为其团队部署应用以及摆脱资源管理工作。这些难题导致他们不能实时了解销售、商品和送货指标,而 THD 需要这些指标来优化客户体验、商品 SKU 及其他方面。如果能做到优化,那么最终将帮助他们在无缝客户体验至关重要的行业中脱颖而出。听起来很熟悉?这些难题是目前企业所面临的共同情况。像 THD 一样,大多数公司发现,一边采用旧技术一边试图实施现代化数据策略已不再行得通。3从差距到鸿沟:公司为什么无法将数据转化为价值是什么阻碍了企业的
9、发展?与此同时,利用浩瀚的数据了解、响应甚至不时地预测风险和机遇的压力越来越大。每一位高管都认识到了数据在推动竞争优势和加速数字化转型方面的巨大潜力。只要正确地实施,数据智能就可以帮助打造令人愉悦的个性化客户体验、简化业务运营、更好地预测需求,并带来成效卓著的创新成果。但这需要能够让所有数据都发挥作用并从中发掘数据洞见-否则,就如同烹饪时备齐了所有食材却没有食谱一样。也许这样也能做出一些什么来,但比起预想中的美食总是会差一大截。遗憾的是,尽管技术在过去几十年里实现了指数级的飞跃,但实时获得数据洞见仍然接近于白日梦。许多公司并没有被推到新的创新高度,反而发现他们已经设法实现的价值与他们认为可以实
10、现的潜在价值之间的差距越来越大。数据孤岛阻碍着企业获得数据洞见。数据孤岛普遍存在于各行各业的组织中。这些独立的数据集是由逻辑、物理、技术或文化障碍共同造成的后果,通常会导致各个系统相互割裂,无法实时沟通和共享信息。例如,人力资源、财务等部门可能会收集重叠的数据,但却使用不同的系统和工具来存储和管理各自的数据,从而导致不一致。数据孤岛会阻碍企业实现统一的数据视图,导致无法发现隐藏的机遇。往严重了讲,不一致还会导致不信任,这不但有损协作,还会使人们不愿意再使用数据和利用数据开展协作。本地基础架构的扩容速度不够快,不足以满足数据增长需求。面对日益增长的客户需求和数据增长速度,本地基础架构的扩容能力显
11、得捉襟见肘。僵化的旧基础架构难以快速扩容来跟上数据需求的波动。隔夜处理数据的模式正在被淘汰,取而代之的是对数据流式处理和批处理模式的需求,同时还需要支持同步处理。旧基础架构已无力应对。达到容量上限最终会拖慢用户速度,还会束缚数据库管理员。用于管理基础架构的 IT 依赖项和运营开销的费用很高。与其他本地系统一样,数据库遵循着旧模式:支付硬件和许可费用,以及相关的持续性系统工程的费用。更新和扩展存储通常需要对硬件和软件进行修改,迫使团队浪费了原本可以花在其他地方的时间。此外,旧式 BI 工具需要人工创建、运行和更新报告,这些报告常常在到达您的收件箱时就已过时。因此,许多公司觉得他们一直在奔跑着追赶
12、数据。企业不是事先有所规划,而只能被动地响应既发事件。当出现未能预见的因素或中断时,这变得尤其麻烦。如果说新冠肺炎疫情教会了世人什么,那一定是一切都充满了变数,为了应对未来变故,未雨绸缪、提前规划方为上上之策。4以下是组织为什么难以将其数据转化为价值的原因:AI(和管理数据)很复杂。依托 AI 的预测分析可能令人生畏且耗费时间,但 AI 和机器学习(ML)中最难的部分是数据管理。例如,机器学习模型的好坏取决于用于训练它们的数据的质量。这就是“垃圾进,垃圾出”的概念-AI 并不会消除不准确或不一致的地方,因此糟糕的数据质量反过来会产生糟糕的数据洞见。此外,机器学习需要收集大量数据并为它们加上标签
13、。在某些情况下,数据是系统或产品的免费副产品;但在许多其他情况下,获取训练数据科学模型所需的数据不但代价非常高昂,而且这类数据很难收集。许多组织缺乏管理数据集所需的技能,并且在收集数据时不确定从哪里开始投资。5将数据转化为智能再转化为价值如今,数据本身显然已不再是主要竞争优势-重要的是组织能够利用数据做什么。但 Gartner 认为,将信息和数据视为资产这种做法仍处于早期阶段,对于投资于数据转型的组织而言,数据不失为一种竞争优势。公司将需要更快、更具前瞻性的决策来参与竞争,而数据和分析能力将需要成为实现企业价值的核心竞争力。实现数据转型时需要考虑许多因素。与过去可以使用的旧解决方案相比,围绕数
14、据的先进技术意味着现在有更好的方案,可以访问更多数据并简化管理工作。不过,即使使用当今更好的流程自动化技术和工具来充分利用收集的数据,大规模管理数据也很困难。有时候,访问更多的数据意味着面临更多的风险,为数据安全性、质量和可解释性带来一系列新的挑战。敏捷。数据和数据分析应该帮助团队加速前进,而不是拖慢他们的速度。这就需要打造数据基础,让人们能够轻松访问即时计算和存储资源,进而帮助减轻 IT 资源的负担。数据云不应增加更多任务,而应带来敏捷、灵活的数据架构,提供自助式预配和按需扩缩能力。易于发现。必须使数据易于发现和访问,以便不同的用户组能够适当且一致地解析数据并据此采取行动。现代数据云不需要用
15、户知道数据位于何处,也不需要用户处理不同的格式以及使用适当的工具访问每个数据源,而是应该统一结构化和非结构化数据(无论来源为何),从而降低复杂性,使用户能够更轻松地找到所需数据,更快地做出更好的决策。智能。对于希望节省时间和工作量并打开创新之门的公司来说,采用 AI/机器学习等智能功能和自助分析是重中之重。现代数据云应该具备自动执行流程的能力,并提供高级分析技术(例如增强型分析、自然语言处理、分析应用和数据科学的运用),使公司能够掌握趋势并发掘有助于改进业务决策的分析洞见。开放。当前,组织需要自由地在所需的位置构建所需的应用,而不必担心供应商锁定或不必要的技术债务阻碍他们。选择更开放的解决方案
16、很重要。这可以确保企业数据的互操作性和可移植性,使企业能够快速调整和完善数据管理与数据分析策略。公司依靠其数据库和数据仓库存储最有价值的信息,以便收集、处理和分析几乎所有可以想象的类别的数据。他们需要结合使用数据库、数据仓库和数据湖来创建数据转换流水线,从而发掘富有实用价值的实时分析洞见,并保证只需点击一下鼠标就能将这些分析洞见交付给需要它们的人。他们想投资于 AI 和机器学习技术,让这些技术来帮助减轻繁重的工作。最重要的是,企业需要能够安全轻松地开展日常运营。那么,如何打造这一切呢?答案是凭借智能数据云。数据云可提供基于云的现代化数据基础架构,帮助公司实现囊括所有数据的单一通用视图,从而帮助
17、公司充分利用其海量数据的价值。借助按需计算、数据库存储、内容分发和其他高级分析功能(例如流式分析、机器学习和数据科学),数据云使组织中的每个人都能够满怀信心地访问所需的数据。从我们自己在 Google Cloud 的经历以及帮助客户解决难题的经历中,我们学到了很多经验教训,知道公司需要什么来实时优化数据以获取价值。智能数据云应具备以下关键特征:6 可信。简化数据收集和使用的最大目标之一是保证数据是可信的。这意味着建立对数据的信任:相信数据是最新而准确的且始终受到保护。数据来自大量不同的来源,但它们都需要相同基准水平的保护和治理。现代数据云应该是天然安全的,并能利用安全功能来确保合规性、冗余性和
18、可靠性。7智能数据云 在单个平台内跨数据库、分析系统和 AI/机器学习系统统一数据,便可提供现代企业所需的规模、速度和安全性。这种模式能够在正确的时间为整个企业的员工提供正确的信息,帮助他们做出更明智的决策。例如,回顾一下 The Home Depot 面临的主要挑战,我们会发现迁移到 Google Cloud 为他们带来了巨大的影响。通过从本地数据仓库迁移到 BigQuery,查询时间从几小时和几天缩短到几秒钟和几分钟。他们还打造了业内最高效的补货系统之一,以实时监控和分析所有商店与仓库的应用性能数据并相应地采取行动。如今,在 Google Cloud 的帮助下,THD 能够在 2000 多
19、个地点存放超过 5 万种商品。他们还让 40 万名员工能够了解每个客户所需商品的具体情况(例如某件商品在任何本地商店内的位置),从而更加机敏地工作。简而言之,The Home Depot 统一了整个组织的数据,并使数据云成为其业务的核心。我们来仔细看看这一切是如何运作的。下面有两张图表。第一张概要显示了数据云的标准。第二张包括构成 Google Cloud 数据平台的一些核心技术,以及它们在该模型中的适当位置。8从数据创建的一刻起(无论数据以何种速度创建,也无论数据来自何种数据源),Google Cloud 数据库解决方案便可开始支持具有弹性的任务关键型系统,这类系统可全天候可靠地运行业务。S
20、panner 提供无限规模、跨区域的全球一致性和高达 99.999%的高可用性。Firestore 继续快速得到采用,用户正在用它创建超过 200 万个数据库,以支持跨多种客户环境的移动、Web 和物联网应用。Cloud SQL 是 Google Cloud 增长最快的服务之一,提供熟悉的开源 MySQL 和 PostgreSQL 标准连接驱动程序。这让您可以使用自己喜欢的工具,并通过最新的社区增强功能保持与时俱进。所有这些创新均意味着您始终能正常运营业务,从而交付最具变革性的应用,同时保持对数据的控制。数据生成后需要进行汇总和分析。利用我们的智能分析解决方案,并结合使用 BigQuery(运
21、行 PB 级数据分析)、Dataproc(面向安全且可扩缩的开源数据科学)和 Looker(具有自助式可视化功能,可加速提供数据洞见),公司可以实现让每个人都能访问其所有业务数据。无论数据存储在何处,我们的统一平台都可让客户轻松地从其结构化或非结构化数据中获取最大价值。凭借领先的 AI 解决方案组合,Google 可帮助企业取得业务成果:节省呼叫量、改善客户体验、防止欺诈和提高制造效率-所有这些都使我们成为战略性创新合作伙伴,而不仅仅是技术供应商。9数据转型是一段征程,而非最终目的数据驱动的应用和分析洞见将继续成为主要焦点,有助于推动更好的决策、提升参与度并为整个企业的几乎每个流程提供支持。但
22、我们的努力不再是为了某个既定的最终目标-转型本身就是目标。如果我们在过去一年中学到了什么,那就是未来很难预测(在某些情况下,是不可能预测的)。投资和必要任务不再是一成不变或缓慢变化的事项。它们可能在没有警告的情况下快速发生变化,而信息的策略性收集、管理和开发将成为新的常态。我们在 Google 学到的经验我们最宝贵的经验都是从客户那里学习的。大多数客户都已踏上征程:从自行运营基础架构的繁杂工作中摆脱出来,迁移到混云合或多云模式(即一些工作负载在云端运行,一些仍保留在本地),再迁移到全代管式云服务。我们也在这段征程中。回顾过去,随着我们分析需求的增长,我们构建了 Dremel,这是一款巨型无服务
23、器查询引擎。然后,我们发现客户也想要和需要这款工具,于是打造了 Dremel 的外部版本,即 BigQuery。同样,我们需要一个框架来帮助大规模转换数据,Dataflow 和 Apache Beam 因此而诞生。在数据库方面,我们构建了 Spanner 并将其提供给客户来处理需要强一致性读取以及自动、多站点复制和故障切换的工作负载(比如全局事务);Bigtable 是我们用于 Google 搜索、Analytics(分析)、地图和 Gmail 的 NoSQL 实现。在 AI 领域,我们推出了 AutoML,它可以大规模自动执行机器学习模型的设计工作,使构建机器学习模型的过程变得更加容易。我们
24、继续推进 Google Cloud 的设计工作,通过利用全球数十亿用户都在用的 Google 产品背后的数据平台技术,消除规模、性能和费用方面的传统限制。从数据注入到处理一直到商业智能(BI)和 AI,Google Cloud 提供数据驱动的智能解决方案来帮助客户取得业务成效。借助 AI Platform,您也可以使用我们解决方案中的组成技术(例如理解图片内容或将非结构化 PDF 转换为结构化数据表)来构建自己的解决方案。由于我们的数据云解决方案比任何其他云服务商都更加开放,因此我们的客户可以选择在任何地方安全地运行应用,并能够使用最强大的处理和分析引擎。开始使用如果希望详细了解领先公司如何利用我们的数据解决方案推动创新,请参加 2021 年 5 月 26 日举办的数据云峰会。峰会设有研讨会、演示和现场问答环节,您可以通过这些环节了解数据如何帮助您做出更明智的业务决策并解决组织最复杂的难题。10即使公司已趋成熟,也始终需要进行创新和调整,并响应不断发生的变化。由 Google Cloud 提供支持的数据驱动式转型将帮助您未雨绸缪、提前规划,自如应对未来不可预测的变化。