《大数据在现实世界中的应用-创新型企业如何从不确定的数据中获取价值(2018)(22页).pdf》由会员分享,可在线阅读,更多相关《大数据在现实世界中的应用-创新型企业如何从不确定的数据中获取价值(2018)(22页).pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、IBM全球企业咨询服务部执行报告IBM商业价值研究院与牛津大学赛德商学院联合举行分析:大数据在现实世界中的应用创新型企业如何从不确定的数据中获取价值IBM商业价值研究院在IBM商业价值研究院的帮助下,IBM全球企业咨询服务部为政府机构和企业高管就特定的关键行业问题和跨行业问题提供了具有真知灼见的战略洞察。本文是一份面向决策层和管理层的简报,是根据该院课题小组的深入研究撰写的。它也是IBM全球企业咨询服务部正在履行的部分承诺内容,即提供各种分析和见解,帮助各个公司或机构实现价值。有关更多信息,请联系本文作者或发送电子邮件到:请访问我们的网站:http:/ 对于许多人来说不可否认地意味着许多方面
2、它已经不再局限于技术领域。如今,大数据已成为一项业务上优先考虑的工作任务,因为它能够对全球整合经济时代的商务产生深远的影响。除了为应对长期存在的业务挑战提供解决方案之外,大数据还为流程、组织、整个行业、甚至社会本身的转型激发了许多新的方式。然而,媒体的大肆渲染使得炒作与真实难以区分 到底在发生什么?我们最新的研究发现,企业正将大数据用于以客户为中心的收益创造、内部数据的探索以及更优秀的信息生态系统的构建。“大数据”“大数据”一词已经无处不在,然而,其概念仍然存在混淆。大数据已被用于承载所有类型的概念,包括:巨量的数据、社交媒体分析、下一代数据管理能力、实时数据等。无论是任何种类,企业都已经开始
3、理解并且探索如何以新的方式处理并分析大量的信息。这样,数量较少但不断增加的先驱者实现了突破性的业务成果。在全球的各行各业中,高管都认识到,他们需要更多地了解如何利用大数据。但是,尽管它吸引了媒体的广泛关注,但从企业正在做的事情中很难发现深层次的信息。因此,我们试图更好地了解企业如何看待大数据 以及他们目前在多大程度上使用大数据而使其业务受益。IBM商业价值研究院与牛津大学赛德商学院联手进行了2012 Big Data Work研究,调查了95个国家中的1144名业务和IT专业人员,并采访了20多名学者、业务主题专家和企业高管。我们发现,63% 近三分之二 的受访者表示,信息(包括大数据)和分析
4、的使用为其组织创造了竞争优势。在IBM的2010年新智慧企业全球高管联合调研中,有此看法的受访者比例是37% 在短短两年内增加了70%。1作者: Michael Schroeck,Rebecca Shockley,Janet Smart博士,Dolores Romero-Morales教授, Peter Tufano教授2分析:大数据在现实世界中的应用作为日益扩大的信息与分析市场中越来越重要的一个领域,大数据具有重要的影响。对于在其组织内已经实施大数据试验项目或者部署项目的受访者来说,通过信息(包括大数据)和分析而获得巨大优势的比例要比仅依赖传统分析方法的组织比例高15%。一项令人感到意外的调
5、研结果是,社交媒体对当前的大数据市场的影响相对较小。由于媒体在社交媒体对客户体验的影响方面的广泛报道,我们很容易相信,大数据意味着社交媒体数据,但只有7%的受访者这样定义大数据。不到一半的目前正在开展大数据举措的受访者认为他们在收集和分析社交媒体数据;相反,其他大部分受访者告诉我们,他们在当前的大数据项目中使用现有的内部数据源。那么,当前的大数据活动为何与以前不同?有些组织使用大数据已有多年时间。例如,一家全球电信公司每天从120个不同系统中收集数十亿条详细呼叫记录,并保存至少九个月时间。一家石油勘探公司分析几万亿字节的地质数据,而证券交易所每分钟处理数百万个交易。对于这些公司,大数据并非一个
6、新概念。然而,两个重要趋势使得大数据时代与之前有显著的区别: 目前在广泛行业中几乎“所有方面”的数字化产生了新型的大量的实时数据。其中,非标准数据占据很大一部分:例如,流数据、地理空间数据或传感器产生的数据,这些数据并不能完美地适用于传统的、结构化的、关系型数据仓库; 当前先进的分析技术和工艺使得各组织能够以从前无法达到的复杂度、速度和准确度从数据中获得洞察力。关于本调研IBM商业价值研究院与牛津大学赛德商学院联手制订了本报告。报告基于IBM在2012年中期对95个国家中26个行业的1144名专业人员的进行的Big Data Work研究。受访者来自多个学科,包括业务专业人员(占总样本的54%
7、)和IT专业人员(占总样本的46%)。受访者自己选择参与网上调研。调研结果基于对调研数据的分析,以及与牛津大学学者、业务主题专家和业务高管的讨论。IBM是研究建议的主要提供者。IBM全球企业咨询服务部3在各行业和各地区,我们的调研发现,组织对大数据采用了一种务实的方法。最有效的大数据解决方案首先识别业务要求,然后定制基础架构、数据源和分析方法,以支持业务机会。这些组织从现有的和新的内部信息来源中获取新的洞察力,制订大数据技术战略,然后随着时间的推移逐步地升级相应的基础架构。我们的调研结果为各组织逐步开展大数据举措以及从大数据中获取最大的商业价值提供了五项关键建议: 以客户为中心推动初始举措;
8、制订整个企业的大数据蓝图; 从现有数据开始,实现近期目标; 根据业务优先级逐步建立分析能力; 基于可衡量的指标制定业务投资回报分析。定义大数据在对大数据的混淆中,很大一部分从大数据的定义开始。为了了解我们的调研受访者对该术语的定义,我们让每个受访者选出大数据的两个特征。没有任何一个特征在选择中具有明确的主导优势,相反,受访者对于当前更多的数据、数据和分析的新类型或者对更实时的信息分析的新要求的看法各异(见图1)。这些结果与确定大数据的三个维度的有用方式相一致 即“3V”:数量(volume)、多样性(variety)和速度(velocity)。尽管这些涵盖大数据本身的关键属性,但我们认为,企业
9、需要考虑一个重要的第四维度:精确性(veracity)。将精确性作为大数据的第四个属性凸显了应对与管理某些类型数据中固有的不确定性的重要性(见图2)。?定义大数据我们让受访者从以上选项中选出两种描述,说明他们的组织如何看待大数据。这些选项经过缩写,各项选择经过标准化处理,使总和等于100%。受访者总数=1144。图1. 受访者对大数据有不同的看法。4分析:大数据在现实世界中的应用涵盖这四个维度有助于定义和区分大数据:数量: 数据量。 数量也许是与大数据最相关的特征,指企业为了改进企业中的决策而试图利用的大量数据。 数据量持续以前所未有的速度增加。 然而, 真正造成数据量 “巨大” 的原因在不同
10、和行业和地区各有不同, 而且没有达到通常引用的PB级(petabyte)和ZB级(zetabyte)。 超过一半的受访者认为数据量达到Terabyte和Petabyte之间才称为大数据, 而30%的受访者不知道 “大” 对于其组织应该有多大。 所有受访者都同意, 当前被认为 “巨大的数量” 在将来甚至会更大。多样性:不同类型的数据和数据源。多样性是指管理多种数据类型的复杂性,包括结构化、半结构化和非结构化数据。企业需要整合并分析来自复杂的传统和非传统信息源的数据,包括企业内部和外部的数据。随着传感器、智能设备和社会协同技术的爆炸性增长,数据的类型无以计数,包括:文本、微博、传感器数据、音频、视
11、频、点击流、日志文件等。速度: 数据在运动中。 数据创建、 处理和分析的速度持续在加快。 加速的原因是数据创建的实时性天性, 以及需要将流数据结合到业务流程和决策过程中的要求。速度影响数据时延 从数据创建或获取到数据可以访问的时间差。 目前, 数据以传统系统不可能达到的速度在产生、 获取、 存储和分析。 对于对时间敏感的流程,例如实时欺诈监测或多渠道 “即时” 营销, 某些类型的数据必须实时地分析, 以对业务产生价值。图2. 大数据的四个维度。?TB?PB?大数据的维度IBM全球企业咨询服务部5精确性:数据不确定性。精确性指与某些数据类型相关的可靠性。追求高数据质量是一项重要的大数据要求和挑战
12、,但是,即使最优秀的数据清理方法也无法消除某些数据固有的不可预测性,例如天气、经济或者客户最终的购买决定。不确定性的确认和规划的需求是大数据的一个维度,这是随着高管需要更好地了解围绕他们身边的不确定性而引入的维度(参考右栏: “精确性, 第四个 V ”)。2最后,大数据是这些特征的组合,为企业在当前的数字化市场中创造竞争优势提供了机会。它使企业能够转变与客户交互并满足客户需求的方式,并且使企业 甚至整个行业 能够实现自身的转型。并非每家企业都采用相同的方法培养其大数据能力。但是,利用新的大数据技术和分析方法改进决策和绩效的机会存在于每个行业中。企业对大数据采取了实用的方法尽管宣传铺天盖地,但整
13、个市场都同意,我们处于企业大数据采用的初级阶段。在本调研中,我们使用“大数据采用”(big data adoption)这个术语表示数据、数据源、技术和技能的自然演进,在全球整合市场中创造竞争优势。我们的Big Data Work调研证明,大多数企业目前处于大数据开发的早期阶段,大多数企业目前主要是理解概念(24%)或者定义与大数据相关的路线图(47%)。然而,28%的受访者属于领先的企业,他们正在进行概念验证测试(POC),或者已经大规模实施了大数据解决方案(见图3)。精确性,第四个“V”有些数据具有固有的不确定性,例如:人的感情和诚实性;曼哈顿摩天大楼上安装的GPS传感器;天气形势;经济因
14、素;以及未来。在处理这些类型的数据时,数据清理无法修正这种不确定性。然而,尽管存在不确定性,数据仍然包含宝贵的信息。确认并接受这种不确定性的需求是大数据的特点。不确定性在大数据中以多种形式体现。人类环境中创建的数据存在怀疑论,例如社交网络;对于未来如何呈现以及人、自然或不可见的市场推动力量如何影响世界的多样性的不可知。这种不确定性的一个例子是能源制造,但公用事业公司仍然必须预测产量。在许多国家中,监管机构要求一定比例的产量来自可再生资源,而风或云都无法准确预测。那么,您如何做计划?要管理不确定性,分析人员需要创建围绕数据的上下文。实现这一点的一种方式是通过数据融合,即通过结合多个可靠性较低的来
15、源而创建更准确、更有用的数据点,例如与地理空间位置信息相关的社会评论。管理不确定性的另一种方式是通过先进的数学方法,例如鲁棒优化技术和模糊逻辑方法。从本质来讲,人类不喜欢不确定性,但简单地忽略这一点可能产生比不确定性本身更多的问题。在大数据时代,高管需要以不同的方式处理不确定性的各个维度。他们需要承认、接受这一点,并确定如何充分利用这一点;对于不确定性,有一点是确定的,即它不会消失。6分析:大数据在现实世界中的应用对调查反馈进行分析后得出的五个关键结论表明,受访者持有某些相同的、有趣的倾向和看法: 在各个行业中,大数据业务案例强烈集中于满足以客户为中心的目标; 可伸缩、可扩展的信息管理基础是大
16、数据进步的前提; 企业开始利用现有的和新的内部数据源进行试点和实施; 企业要从大数据中获得最高的价值,需要先进的分析能力,然而,企业通常缺乏这些能力; 随着企业对大数据的认识和参与度增加,我们看到大数据采用可以分为四个阶段。1. 客户分析推动大数据举措我们让受访者列出大数据的三个首要目标,近一半的受访者认为以客户为中心的目标是其企业的首要任务(见图4)。企业致力于改善客户体验,并且更好地了解业务驱动的成果我们让受访者列出大数据在其企业内的首要功能目标。受访者经过加权和汇总。受访者总数=1067图4. 近一半受访者的大数据举措针对以客户为中心的成果。我们要求受访者指出其企业内的大数据活动现状。由
17、于四舍五入的原因,比例不等于100%。总受访者=1061图3. 大多数企业处于大数据开发过程的早期阶段。大数据活动IBM全球企业咨询服务部7客户偏好和行为。在2011年IBM全球首席营销官调研和2012年IBM全球首席执行官调研中,了解当前的“智慧型消费者”(Empowered Consumer)也被认为具有较高的优先级。3企业明确地认为大数据有能力更好地了解和预测客户行为,并因此改善客户体验。交易数据、多渠道交互数据、社交媒体数据、外联数据(例如来源于忠诚卡)以及其它与客户相关的数据全面提高了企业了解客户偏好和需求的能力 这是营销、销售和客户服务组织几十年来追求的目标。通过更深入地了解,各种
18、类型的企业不断寻找新的方式与现有客户和潜在客户交流。这一原则明确适用于零售业,但同样也适用于电信、医疗、政府、银行、金融、涉及最终消费者与市民的消费品,以及合作伙伴和供应商之间的企业对企业的交互。事实上,大数据可以作为客户和企业之间的双向通道。例如,福特福克斯电动车在驾驶和停车时产生大量数据。在行驶中,司机持续地更新车辆的加速度、刹车、电池充电和位置信息。4 这对于司机很有用,但数据也传回福特工程师那里,以了解客户的驾驶习惯,包括如何、何时以及何处充电。5 尽管车辆处于静止状态,它持续将车辆胎压和电池系统的数据传送给最近的智能电话。6这种以客户为中心的场景具有多方面的好处,因为大数据实现了宝贵
19、的新型协作方式。司机获得有用的最新信息,而位于底特律的工程师汇总关于驾驶行为的信息,以了解客户,制订产品改进计划。此外,电力公司和其它第三方供应商分析数百万英里的驾驶数据,以决定在何处建立新的充电站,以及如何防止脆弱的电网超负荷运转。7全球各地的企业通过大数据更好地满足客户的需求,并且改善运作能力。Mcleod Russel India Limited等公司通过更准确地追踪每年高达1亿公斤茶叶的收成、产量和营销而完全消除了系统停机带来的不良影响。8 高级医疗联盟使用增强的数据共享和分析技术改进患者的治疗,同时将支出降低28.5亿美元。9 Santam通过实施预测分析减少了欺诈,从而改善了客户体
20、验(见第8页左栏: “Santam:预测分析增强了欺诈监测能力,并加快索赔处理”)。除了实现以客户为中心的目标,其它功能目标也通过大数据的尽早应用而实现。例如,18%的受访者认为运营优化是其目标,但其中包括大量实点项目。受访者经常提到的其它大数据应用包括:风险/财务管理、员工协作和实现新的业务模式。大数据可更全面地了解客户偏好和需求;通过这种深入的了解,所有类型的企业均可以找到新的方式与现有客户和潜在客户交互。8分析:大数据在现实世界中的应用Santam:预测分析增强了欺诈监测能力,并加快索赔处理10欺诈是全球各地的保险公司面临的一个切实挑战。无论是大规模欺诈,例如纵火,或者涉及到较小金额的索
21、赔,例如虚报价格的汽车修理账单,欺诈索赔的支出每年可使企业支付数百万美元的费用 而且成本会以更高保费的形式转嫁给客户。保险公司不断应对欺诈,但法律诉讼和私人调查等传统方法不仅费时,而且要支付高昂的费用。作为南非最大的短期保险提供商,Santam切实感到保险欺诈的严重性。欺诈损失占Santam客户每年保费的6%至10%。欺诈还有另外一个后果 运行效率低下。由于代理必须处理并调查高风险和低风险索赔,所有索赔至少需要三天才能解决,而且Santam开始感觉到,公司在客户服务方面的良好声誉在客户希望快速获得结果的时代受到了损害。通过采用先进的分析解决方案从收到的索赔中获取数据,Santam有能力及早发现
22、欺诈,根据已经确定的风险因素评估每个索赔,并且将索赔划分为五个风险类别 将可能的欺诈索赔和更高风险与低风险案例区分开。借助新系统,公司不仅节省了数百万元的保险欺诈损失,而且显著缩短了低风险索赔的处理时间,最终使某些客户的处理在不到一个小时内即可完成。在实施后的前几个月内,Santam还发现了一个著名的汽车保险欺诈团伙。大数据、预测分析和风险划分帮助公司识别出了导致欺诈监测的模式。2. 大数据依赖于可伸缩和可扩展的信息基础设施从大数据中实现显著的、可衡量的业务价值的潜力只有在企业拥有能够支持快速提高的数据量、多样性和精确度的信息基础设施的前提下才能实现。我们让受访者指出其大数据基础设施的现状。近
23、三分之二的受访者表示,他们已经采用整合、可伸缩、可扩展且安全的信息基础开始大数据之旅。在受访者的大数据举措中,他们提到最多的是四个信息管理组件(见图5)。我们让目前正在开展大数据举措的受访者指出哪些平台组件目前试用或者整合到架构中。每个数据点都独立收集。每个数据点的总受访者范围是297至351。图5. 受访者大数据基础设施的组件。?Hadoop/MapReduceNoSQL?大数据基础设施IBM全球企业咨询服务部9信息整合是任何分析项目的关键组成要素,对大数据来说,它甚至更加重要。正如在2011年IBM商业价值研究院对高级分析所做的调研,企业的数据必须随时可被需要数据的人员使用和获得。11主数
24、据管理和关键主题数据的整合 客户、 产品、 供应商、 员工等 需要跨企业的数据, 这些数据必须根据单一企业标准进行监管。 多年来, 商业智能面临的一个挑战是不能跨组织和部门孤岛将数据联系起来。 这种整合对于大数据甚至更加重要, 但也更加复杂。 在目前正在开展大数据举措的受访者的企业中,65%的受访者认为他们的整合信息能力不足以支持大数据。在大数据活动中,下一个最常见的信息管理基础组件是可扩展的存储基础设施和高容量数据仓库。这些组件分别支持目前和将来进入企业的数据的快速增长。从表面上讲,结合增加存储和增加一个或多个更大服务器的方法可以支持信息管理基础的增长。然而,预测和设计基础设施是实现预期业务
25、价值回报的关键,了解这一点非常重要。企业需要考虑如何最好地支持数据的增减,使用户能够在需要时访问数据,并考虑如何在业务要求的时间内分析数据(无论是按天、小时、秒还是毫秒)。服务器和存储的这种平衡配置和部署实现了更加优化的基础设施。随着越来越多的人要求访问更多不同类型的信息,这些技术通过在整个企业内实现统一的自动化数据移动,也管理着收到的 以及存储的 数据。数据分层与压缩、水平扩展的文件系统以及内存数据库等新兴技术实现了比传统数据仓库更的工作负载的管理。对许多企业来说,在管理日益增多的数据方面提高能力是大数据的第一要务,其次是应对日益提高的数据多样性。(见右栏: “Vestas:更好的数据分析能
26、力降低了成本,并提高了效率”。)Vestas:更好的数据分析能力降低了成本,并提高了效率12风轮机投资涉及数百万美元,一般寿命为20-30年。为了确定风轮机的最佳位置,大量与位置相关的因素都必须考虑,包括温度、降水、风速、湿度和气压。对丹麦风轮机制造商Vestas Wind Systems A/S (Vestas) 来说,用于创建客户风轮机位置模型的数据分析流程越来越难以获得满意的结果;这个流程需要几星期才能完成执行,而且无法支持大量数据的分析,而客户认为这对于精确的风轮机部署和电力预测非常必要。Vestas工程师希望开始使用确切记录的现有客户风轮机数据开发自己的预测结果,而不是使用行业模型;
27、公司的挑战是将数据容量增加到预计的6PB。通过在世界上最大的超级计算机上使用大数据解决方案以及为了从大量因素(包括结构化和非结构化数据)中获得洞察力而设计的建模解决方案,公司现在可以帮助其客户优化风轮机的布局,并因此提高风轮机的性能。这个新的信息环境使公司能够通过以前无法实现的方式管理并分析天气和位置数据,从而获得洞察力,以改进关于风轮机布局和运行的决策,并且实现了更准确的发电预测。更详细的模型意味着更高的业务案例确定性、更快获得结果,以及更高的可预测性和可靠性,这降低了客户的每千瓦时成本,并且提高了客户投资回报估计的准确度。这些技术将业务用户请求的响应时间缩短了大约97% 从几星期缩短到几小
28、时,并且显著提高了风轮机布局的效率。10分析:大数据在现实世界中的应用58%的企业拥有强大的安全和治理流程,这些受访者表示,他们目前正在实施大数据举措。尽管安全和治理长期以来都是商业智能的固有组成部分,但就大数据来讲,额外的法律、道德和法规考虑引入了新的风险,并且增加了公众犯错的可能性,因为我们已经看到,某些公司已经失去对数据的控制,或者以有问题的方式使用数据。因此,据多名受访的业务主题专家和业务高管表示,数据安全 尤其是数据隐私 是信息管理的一个关键部分。随着企业采用新的信息来源,尤其是社交媒体数据,安全和治理将变得更加重要,而且任务更加艰巨。由于这一挑战的存在,隐私法规仍在不断制订,而且各
29、国可能存在巨大的差异。一位电信行业高管解释说: “业界认为隐私和安全很容易,但受到严格的监管和关注。”并非只有政府机构在关注,客户自身也在这样做。这位高管继续说:“在许多新的领域 例如网络浏览数据,法律和权利之间存在灰色区域。我们已经采取了措施,使用客户可能认定的标准来评估我们的应对举动,但凡我们使用数据的方式出现在报纸头版。”升级基础设施相关的成本逐渐提高,这是许多受访的高管关注的问题。他们认为,高层领导需要可靠且可量化的商业投资回报分析,定义所需增加的投资以及证明并优化信息管理环境成本的机会。成本更低的架构 包括云计算、战略外包和基于价值的定价 被认为是正在部署的战术。然而,有些受访者认为
30、业务机会能够补偿增加的相关成本,并据此向信息平台投资。3. 最初的大数据举措注重从现有的和新的内部数据源中获得洞察力大多数早期的大数据举措注重获得并分析内部数据。据我们的调研指出,超过一半的受访者将内部数据作为企业内大数据的主要来源。这表明企业在采用大数据战略时采用了实用的方法,同时也表明,有大量未开发的价值仍然隐含在这些内部系统中(见图6)。我们让目前开展大数据举措的受访者指出他们目前收集并分析哪些数据源。每个数据点独立收集。每个数据点的总受访者为557至867人。图6. 企业主要使用内部数据源开展大数据举措。大数据来源?RFID?POS?/?IBM全球企业咨询服务部11正如意料的那样,内部
31、数据是企业内最成熟并且被熟知的数据。这些数据已经通过多年的企业资源计划、主数据管理、商业智能和其它相关工作而收集、整合、结构化和标准化处理。通过利用分析方法,从客户交易、交互、事件和电子邮件中获得的内部数据可以提供宝贵的洞察力(参考: “Automercados Plazas:通过更强大的洞察力获得更高收入”)。Automercados Plazas:通过更强大的洞察力获得更高收入13Automercados Plazas是委内瑞拉的一个家族式食品连锁店,拥有超过6TB产品和客户数据,分布在不同系统和数据库中。因此,公司难以轻松地评估每个商店的运行情况,而且高管知道他们需要从数据中获得宝贵的洞
32、察力。Automercados Plazas公司CIO Jesus Romero说: “在定价、库存、销售、配送和销售方面, 我们面临着严重的混乱。我们拥有近2000万美元的库存,而且我们追踪不同系统中的相关信息,并且手动进行编辑。我们需要一个整合的视图, 以确切地了解我们拥有什么。 ”通过整合企业内的信息,这家食品连锁店的收入增加了近30%,年利润提高了700万美元。Romero先生将这些成绩归功于更好的库存管理以及更快适应不断变化的市场形势的能力。例如,公司避免了大约35%的产品的损失,因为公司能够提前安排降价,在食物变质前将易变质的食物销售出去。然而,在许多企业中,某些内部数据的大小和范
33、围(例如详细的交易数据和运行日志数据)变得过于庞大且过于多样化,难以在传统系统中管理。对于目前开展大数据举措的企业,近四分之三的受访者都在分析日志数据。这是“机器或传感器生成”的数据,用于记录业务或信息系统内执行的自动功能的详细信息 数据已经超出许多传统系统的存储和分析能力。因此,许多数据在收集后并未被分析。根据我们对高管的采访得知,目前指导企业开展大数据举措的许多CIO已经开始利用这些未利用的内部信息源,他们利用了更具扩展能力的基础架构提供的更高的处理能力。4. 大数据需要强大的分析能力大数据只有在用于应对重要的业务挑战时才能创造价值。这要求获取更多的不同种类的数据,以及强大的分析能力,包括
34、软件工具和使用这些工具的必备技能。通过对开展大数据活动的企业进行考察发现,这些企业首先建立了强大的分析能力,目的是处理结构化数据。然后,它们进一步增强能力,利用进入企业的大量半结构化(可以转换为标准数据形式的数据)和非结构化(非标准形式的数据)数据。12分析:大数据在现实世界中的应用在开展大数据举措的企业中,超过75%的受访者表示,它们使用核心分析能力,例如查询和报表以及数据挖掘,对大数据进行分析,而超过67%的受访者表示它们使用预测建模。以这些基础性的分析能力为出发点是开始解释和分析大数据的实用方法,尤其是当大数据存储在关系型数据库中时。(见图7)。对于更多高级数据可视化的能力需求随着大数据
35、的引入而增加。对业务或数据分析人员来说,数据集通常过大,他们利用传统报告和数据挖掘工具难以查看和分析这些数据。在我们的调研中,受访者表示,71%的大数据举措依赖数据可视化技能。开展大数据举措的企业需要越来越多的高级能力,以发现大数据的固有复杂性中的模式。为了做到这一点,受访者采用优化模型和高级分析技术,更好地了解如何转变关键业务流程。他们使用模拟能力分析大数据中大量变量。我们的调研发现,50%以上的大数据举措使用了这些先进的建模能力。当前,大多数企业将初始的大数据分析重心指向结构化数据。但是,大数据也提出了分析多种数据类型的需求,包括对许多企业可能全新的多种数据。在超过一半的大数据举措中,受访
36、者表示他们采用先进的能力分析处于自然状态的文本,例如呼叫中心对话的记录。这些分析能力包括解释和理解语言的细微差别,例如感情、俚语和意图。掌握分析非结构化数据(例如、地理空间位置数据、语音和视频)或流数据的能力对大多数企业来说是一个持续的挑战。在这些领域中,尽管硬件和软件已经成熟,但技能仍然缺乏。在开展大数据举措的企业中,不到25%的受访者表示他们拥有分析高度非结构化数据所需的能力,例如语音和视频。大数据的进步要求获取或者培养这些更先进的技术和分析能力,这已经成为许多正在开展大数据举措的企业的首要挑战。在这些企业中,缺乏先进的分析技能是从大数据中获得最大价值的主要障碍。我们要求正在开展大数据举措
37、的受访者指出其企业内目前拥有哪些分析能力。每个数据点独立收集。每个数据点的总受访者为508至870人。图7. 受访者采用多种高级分析能力。?大数据分析能力IBM全球企业咨询服务部135. 新兴的大数据采用模式注重提供可衡量的业务价值为了更好地了解大数据形势,我们让受访者描述大数据活动目前在企业中的应用程度。这些结果指出了大数据采用和发展过程中的四个主要阶段,我们将其分为:教育、探索、接触和执行(见图8)。教育:建立知识库(24%的受访者)在教育阶段, 主要核心是意识和知识培养。 近25%的受访者指出, 他们的企业尚未使用大数据。 尽管有些企业并不了解大数据的主题, 但我们的采访指出, 这个阶段
38、的大多数企业正在考察大数据技术和分析带来的潜在收益, 并且试图更好地了解大数据如何帮助在其行业或市场中抓住重要的业务机遇。 在这些企业中, 主要是由个人进行知识收集, 而非正式的工作组, 而且他们学到的知识并没有在企业内使用。 因此, 大数据的潜力尚未得到业务高管的全面了解和接受。探索:定义业务投资回报分析和发展路线图(47%)探索阶段的核心是制订企业的大数据发展路线图。近一半的受访者表示,其企业内对如何利用大数据应对重要的业务挑战进行了正式的持续讨论。这些企业的主要目标包括制订和量化的业务投资回报分析,并创建大数据蓝图。这一战略和路线图考虑了现有数据、技术和技能,然后列出了从何处开始,以及如
39、何制订与企业的业务战略相符的计划。接触:拥抱大数据(22%)在接触阶段,企业开始证明大数据的业务价值,并对其技术和技能进行评估。目前,超过五分之一的受访者企业在进行概念验证测试(POC),以确认与实施大数据举措相关的要求,并且传达预期回报。这一组的企业正在 在既定的受限范围内 努力了解并测试利用新的数据源所需的技术和技能。我们让受访者指出大数据活动在其企业中的现状。由于四舍五入的原因,比例不等于100%。总受访者 =1061图8. 新的大数据采用模式的四个阶段。?24%?22%?6%?大数据采用阶段14分析:大数据在现实世界中的应用执行:大规模实施大数据(6%)在执行阶段,大数据和分析能力更广
40、泛地在企业内应用并实施。然而,仅6%的受访者表示,他们的企业已经实施了两个或多个大数据解决方案 这是演进到这个阶段的门槛。这种处于执行阶段的企业数量较少的情况与我们在市场中观察到的现象一致。重要的是,这些领先企业利用大数据实现业务转型,并因此从信息资产中获得最大的价值。随着企业采用大数据的速度加快 在参与阶段有22%的受访者,正在进行POC或试点 我们预计处于这个阶段的企业比例将在明年翻一番以上。6. 随着大数据能力的进展, 各阶段将发生更多变化除了五项主要的调研发现外,我们的分析还揭示了与高管支持、数据可用性要求和主要障碍相关的各发展阶段的不同模式。这些模式指出了企业发展大数据基础设施和分析
41、能力需要采取的一系列互相关联的步骤。大数据支持对大数据采用行为的更深层考察指出了不断变化的支持模式(见图9)。在我们的样本中,受访者表示,超过三分之一的大数据举措由CIO推动。然而,绝大多数CIO推动的举措处于早期阶段,企业向技术投资,并开始识别业务机会和要求。随着企业进入下一个阶段,对举措的支持由业务高管提供 特定职能的高管,例如CMO或CFO,甚至是CEO。尤其需要指出的是,这种业务高管注重单个焦点的支持模式被认为是大数据成功的关键。这种模式表明,企业最初可能注重技术,以及建立大数据基础设施,但随着它们开始制订业务投资回报分析和发展路线图,支持工作转向一名或多名业务高管。即使如此,CIO和
42、IT组织在执行商定的路线图时必须继续扮演重要角色。数据可用性如图10所示,我们看到数据可用性要求如何随着企业的大数据举措的成熟而发生显著改变。通过对受访者的回答进行分析指出,无论处于大数据采用的哪个阶段,企业都面临着缩短数据时延、提高数据时效性的更高的需求。高管在制订战略性的日常业务决策时,似乎越来越多地考虑到及时性数据的价值。数据不再仅仅是辅助支持决策的东西;而是在制订该决策时的一个业务关键要素。我们让受访者指出谁与大数据和分析洞察力的使用要求最相关。文本框的布局反映了高管在各个阶段占主导地位的程度。总受访者=1028图9. 领导职能的转变随着企业内的大数据举措发展而变得明显。对大数据的支持
43、?IBM全球企业咨询服务部15我们预计,随着业务模式的发展,以及企业对流数据、内存分析、机器对机器的处理和其它创新进步技术的投资,对更实时访问的需求将继续提高。大数据障碍在企业从大数据采用的一个阶段进展到另一个阶段的过程中,遇到的挑战也不同。但是,我们的调研结果指出了一个普遍的挑战 无论在哪个阶段 这就是制订有吸引力的业务投资回报分析报告的能力(见图11)。在每个阶段,大数据举措都要经过财务审查。当前的全球经济形势使那些基本没有进行新技术投资的企业无法获得显著的收益 当然,这一要求不仅仅针对大数据举措。在企业成功实施POC后,最大的挑战变成了寻找大数据得以运行的技能,包括:技术、分析和治理技能
44、。建议:推动大数据采用IBM对Big Data Work研究结果的分析为了解每个阶段的企业如何推动大数据举措提供了新的洞察力。受应对业务挑战这一需求的推动,并且根据不断进步的技术和数据不断变化的特点,企业已经开始更深入地考察大数据的潜在收益。为了从大数据中获取更多价值,我们为企业实施大数据举措提供了大量的建议。以客户为中心推动初始举措最初的大数据举措必须注重能够为企业提供最大价值的领域,这一点势在必行。对许多行业来说,这意味着从客户分析开始,通过真正了解客户需求,并预测未来行为,从而为客户提供更好的服务。我们让受访者指出业务用户或流程需要多快获得数据。文本框的布局反映了该要求在每个阶段的常见程
45、度。总受访者=973图10. 应对实时数据带来的挑战。?24?所需的数据可用性我们让受访者指出其企业内的大数据面临的主要挑战。 文本框的布局反映了该挑战在各个阶段的常见程度。 受访者经过加权和汇总。 总受访者= 1062图11. 了解大数据采用的主要障碍。主要障碍?16分析:大数据在现实世界中的应用全面数字化是有助于带来大数据迅猛发展的一个推动力,已经改变了个人和组织之间的力量平衡。如果企业希望了解并向有能力的客户和市民提供价值,他们必须集中精力将客户作为个体进行了解。企业还需要向新技术和高级分析能力投资,以更好地了解各个客户的交互和偏好。但是,当今的客户 包括最终消费者或者企业对企业客户 需
46、要的不仅仅是了解。要想有效地培养与客户之间有意义的关系,企业必须以客户认为有价值的方式与客户联系。价值可能来自更及时、更明智或者更相关的交互;也可能来自于企业通过改进底层运作而增强交互的整体体验。无论来自何处,分析都有助于从大数据中获得洞察力,这对于在这些关系中达到这一深度日益重要。制订整个企业的大数据蓝图蓝图包含企业内的大数据愿景、战略和要求,对于在业务用户的需求与IT实施路线图之间做到协调非常关键。它实现了关于企业如何利用数据改进业务目标的一致理解。有效的蓝图通过确定大数据适用的关键业务挑战、规定如何使用大数据的业务流程要求,以及包含实现该蓝图所需数据、工具和硬件的架构,从而定义了企业内大
47、数据的范围。这是为指导企业以实用的方式,并以创造可持续的商业价值为出发点,开发并实施大数据解决方案而制订蓝图的基础。从现有数据开始,实现近期目标要实现近期目标,同时为持续开展大数据项目创造发展动力和专业知识,企业必须采取实用的方法。我们的调研表明,要开始寻求新的洞察力,最具逻辑性和性价比的地点就是企业内部。从内部着眼允许企业利用现有数据、软件和技能,提供近期业务价值,并且在考虑扩展现有的能力而处理更复杂的数据来源和类型之前积累重要的经验。大多数企业希望通过这样做而充分利用现有存储库中的信息,同时扩展其数据仓库,以处理更大数量和更多类型的数据。根据业务优先级逐步建立分析能力在世界范围内,越来越多
48、的分析工具使企业目不暇接,同时企业也面临着分析技能的严重缺乏。大数据效率取决于消除这一巨大差距。简言之,企业必须获取工具和技能。在这个过程中,随着分析、功能和IT技能的完美平衡,预计新角色和事业模式将会出现。关注内部分析人员的专业发展和事业进步 他们已经熟悉企业独特的业务流程和挑战 这应是业务高管的首要任务。同时,大学和个人自身(无论什么背景或专业)都有义务培养强大的分析技能。基于可衡量的指标制定投资回报分析制订综合且可行的大数据战略以及后续的路线图需要可靠且可量化的投资回报分析。因此,一位或多位业务高管积极参与并支持这一流程非常重要。要实现长期的成功,强大、持续的业务和IT的协作同样重要。许
49、多企业的投资回报分析基于以下可从大数据获得的益处: 更聪明的决策 利用新的数据源提高决策质量; 更快的决策 实现更实时的数据获取与分析,支持在“影响点”做出决策,例如在客户访问您的网站或者与客户服务代表通电话时; 创造奇迹的决策 使大数据举措注重于那些能够提供真正差异化的领域。IBM全球企业咨询服务部17这些建议中有一个基本原则:业务和IT专业人员必须在整个大数据实施过程中通力合作。最有效的大数据解决方案首先确定业务要求,然后定制基础设施、数据源和量化分析,以支持该业务机会。按阶段的更多建议:从当前阶段开始在大数据采用的生命周期内,某些关键活动是每个阶段的特征。以下各阶段建议为从一个阶段进入下
50、一个阶段提供了经过验证且实用的方法。从教育到探索:为后续行动奠定基础 注重大数据为企业提供竞争优势的领域,包括行业内部和外部,持续增加您的知识; 与不同的业务部门和职能合作,确定可以通过更好、更及时的信息访问而应对的最关键的业务机遇和挑战。许多企业通过客户数据和分析开始,以支持其前台转型举措; 注重增强您的信息管理环境和基础架构,包括制订大数据蓝图;这些蓝图通常基于行业标准、参考架构和其它可用的技术框架和资源。从探索到接触:将计划付诸实施 在制订大数据战略和路线图时,确认业务领导层的积极支持; 为您计划通过POC或试点项目而解决一个或两个关键业务挑战制订投资回报分析; 在开始为满足更长期的要求
51、而做出计划时,定期确认您的信息管理基础和IT基础架构能够支持POC或试验项目需要的大数据技术和能力; 评估您当前的信息治理流程及就绪程度,以应对大数据的新方面; 分析内部资源现有的技能集,并且开始进行差距分析,以了解您需要在哪些方面增加和/或获得更多技能。从接触到执行:了解面临的机遇和挑战 积极推动试点项目的成功,以保持前进动力,同时开始参与到业务的其它部分中; 通过确认和验证预期的投资回报和收益而最终确定业务案例,包括既定的成功标准和指标; 确定由于能够获得更好、更及时的信息(例如营销、销售、客户服务和社交媒体网站)而需要修改和改进的业务流程; 制订能力计划,以确认是否有实现短期和长期目标所
52、需的足够技术和定量技能; 记录从试验到投产的详细项目计划。 该计划应包括预计业务价值、 成本、 资源和项目时间表的确认。执行阶段:拥抱大数据的创新 记录早期成功的和量化的结果, 以支持未来的举措; 在企业中发起正式的大数据沟通,持续地提供支持和前进动力; 注重增加技术和技能,以应对各业务部门、职能领域和地区的新的大数据挑战; 注意信息治理(包括信息生命周期管理)、 隐私和安全; 持续评估快速发展的大数据工具和技术。平衡现有基础架构与能够提高扩展性、优化度和弹性的新技术。18分析:大数据在现实世界中的应用开始您的大数据演进要在全球整合的经济环境中竞争,当前的企业需要全面地了解市场、客户、产品、法
53、规、竞争对手、供应商、员工等,这一点日益明确。这种了解需要有效地使用信息和分析技术。事实上,除了其员工之外,许多企业还将信息视为最有价值的差异化资产。现在, 随着大数据的出现和广泛采用, 全球各地的企业都在寻找新的方式开展竞争并且获胜。 它们不断地转型, 以充分利用大量的信息改进整个企业内的决策和绩效。 少量领先的企业已经通过为员工 从高管到营销和车间工人 提供信息、 技能和工具而使它们更好、 更及时地在 “影响点” 做出决策, 从而实现这一目标。并非每个企业都需要管理全部大数据能力。但是,利用新数据、技术和分析技能的机会在每个行业中都不同程度地存在。企业需要通过分析新的和现有数据的数量、速度
54、和多样性,并利用正确的技能和工具更好地了解其业务、客户和市场而实现价值。无论从何处开始,全球的企业在当前全球整合经济环境中都将继续在更大范围内使用大数据获得业务价值和竞争优势。欲了解本次IBM商业价值研究院调研的更多信息,请联系我们:欢迎订阅IBM商业价值研究院的电子月刊IdeaWatch: IBV”应用可以访问IBM商业价值研究院的执行报告。欲了解关于牛津大学赛德商学院的更多信息,请访问:www.sbs.ox.ac.uk相关文件Kiron、David、Rebecca Shockley、Nina Kruschwitz、Glenn Finch和Michael Haydock博士, “分析:日益扩
55、大的差距 企业如何通过分析实现竞争优势” IBM商业价值研究院与MIT斯隆管理评论联合发布。2011年10月。http:/ widening-divide.html 2011 Massachusetts Institute for Technology.LaValle、Steve、Michael Hopkins、Eric Lesser、Rebecca Shockley和Nina Kruschwitz。 “分析:实现价值的新途径 - 智慧的企业如何利用分析技术将洞察力转化为行动”IBM商业价值研究院与MIT斯隆管理评论联合发布。2010年10月。http:/ thoughtleadership/
56、ibv-embedding-analytics.html 2010 Massachusetts Institute for Technology.Teerlink、Marc博士和Michael Haycock博士。 “客户分析创造回报 将科学融入营销艺术,促进企业收入增长” IBM商业价值研究院。2011年9月。http:/ Schroeck,IBM全球企业咨询服务部的合伙人和副总裁,IBM全球信息管理基金会的领导人。Michael还是IBM杰出工程师。他的联系方式是:Rebecca Shockley,IBM商业价值研究院业务分析与优化全球研究领导人,她对业务分析的主题进行了基于事实的研究,为
57、高级主管提供了领先的思想。Rebecca的联系方式是:Janet Smart博士, 赛德商学院基于复杂代理的动态网络研究小组的成员和联合主管, 他在复杂系统、 系统工程、大数据和项目管理领域拥有丰富的经验。Smart博士还参与CERN的ATLAS项目的项目管理和Big Science项目的系统工程。 她在MSc的计划管理系教授系统工程, 并且在英国的大型项目领导学院课程任教。Janet的联系方式是: Janet.Smartsbs.ox.ac.ukDolores Romero-Morales教授,赛德商学院的运作研究教授。她负责为MBA和EMBA讲授决策与数据分析核心课程,并且在知名期刊上发表多
58、篇关于供应链优化、数据挖掘和收入管理的研究文章。她还与多个行业中的从业者共同研究这些主题。Dolores的联系方式是:Dolores.Romero- Moralessbs.ox.ac.ukPeter Tufano教授,赛德商学院的Peter Moores主任。Tufano教授的研究领域主要包括创新,尤其是创新如何更好地向家庭提供金融服务。在进入牛津大学之前,Tufano教授在哈佛大学任教33年,并且创立了D2DFund(www.d2dfund.org)。Peter的联系方式是:claire.eggletonsbs.ox.ac.uk合作者Fred Balboni,IBM全球企业咨询服务部业务分析
59、与优化全球领导人Stephen Buckley博士,IBM研究院BAO应用研究领导人Wendy Olivier,IBM全球企业咨询服务部信息管理基础计划主管Katharyn White,IBM全球企业咨询服务部营销副总裁作者还感谢IBM和牛津大学以下同仁在制订本执行报告时给予的帮助:John Bell博士、Min Chen、Michael Coleman、Richard Cuthbertson、Tom Deutsch、Angela Finley、Mark Graham、Larry Gosselin、Tina Groves、Bambi Grundwerg、Pamela Hartigan、Bern
60、ie Hogan、Matin Jouzdani、Jim Kocis、Eric Lesser、Monica Logan、Eduardo Lopez、Robin Lougee博士、Piyush Malik、Helen Margetts、Joni McDonald、Brian Morris、Richard Perret、Nancy Puccinelli、Tarun Ramadorai、Ranalli主任、Eric Sall、Ralph Schroeder、Stephanie Schneider、Ronald Shelby、Neil Shephard、James Taylor、Owen Tebbutt
61、和Andy Twigg。GBE0171-CNZH-00GBE03519-CNZH-00 Copyright IBM Corporation 2012IBM, the IBM logo and are trademarks or registered trademarks of International Business Machines Corporation in the United States, other countries, or both. If these and other IBM trademarked terms are marked on their first oc
62、currence in this information with a trademark symbol ( or ), these symbols indicate U.S. registered or common law trademarks owned by IBM at the time this information was published. Such trademarks may also be registered or common law trademarks in other countries. A current list of IBM trademarks i
63、s available on the Web at “Copyright and trademark information” at Other company, product and service names may be trademarks or service marks of others.References in this publication to IBM products and services do not imply that IBM intends to make them available in all countries in which IBM oper
64、ates.Please Recycle北京朝阳区北四环中路27号盘古大观写字楼25层邮编:100101电话:(010)63618888传真:(010)63618555北京总公司上海浦东新区张江高科技园区科苑路399号10号楼6-10层邮政编码:201203电话:(021)60922288传真:(021)60922277上海分公司广州天河区珠江新城花城大道85号高德置地广场A座9层邮政编码:510623电话:(020)85113828传真:(020)87550182广州分公司选对合作伙伴,驾驭多变的世界IBM全球企业咨询服务部积极与客户协作,为客户提供持续的业务洞察、先进的调研方法和技术,帮助他
65、们在瞬息万变的商业环境中获得竞争优势。从整合方法、业务设计到执行,我们帮助客户化战略为行动。凭借我们在17个行业中的专业知识和在170多个国家开展业务的全球能力,我们能够帮助客户预测变革并抓住市场机遇实现盈利。参考资料1 LaValle, Steve, Michael Hopkins, Eric Lesser, Rebecca Shockley and Nina Kruschwitz. “Analytics: The new path to value: How the smartest organizations are embedding analytics to transform in
66、sights into action.” IBM Institute for Business Value in collaboration with MIT Sloan Management Review. October 2010. http:/ 2010 Massachusetts Institute for Technology.2 “2012 IBM Global Technology Outlook.” IBM Research. March 2012. http:/ 3 “From Stretched to Strengthened: Insights from the IBM
67、Chief Marketing Officer Study.” IBM Institute for Business Value. May 2011. “Leading Through Connections: Insights from the IBM Chief Executive Officer Study.” IBM Institute for Business Value. May 2011. Woody, Todd. “Automakers, Tech Companies Mining Electric Car Big Data to Plot Industrys Future.”
68、 Forbes. June 18, 2012. http:/ 5 Ibid.6 Ibid.7 Ibid. 8 IBM case study. “McLEOD RUSSEL INDIA LIMITED: Eliminating downtime in the tea trade with IBM Informix.” September 9, 2011. http:/ 9 IBM case study. “Premier Healthcare Alliance.” April 30, 2012. http:/ 10 IBM press release. “Using IBM Analytics,
69、 Santam Saves $2.4 Million in Fraudulent Claims.” May 9, 2012. http:/ Kiron, David, Rebecca Shockley, Nina Kruschwitz, Glenn Finch and Dr. Michael Haydock, “Analytics: The widening divide: How companies are achieving competitive advantage through analytics” IBM Institute for Business Value in collab
70、oration with MIT Sloan Management Review. October 2010. http:/ 2011 Massachusetts Institute for Technology. 12 Pittman, David. “Lords of the Data Storm: Vestas and IBM Win Big Data Award.” The Big Data Hub: Understanding big data for the enterprise. September 28, 2012. http:/ IBM case study. “Automercados Plazas increases revenue by 30 percent with greater insight into operations.” July 15, 2011. http:/