上海品茶

大数据与云计算(110页).pdf

编号:17217 PDF 110页 9.75MB 下载积分:VIP专享
下载报告请您先登录!

大数据与云计算(110页).pdf

1、大数据与云计算 清华大学? 自动化系 范玉顺 2020年8月11日,深圳 提纲提纲 大数据的产生背景大数据的产生背景 大数据的特征与思维转变大数据的特征与思维转变 大数据产业发展大数据产业发展 大数据应用大数据应用 云计算及其产业发展情况云计算及其产业发展情况 云计算应用云计算应用 2 3 数据增长的速度 保险公司 美国航空 联邦快递 花旗银行 沃尔玛 谷歌 脸谱网站 信息技术的发展催生大数据热 基础基础:计算机存储、计算能力的提升,数据存储成本下降 19551955年,年,1MB1MB的存储器,的存储器,60006000美元美元 19931993年,年,1MB1MB的存储器,的存储器,1 1

2、美元美元 20102010年,年,1MB1MB的存储器,的存储器,1 1美分美分 大数据的来源 1.交易数据,包括电子商务 2.移动互联、社交网络 3.物联网感知数据:海洋、天气、工业设备监控、物流跟踪 4.政府开放数据 离散制造业离散制造业 政府政府 传媒业传媒业 流程制造业流程制造业 银行业银行业 医疗业医疗业 投资证券业投资证券业 专业服务业专业服务业 零售业零售业 教育业教育业 保险业保险业 交通业交通业 批发业批发业 共用事业共用事业 服务资源行业服务资源行业 消费娱乐业消费娱乐业 建筑业建筑业 美国各行业数据存储量 (PBPB) 966 848 715 694 619 434 42

3、9 364 411 269 243 227 202 194 116 106 51 沃尔玛沃尔玛2010数据库的大小数据库的大小 为为2500TB,大约,大约2PB 1. 交易数据 淘宝1个月增加 1.5PB数据 Google 从单纯的搜索引擎公司发展为目前包括blog、 EmailEmail、网络分析、新闻、问答、数字图书、网络分析、新闻、问答、数字图书、日 历、SaaS、云计算、地图、广告、阅读、图片、 视频等数十种服务的综合IoS服务提供商; 搜索:至少拥有10亿用户;在线视频:每月5 亿的访问量; 博客:4亿读者;Gmail:2亿用户; Android:智能手机OS的25%市场份额;Ch

4、rome: 17%的市场份额。 6 Facebook 14亿:注册用户 100亿:分享的内容条数 45亿:“赞”的数量, 3.5亿:上传照片数 600+TB:新产生的数据 105TB:每半小时通过Hive扫描的数据 300+PB:数据容量 1.网络用户数据 30亿互联网用户 6.34亿个网站 12000亿次谷歌搜索(2012年) 14亿位Facebook用户 2亿位Twitter用户 2亿位LinkedIn用户 1.35亿位Google+活跃用户 2.社交媒体交互数据 2012年共发布了1.75亿条Tweet信息 全球90%的数据产生于过去两年 3.移动端和影像 20亿智能手机用户 50亿手机

5、用户 2. 社交网络 由于传感器大规模全方位的布网和高速高精度传感器的使用,物联网将产生 海量的数据。 截至2010年,全球RFID数量已经超过了300亿个。 一个大型城市电力物联网每天产生的数据可达TB级,一个大型城市交通物联 网每天产生的数据可达10TB。 各种记录、通信和可穿戴设备。 智能手环 谷歌眼镜 智能手机 行车记录仪 3. 物联网感知数据 Source:Siemens AG. 2013. 每台燃机24小时 运行信息约2TB 产品使用服务过程中的技术状态管理 监测变量数目5000个/每秒 计算1000个以上的中间模型 实时诊断故障,优化运行状态 减少故障、提高效率、降低废气排放 4

6、. 政府开放数据 9 www.data.gov,截止到2019年5月,data.gov平台上已经包含了25万个数据集,这些 数据集涵盖了农业、天气、教育、能源、制造等近50个公共管理和生活领域。 美国人的时间花费、小时工资、劳动力统计和失业人数统计 10 经济与人口 20002000年,新产生的数据年,新产生的数据1000PB1000PB 20102010年,全球企业新存储的数据超过年,全球企业新存储的数据超过 7000PB7000PB。 Jim GrayJim Gray提出提出“新摩尔定律”“新摩尔定律” 大数据的意义是人类可以分析和使用的数据大数据的意义是人类可以分析和使用的数据 大大增加

7、,通过对这些数据的交换、整合和大大增加,通过对这些数据的交换、整合和 分析,人类可以发现新的知识、创造新的价分析,人类可以发现新的知识、创造新的价 值,带来值,带来“大知识”、“大科学”、“大利“大知识”、“大科学”、“大利 润”和“大发展”润”和“大发展”。 麦肯锡麦肯锡20112011年报告:大数据,将成为全世年报告:大数据,将成为全世 界下一个创新、竞争和生产率提高的前沿。界下一个创新、竞争和生产率提高的前沿。 11 Jim Gray,计算机领域图灵奖获 得者,1944年出生,1998年提 出新摩尔定律,2007年1月28 号迷失在大海中. 大数据可以创造大知识 1.实验:经验知识 2.

8、研究:理论知识E=mC2 3.计算:模拟、仿真 4.大数据:跨学科的大知识 12 思维流:GPD、专利、交通、 社交、行为 测量思维流的速度与成本来评 价城市创新力 大数据的组成 海量交易数据 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据,是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据,我们能了解过去 发生了什么。 大数据包括海量交易数据集和交 互数据集在内的所有数据 海量交互数据 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录、设备和传感器 信息、GPS和地理定位映射数据、通过管理文件传输协

9、议传送的海量图像文件、Web文本和点击流数据、科学 信息、电子邮件等等。可以告诉我们未来会发生什么。 海量数据处理 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在硬件群中运行的Apache Hadoop。 大数据 = (海量+ 类型复杂)的数据 提纲提纲 大数据的产生背景大数据的产生背景 大数据的特征与思维转变大数据的特征与思维转变 大数据产业发展大数据产业发展 大数据应用大数据应用 云计算及其产业发展情况云计算及其产业发展情况 云计算应用云计算应用 14 大数据的特征1(量大) 价值密 度 (Vera city) 数据类 型 (Variet y) 处理速 度 (

10、Veloc ity) 数据规 模 (Volu me) 大数据 Big Data 政府以及企业数据的开放使得社会获取 传统的海量数据成为可能,而互联网、 智能终端的发展则以前所未有的速度为 人类数据库不断增加着新的数据。 大存储 量 大计算 量 在数据产生的地区分布方面,新兴经济体(如中国、印度 等)将产生并持有越来越多的数据。到了2012年,新兴市 场的数据份额达到36%,在2020年这一比例将会达到62%, 其中我国所占比例将达到21%。 谷歌每天处理的搜索量超 过30亿次,每秒响应3.4 万次搜索。 大数据的特征2(种类多) 价值密 度 (Vera city) 数据类 型 (Varie t

11、y) 处理速 度 (Velo city) 数据规 模 (Volu me) 大数据 Big Data 16 数据来 源多 数据格 式多 结构化数据 半结构化数据 非结构化数据 互联网企业:SNS、微博、视频网站、电 子商务网站。 物联网、移动设备、终端中的商品、个人 位置、传感器采集的数据。 联通、移动、电信等通信和互联网运营商。 天文望远镜拍摄的图像、视频数据、气象 学里面的卫星云图数据等。 社会组织各部门统计数据,如人口抽样调 查、交通数据、卫生统计数据等。 传统数据库所处理的数据,即 存储在数据表中的行数据。 不能直接用数据库中的二维逻 辑表来表现的数据,它包括所 有格式的办公文档、文本、

12、图 片、XML、HTML、各类报表、 图像和音频、视频信息等。 是结构化的数据,但是不同数 据的字段和数据长度差异很大。 大数据的特征3-价值密度低 价值密度 (Veracit y) 数据类 型 (Varie ty) 处理速 度 (Velo city) 数据规 模 (Volu me) 大数据 Big Data 17 数据良莠不齐,价值密度低,但是通过 挖掘可以从数据中可以获得大量的价值 在爆发一书中,复杂网络研究领域的权威巴拉巴斯 指出,人类的活动是有迹可循的,其中93%的人类行为 都是可以预测的。 一旦掌握了足够多的历史信息,就可以从其中得到规律, 并对未来即将发生事件进行准确的预判。而大数

13、据的出 现无疑是给了人们一把打开未来之锁的钥匙。 通过收集、分析海量数据,并快速地从数据模型中分析 未来的趋势,人们可以提前实现对未来的预判或是准备。 大数据的特征4-处理速度快 价值密 度 (Vera city) 数据类 型 (Varie ty) 处理速 度 (Velo city) 数据规 模 (Volu me) 大数据 Big Data 18 购物 推荐 网络 搜索 在实际的应用中,从数据 的采集到运算分析得到结 果之间的时间要求可能是 秒、甚至是毫秒级的。股票交易、应急救援、基于地理位置的服务(LBS) 对搜索的时间要求 如果网页加载时间超过4秒, 25%的用户会放弃该网页 如果网页加载

14、时间超过10秒, 50%的用户会放弃该网页 抓住用户冲动购物的瞬间提供货 品推荐 大数据所带来的思维转变1-1-从抽样样本到全体数据 19 大数据技术的发展使我们能够掌控全局的数据, 可以更多地关注数据中的细微异常,从而发现 原本因为采样而被忽略的重要结论。 随机采样的有效性依赖于采样的随机性,然 而采样的完全随机性是难以保证的,这些偏 差就在最终的分析结果中得到体现。 例如,在2008年美国大选的民调中,几家大 型的咨询公司就发现,如果没有在抽样时将 只使用移动电话的用户进行单独考虑,就会 导致最终的准确度发生3个点的偏差,而如 果将这些用户考虑进来,就可以将偏差缩小 到1个点。 大数据所带

15、来的思维转变2-2-从因果关系到相关关系 与因果关系不同,相关关系并不关注和回答“为什么”,它只需要能够通过相关性确认 变量之间的关联,并用来进行数据的预测。在掌握了海量数据的情况下寻找相关关系的实现 难度明显小于因果关系。 整个亚马逊网站的销售额中,有近三分之一来自于“item-to-item”推荐 系统根据用户购书记录进行的推荐,但是亚马逊并不关注用户为何对某本 书感兴趣。 社交网站情绪指数与股价走势 美国印第安纳大学的约翰博伦“我们发现,预测道琼斯指数每日收盘 涨跌的准确度高达87.6%。” 算法玩笑 2011年4月8日,加州大学伯克利分校的迈克尔.艾登登陆亚马逊网站买一本书 “The

16、Making of a Fly”,书中介绍苍蝇是如何从一个单细胞成长为一只嗡嗡响 的飞虫。 亚马逊的2个商家的价格分别为1,730,045美元,2,198,177美元,第二天,价 格为2,194,443美元,2,788,233美元,4月18日,价格23,698,655美元,4月 19日价格下降到106美元。 第1家书店把书价定位第2家的0.9983 倍,第2家把书价定为第1家的1.270589 倍,机器自动定价。 0.9983* 1.270589=1.26842899871 21 思维转变3-3-从锱铢必较到良莠不齐 按照美国相关规定,公共卫生部门需要随时对流感疫情进行监控、统计疫情状况,然而

17、由于大部分患按照美国相关规定,公共卫生部门需要随时对流感疫情进行监控、统计疫情状况,然而由于大部分患 者都是在患病长时间后才会向医院寻求帮助,导致卫生部门的统计信息可能存在一定的延迟。者都是在患病长时间后才会向医院寻求帮助,导致卫生部门的统计信息可能存在一定的延迟。 在对搜索引擎上的用户检索词条和流感爆发数据进行对比分析时,谷歌公司的工程师们惊奇地发现,在对搜索引擎上的用户检索词条和流感爆发数据进行对比分析时,谷歌公司的工程师们惊奇地发现, 在流感疫情爆发的前期,搜索引擎上用户搜索的词条会发生变化,而这些变化可以帮助卫生部门更好在流感疫情爆发的前期,搜索引擎上用户搜索的词条会发生变化,而这些变

18、化可以帮助卫生部门更好 地预测流感疫情。地预测流感疫情。 22 科学家们通过对频繁检索词条和美国疾控中心2003年至 2008年季节性流感传播时期的数据进行了对比分析,最终 发现了45条检索词条的组合,使用这些词条进行流感发病预 测的准确率高达97%。 这个研究成果发表于2009年2月的自然杂志上,如今 来自全球的用户都可以在谷歌流感趋势网站上查看当前全球 流感分布图,以了解世界上大部分国家的流感疫情。 在2009年甲型H1N1流感爆发时,谷歌流感预测为卫生部 门提供了更加及时准确的疫情信息,为疫情的防控立下了汗 马功劳。 http:/www.google.org/flutrends/ 反恐大

19、数据兴起源于911事件恐怖分子的监控失败 恐怖分子监控失败唯一原因缺乏信息的关联分析 19 个恐怖分子中的6个在中央情报局(CIA)的监控名 单上 16 个人获得美国的签证(旅游, 学生, 工作) 最起码有4 个人有驾驶执照;所有人都有社会保险 号码(SSN) 关键人物使用真名租车,购买飞机票,等等 州法律执行机构和其他联邦特工不知道他们在哪里, 甚至也不知道有渠道可以监控他们 信息全部都可获得,但是没有分析,没有共享 思维转变4-4-从单一数据集到多类型数据集的关联分析 关联分析应用案例 Facebook最近委托的一项研究指出,如果要判断某人的性格和性情, Facebook网算法会比这个人的

20、朋友、父母或配偶更为准确。 这项研究共有86220名志愿者参与。他们每个人都有个人的Facebook网 账号,并且填写了有上百题的人格调查问卷。Facebook算法会根据被 测者平常在Facebook网上对网页、图片、影片等点赞的记录,预测这 些志愿者的回答。 过去点赞的次数越多,预测的准确度就越高。接着,再把算法预测的结 果与参与者的同事、朋友、家人和朋友的预测进行比较。只需要过去点 赞次数超过10次,算法预测准确度就可以高于同事;70个赞,预测准确 度就会高于朋友;150个赞,准确度高于家人;到了300个赞,预测准 确度就会高于配偶。换句话说,如果你自己已经在Facebook网上点了 超过

21、300个赞,Facebook网预测你的想法和期望的准确度可能比你的另 一半要高。 25 从数据资源数据资产数据竞争力 Facebook的市值,2013年8月1000亿,2014年8月2000亿,2017年3月3944亿美元, 2020年7月点29日,6561亿美元 Facebook的核心价值正是在于它掌握的海量数据金矿14亿名用户、每天处理 3.5亿张照片、45亿个“赞”和100亿条消息,每天增加600TB数据,总数据规模超 300PB Farecast网站根据2000亿条飞行数据记录预测出每一条航线上每班飞机每个座位的综合票 价变更趋势(Farecast网站于2009年6月被微软公司收购,现

22、在作为微软旗下Bing搜索中 旅游板块的组成部分而存在,2014年微软公司关闭了其机票价格走势预测功能)。 Facebook 北极数据 中心 Facebook 股价 提纲提纲 大数据的产生背景大数据的产生背景 大数据的特征与思维转变大数据的特征与思维转变 大数据产业发展大数据产业发展 大数据应用大数据应用 云计算及其产业发展情况云计算及其产业发展情况 云计算应用云计算应用 26 以数据为核心竞争力的新时代 27 对于过去的企业来说,日常数据可能只是存储在电脑的数据库中的二进制字符,或是堆叠在文件仓库里泛黄的 文件,这些在实际运营中所积累的资料是食之无味弃之可惜的鸡肋,既占据了存储空间,又暂时不

23、知道该如何 去使用。而在大数据时代,这些原本“鸡肋”的数据将成为企业最重要的资产,在恰当的大数据思维催化下, 转化为企业最核心的竞争力。 谷歌、Facebook、亚 马逊和苹果被称为大数 据时代的新巨头,而他 们的共同特点都是直接 面对用户并掌控着海量 数据。 数据资产评估模型 28 规模:指数据的规模大小,可以用信息领域的存储单 位比特(Byte)来衡量; 活性:表示数据采集的时间间隔,采集频率越高的数 据,其活性更高; 维度:表示采集数据来源的丰富性,维度不同的数据 可能会带来截然不同的分析结果; 关联性:指多维数据之间的内在联系; 颗粒度:代表数据采集的精细程度。 新鲜度:在实际的使用中

24、,数据采集的时效性也会十 分重要,在使用数据进行分析时,不同的时间断面所 采集的数据对于当前状态的预测具有不同的意义,距 离现在越近的数据,则相较更早期的数据而言,具有 更重大的意义。 数据 资产 新鲜度 规模 活性 维度粒度 关联性 数字化的世界 29 在19世纪,一名曾经的海军军官马修方丹莫里(Matthew Fontaine Maury)在担任图表仪器厂负责人的期间发现了 大量的航海日志,他从这些记录着当时日期、风向、海面情 况的日志提取出一副完整的航海导航图,这些从日志中得到 的数据帮助了千千万万的船员绕过难以对付的洋流和恶劣的 天气,顺利地完成航行。 当莫里从那些纷繁冗杂的日志中整理

25、出每一个经纬度所对应 的天气、日期、洋流信息时,他完成了航海信息的数据化过 程,而当他在自己制作完成的航海图中为海员们指引出一条 新的安全航线时,数据的价值得到了体现。 数字化的时代使得我们可以更进一步,将那些原本需要人工阅读 才能体会的数据经过整理交给计算机,借助科技的力量大大提升 数据化和数据分析的效率。为了以更高的效率采集更多的数据, 人们使用传感器代替了人工读取温度湿度,现代的传感设备可以 自动定期读取数据并直接存入数据库,它们的存在极大地提升了 数据资产的增长速度。 位置信息社交信息 健康信息运动信息 大数据产业链 30 数据拥有者 自身拥有数据(具有数 据分析能力) 自身拥有数据(

26、不具有 数据分析的能力) 大数据作为业务核心:Google,Amazon,苹果,Facebook等把利用 数据作为核心价值创造力,一般具有“数据+技术+服务”特征 大数据作为提升业务的辅助手段:银行、电信等 数据出售:为企业、公共组织和个人提供数据服务,MasterCard、 Twitter等 技术提供者 技术供应商或者数据 分析公司等 数据分析技术、基础设施、 整体解决方案 数据咨询和数据分析公司 如Teradata等 服务提供者 挖掘数据价值并直接提供服 务的大数据应用公司 大数据技术,对外提供服务, 例 如 : Flight_caster 以 及 FlyOnTime.us 数据交易平台

27、本身不拥有数据,提供平台 支持数据拥有者和使用者之 间的交易 贵阳大数据交易平台 数多多 大海洋 数据堂 大数据的产业视角 数据服务 基础支撑 融合应用 资源管理服务硬件平台:包括网络、存储、运算平台等 数据安全服务 资源管理服务 数据分析与可视化 数据采集和预处理 金融大数据 医疗大数据 媒体大数据农业大数据 交通大数据融媒体 设备供应商数据中心服务商终端 电源、精密空调等配电源、精密空调等配 套设备供应商套设备供应商 网络设备供应商网络设备供应商 服务器供应商服务器供应商 光模块供应商光模块供应商 动力环境监控动力环境监控 当地政府私人地主 房地产商/产 业园区 金融资本/投 资机构 辅助

28、性生产资料提供者 设 计 方 / 承 建 方 出售/出租 基础电信运营商基础电信运营商 第三方零售型数据中第三方零售型数据中 心运营商心运营商 第三方批发型数据中第三方批发型数据中 心运营商心运营商 上游中游下游 云计算企业云计算企业 金融机构金融机构 政府机关政府机关 大型国企、跨国企大型国企、跨国企 业、中小企业等业、中小企业等 互联网公司互联网公司 网络接入服务 转售数据中心服务 数据中心基础服务及增 值服务 IaasIaas服务商服务商 IT IT外包服务外包服务 商商/ /系统集系统集 成服务商成服务商 云服务 IT服务 定制化基础设施服务 ABB 康普 爱默生 施耐德 华为 思科

29、新华三 Finisar 中际旭创 光迅科技 华为 新华三 浪潮 京东 今日头条 阿里 百度 腾讯 银行 保险 证券 电子政务 平台 互联网企业互联网企业 数据中心总体产业云图 数据中心 数据中心(即IDC:Internet Data Centre)是为计算机系统(包括服务器、储 存和网络设备等)安全稳定持续运行提供的一个基础设施。 从数据中心全生命周期角度,数据中心服务商向客户提供包括数据中心前期的 规划设计、建筑,以及后期运维等多个服务。 其中,数据中心的运维服务包括服务器托管、数据备份等多项增值服务。 数据中心具有房地产和IT的双重属性,其可 从场地到IT软件分为四层,每上升一层其地 产属

30、性会更弱、而IT属性会更强。 数据中心上游产业 数据中心的上游主要包括五大产业,光模块,电源、精密空调等配 套设备,服务器,网络设备和动力环境监控。 数据中心的上游各项设施的成本比例: 55.6 16.7 21.1 6.6 数据中心配套设施建设成本比例(%) 电力设备空调设备土地装修其他 在上游的硬件设备中,电源、精密 空调等配套设备在总体成本支出上 占据了绝大比例; 而作为数据存储和传输核心的服务 器和网络设备却在总体成本支出上 仅仅占据了很小的比例。 数据中心中游产业链 中游是数据中心建设的主力军,对上游的资源进行整合,建设出稳定高效的数据中心机 房,并提供服务数据中心服务。 数据中心的主

31、要建设者包括电信运营商,独立第三方和大型互联网企业,三者之间存在着 较为复杂的合作关系,在少数场景下亦存在竞争。 各自优势 电信运营商:对带宽等资源的垄断、广泛分 布的机房,以及深入到县级以下的体系; 独立第三方:丰富的建设经验和运维经验; 互联网公司:自身使用,因此可以统一规划、 设计,并做全部的虚拟化、云化处理。 数据中心产业分析移动互联网 用户流量增长是数据量增长的重要因素。用户流量增长是数据量增长的重要因素。中国网民规模由2011年的约5.1 亿人,上升到2018年的约8.3亿人。与此同时,移动互联网的接入流量由 2011年的5.4亿GB,增长到2018年的711.1亿GB。这些要素给

32、作为互联网 基础设施的数据中心带来巨大红利。 数据中心产业分析5G、IPv6和物联网 万物互联,数据量将迎来新一轮爆炸性增长。万物互联,数据量将迎来新一轮爆炸性增长。 5G网络的峰值速率、流量密度、连接密度等显著优于4G,且原生标准 支持企业独立组网。 IPv6使得每一个元器件都可以拥有独立的IP地址,两者使得工业互联网 和物联网得以落地。互联网的连接作用由过去人与人之间的连接走向万 物互联。 数据中心市场规模 20192019年数据中心市场规模已超千亿。年数据中心市场规模已超千亿。 受益于5G技术的日益成熟与普及、互联网行业的持续高速发展等,国内 数据中心行业仍将保持30%以上的年复合增长率

33、。 提纲提纲 大数据的产生背景大数据的产生背景 大数据的特征与思维转变大数据的特征与思维转变 大数据产业发展大数据产业发展 大数据应用大数据应用 云计算及其产业发展情况云计算及其产业发展情况 云计算应用云计算应用 39 大数据助力奥巴马竞选团队 在2012年的美国总统竞选中,奥巴马竞选阵营的数据挖掘团队为竞 选活动搜集、存储和分析了大量数据,作为奥巴马的数据收集、处 理和分析助手,帮助整个竞选团队成功策划多场活动,从资金筹集 到选民分析提供了完整的支持,促成了奥巴马的成功连任 使用海量社交网络统计数据和多数据库综合数据构建了庞大的 分析系统 选民分析选民分析:1000多个特征群体,对选民的被说

34、服可能性和影响 力重要性进行排序 模拟:模拟:奥巴马的数据团队每晚要实施6.6万次模拟选举 宣传宣传:广告投放从新闻到电视剧节目,推广效率提升14%; RedditReddit社交网站社交网站回答问题 40 我们会在此次竞选活动中测量每一件事情,创造一次以数据驱动、完全不同于以前的竞选活动。 吉姆梅斯纳(奥巴马竞选团队主管) 41 莎拉杰西卡帕克 (欲望城市) 募款:乔治克鲁尼晚宴(西部,40-49,女 性),2012年5月10日在好莱坞举办了竞选筹资 晚宴。一晚筹款1500万美元。(西海岸) 急诊室的故事 在东海岸选择了女明星莎 拉杰西卡帕克,成功地复 制了西海岸的筹款效果。 在数据的支持下

35、,竞选团队 帮助奥巴马筹措到了创纪录 的10亿美元竞选资金。 大数据应用:零售 几种新零售模式 智能零售就是运用互联网、物联 网、大数据和人工智能等技术,构 建商品、用户、支付等零售要素的 数字化,采购、销售、服务等零售 运营的智能化,以更高的效率、更 好的体验为用户提供商品和服务。 苏宁的“智慧零售”苏宁的“智慧零售” 新零售是以消费者体验为中心的数 据驱动的泛零售业态,通过互联网 的方式重构人、货、场。新零售将 通过数据和商业逻辑的深度结合, 真正实现消费方式逆向牵引生产变 革 阿里巴巴的“新零售”阿里巴巴的“新零售” 零售革命改变的不是零售,而是零 售的基础设施。零售的基础设施将 变得极

36、其可塑化、智能化和协同 化,推动“无界零售”时代的到 来,实现成本、效率、体验的升 级。 京东的“无界零售”京东的“无界零售” 苏宁的核心优势在于多元化的销售渠 道,“两大、一小、多专”的零售族 群可以满足各线城市消费者的多元化 体验诉求。而其对零售的阐释也是围 绕现有线上和线下业务展开,从而搭 建协同的数字化和智能化的零售体 系。可以说苏宁的智慧零售是自上而 下,由里及外的一体化改造。 以技术为依托提供全面的智慧服务以技术为依托提供全面的智慧服务 阿里的核心优势在于掌握大量消费人 群数据和先进的技术,通过数据分析 掌握消费者需求后,引导商业模式创 新,在对传统零售模式改造的基础 上,给了线下

37、渠道以全新的发展方 式,线上线下的界限变得不再明显。 最终满足消费者多元化体验、提升零 售效率是阿里定义下的“新零售”的 主要任务。 以用户为中心数据驱动的泛零售以用户为中心数据驱动的泛零售 京东的核心优势在于自建的物流网 络,所以其对零售的阐释更多是围 绕产业链后端对物流、供应链的改 造和升级,去满足前端消费者多 元、无界的消费体验。同时将金 融、物流、技术等能力作为零售的 基础设施赋予合作的品牌商家,实 现行业的成本、效率、体验的升 级。 零售基础设施的升级实现无界零售零售基础设施的升级实现无界零售 大数据应用案例 43 大数据广泛应用的背景是互联网的全面占领人们的生活,互联网企业通过在线

38、 广告的方式获取大量的利润,数据分析的引入使得在线广告相对于传统的广告 而言可以进行更加精细的投放,而对广告效果数据分析的引入,则可以更好地 指导广告投放过程。 基于多年的数据积累和不断优化的技术,亚马逊的 个性化推荐技术闻名业界。同时,亚马逊所推出社 交新功能还能还允许其用户可将亚马逊帐户与 Facebook帐户关联起来,亚马逊将根据用户使用 Facebook“Like”( 赞 一 个 ) 功 能 的 情 形 和 在 Facebook网站上的其它活动记录来推荐商品。 亚马逊预测发货,客户还没有下单,货物已经发出。 在线广告的个性化推荐 用户在亚马逊上的 Facebook页 大数据应用案例 4

39、4 塔吉特(Target)百货的相关关系分析 2002年,安德鲁波尔开始为塔吉特百货担任数据统计员。销售部的两名同 事找到他,问了一个古怪的问题:“如果我们想在顾客不知情的前提下推测 出一名女顾客怀孕了,能做到吗?”。 塔吉特设有宝宝派对登记处(孩子出生前举办的特殊派对),波尔以此为 起点,观察孕妇在预产期内的购物习惯如何转变。他反复测试和分析数据, 很快一些有用的计算公式开始出现。波尔发现,妊娠中期刚开始,女性通常 会大量购买无香型沐浴露,另一位分析员发现,在怀孕最初的20周,女顾客 经常会大笔购买保健品,而当一位女士突然开始大量购入无添加肥皂、洗手 液和毛巾时,意味着她可能接近了预产期。

40、波尔通过累积的数据,推算出当25种商品部分或集中出现时,就可以为一 位顾客贴上“可能怀孕”的标签,更重要的是,完全能够推断她的预产期, 这意味着塔吉特可以在孕期的不同阶段送出特别设计的广告单。波尔在塔吉 特百货的全美国会员数据库中找到上万名有可能怀孕的女顾客。 在塔吉特的数据库中,每一个用户都 有唯一的ID号码,用户与商店发生的 每一个交互行为都通过ID号进行了详 细的记录。在海量数据处理变得越来 越便利的现在,零售企业将能够收集 更多的数据资产,并使用数据资产完 成更多的分析。 智能医疗 1.IBM,安大略理工大学:早产儿心跳检测项目 在项目中,心率、呼吸、体温、血压和血氧含量等16组 数据

41、被用于检测早产儿的身体状况,这些数据的采集频度 达到了每秒1260次之多,在这个系统的帮助下,医生可以 通过对早产儿的身体细微变化预判他们可能出现的感染症 状,将诊疗预防提前24小时。 智能医疗 46 2. IBM,加州大学洛杉矶分校里根科学中心:创伤 性脑损伤治疗 IBM的科学家在与美国加州大学洛杉矶分校里根医学中心的 医生们就创伤性脑损伤治疗的合作中,通过分析患者巨大 的数据流来预测这种导致认知能力损害甚至死亡的脑肿 胀。通过跟踪医生可以实时采集到的患者呼吸率数据和心 率模式,可以识别并预测患者未来数小时的各种生理迹 象。 里根医学中心的医生正在使用 大数据平台进行脑损伤诊断 大数据应用案

42、例智慧医疗 华为云与穿越医疗合作,搭建“血液云”华为云与穿越医疗合作,搭建“血液云” 通过医疗的安全监管平台,对每一袋血从血管到血管的全过 程做安全监控;通过大数据驱动的血液云可实现城市间的血液调 剂,因为不同城市之间的血液分布是不一样的;通过互联网建立 捐血者的线上连接,以及智慧捐血站良好的线下体验,让人们特 别是年轻人更理性看待献血,让血液的获取更加有序。 华为云与与国内最大第三方医学检验机构金域医学合作华为云与与国内最大第三方医学检验机构金域医学合作 在宫颈癌早期筛查项目中,华为云以强大算力和AI能力支 持,将单次筛查所需工作时间减少超过60%,使得相同的工作时 间与强度之下更多的标本可

43、以被处理,从而以大幅提升宫颈癌筛 查的效率。 大数据应用案例疫情防控 百度地图持续上线大数据新技术、新产品,为百度地图持续上线大数据新技术、新产品,为 科学防疫提供服务和支持。科学防疫提供服务和支持。 百度地图实时路况平台一方面支持实时查看全 国高速拥堵趋势变化和拥堵路段排行,另一方 面还提供热门交通枢纽的人流指数分析和周边 拥堵情况,共同为返程期间公众平安出行、政 府及交通运输单位提供大数据决策支持。 百度地图迁徙大数据平台,用户可以直观明了 地掌握全国热门路线、热门目的地、热门出发 地。 百度地图的热力图图层,用户可以查看到实时 的人口流量密度,以此来决定出行路线,避开 商圈、交通枢纽等人

44、流密集场所。 保险行业大数据应用案例 理赔欺诈预防 费埃哲(FICO)公司在2013年的报告中指出,在面向保险公司的调查中,约有35%的受访者认为当前的保险欺诈 比例达到了5-10%,有31%的受访者认为这些保险欺诈给公司带来的损失达到了营收的20%,而且保险欺诈的比例 还在不断增长,已经逐渐成为威胁保险公司利润率的一个关键因素。 案例:使用大数据分析技术排除保险欺诈 加拿大保险局发现对于汽车保险欺诈的调查往往会耗费数年时间,为此他们的调查部门希望能够借助大数据 技术加速保险欺诈调查的过程。 加拿大保险局和IBM公司合作,推出了一项概念验证计划(Proof of Concept,POC),这项

45、计划在安大略 省率先推行,在这项计划中,他们利用历史数据定义了关键的保险欺诈标志物,用以辅助保险调查人员进行 欺诈预防。同时,该计划中还对客户关系、标志物关联、欺诈风险等关键要素进行了可视化展示,进一步提 升了调查人员的工作效率。在该计划中,共分析了六年时间内的230000个理赔请求,最终发现涉及金额约 为4100万加元的2000多个理赔请求存在欺诈嫌疑,IBM和IBC估计,该计划最终能够为安大略省的汽车保险 行业每年节省约2亿加元。 在承保环节,保险公司可以使用大数据解决方案快速检索申请者的海量信息数据,以排除可能会发生欺 诈行为的投保客户。 在保险公司接收到用户的理赔请求后,可以利用社交网

46、络和公开数据对对用户的理赔请求核查,不仅能 够减少保险欺诈成功的概率,也能够减少保险理赔请求中假阳性的发生,从而提升客户满意度。 大数据应用案例智慧教育 腾讯云智慧幼儿园腾讯云智慧幼儿园 在教师的教学环节中,腾讯云作为大数据技术支撑,为教师 实现课程开发和创新助力。当前,运用大数据的能力优势, 打造了智慧教室、大数据评估系统,并借力云资源实现优质 教育资源的引入,让个性化、智能化教学,教育资源公平化 和因材施教的理念落地到教学过程中。 附属幼儿园接入智慧幼儿园系统之后,保障安全的人脸识别 闸机、电子班牌和数据管理平台成体系运作,实现了信息数 据化的高效以及智能化管理。 运营过程中,日常管理数据

47、与政府管理系统(教育行政、教 育督导)进行对接,实现数据共享,使管理部门能够实时了 解幼儿园动态。平台根据幼儿园数据情况,可以设定公开数 据的权限,社会人士和家长也能从这个平台上了解幼儿园工 作开展情况,从而解决信息不对称的问题,实现监督并行、 管理透明的良好工作闭环。 教育应用 乂学教育-松鼠AI 成立于2014 年,提供教师与AI智适应学习系统协作教学的全套标准体系及素 质系统,由人工智能自适应系统主导、真人辅助的双师模式,完成“ 教学评测”的教学 全流程。包含小初高全学科课程内容。 松鼠AI是线上线下打通的商业模式。采用70%AI系统授课30%辅导老师辅助的混合模式,学 生可以在家在线学

48、习,也可以到线下学习中心学习接受AI教学系统和老师混合授课。 三年时间已在全国20多个省400多 个城市开设了近2000家学习中 心。 累计注册学生数近200万,公司已 累计融资近10亿人民币,估值11 亿美金。 拥有MCM能力值训练、错因重构 知识地图、超纳米级知识点拆分、 MIBA等多个全球首创AI技术。 大数据应用案例智慧物流 顺丰数据灯塔顺丰数据灯塔 融合了顺丰内外部的海量数据(30万+收派员、5亿+个 人用户、150万+企业客户、300万+楼盘/社区信息、10 亿+电商数据以及10亿+社交网络等海量数据、覆盖全 国3000个城市和地区),主要功能有实时快递监控、 个性化预警、智慧云仓

49、、洞察同行、洞察消费者、洞察 供应链等。 智慧物流:智慧物流:提供快递揽收、在途、派送、签收全流程状 态,帮助快递实时跟踪、监控,及时发现问题快件并处 理。 智慧商业:智慧商业:融合顺丰精准全面的运单数据和外部地址信 息,通过挖掘顺丰海量的“最后一公里”地址数据,利 用大数据技术基于地理位置的商业环境进行分析,结合 小区的属性特征,让商家更清楚掌握消费者的购买偏好 及人群画像信息,提供完整的商业落地方案,协助商家 更好地进行O2O运营、精准营销,定位目标客户。 大数据应用案例智慧物流 菜鸟物流数据平台菜鸟物流数据平台 菜鸟网络的物流数据平台,会汇集商家、物 流公司以及来自于第三方的数据资源,对阿 里平台上海量的商品、交易和用户等信息, 以及社会物流网络信息的深度挖掘,实现物 流过程的数字化、可视化,对全国各大物流 公司进行“中转站-线路-网点”整个包裹流转 链路的运输预测和运输预警,让物流公司实 时掌握整张物流网络每个环节的“未来包裹 量预测”和“繁忙度实况预警”; 同时也让商家能够了解物流公司的状况,选 择合适的物流公司进行商品配送,实现智选 物流的目标。 消费者的物流数据。消费者的物流数据。消费者收货地址、服务选择、对物流

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(大数据与云计算(110页).pdf)为本站 (孔明) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态:

wei**n_...  升级为高级VIP  138**78... 升级为标准VIP

wu**i 升级为高级VIP  wei**n_... 升级为高级VIP 

wei**n_...  升级为标准VIP    wei**n_... 升级为高级VIP

 185**35... 升级为至尊VIP wei**n_...  升级为标准VIP 

186**30...  升级为至尊VIP  156**61...  升级为高级VIP

130**32...  升级为高级VIP 136**02... 升级为标准VIP

wei**n_...  升级为标准VIP  133**46... 升级为至尊VIP

wei**n_... 升级为高级VIP  180**01... 升级为高级VIP 

 130**31...  升级为至尊VIP wei**n_... 升级为至尊VIP 

微**... 升级为至尊VIP   wei**n_... 升级为高级VIP

 wei**n_... 升级为标准VIP  刘磊  升级为至尊VIP

 wei**n_... 升级为高级VIP 班长 升级为至尊VIP

 wei**n_... 升级为标准VIP  176**40...  升级为高级VIP

 136**01... 升级为高级VIP  159**10... 升级为高级VIP 

君君**i... 升级为至尊VIP  wei**n_... 升级为高级VIP  

wei**n_... 升级为标准VIP   158**78... 升级为至尊VIP 

微**...   升级为至尊VIP 185**94... 升级为至尊VIP 

wei**n_... 升级为高级VIP 139**90...  升级为标准VIP

131**37... 升级为标准VIP 钟**  升级为至尊VIP

wei**n_... 升级为至尊VIP  139**46... 升级为标准VIP

wei**n_...  升级为标准VIP  wei**n_... 升级为高级VIP 

150**80... 升级为标准VIP    wei**n_... 升级为标准VIP

GT 升级为至尊VIP  186**25... 升级为标准VIP

wei**n_...  升级为至尊VIP 150**68... 升级为至尊VIP 

wei**n_...  升级为至尊VIP 130**05...  升级为标准VIP

 wei**n_...  升级为高级VIP wei**n_... 升级为高级VIP 

wei**n_...  升级为高级VIP  138**96... 升级为标准VIP

 135**48...  升级为至尊VIP wei**n_...  升级为标准VIP

肖彦 升级为至尊VIP   wei**n_... 升级为至尊VIP

wei**n_...  升级为高级VIP wei**n_...  升级为至尊VIP 

国**... 升级为高级VIP  158**73...  升级为高级VIP

wei**n_... 升级为高级VIP  wei**n_... 升级为标准VIP 

wei**n_...  升级为高级VIP  136**79... 升级为标准VIP

沉**...   升级为高级VIP 138**80...  升级为至尊VIP

138**98...  升级为标准VIP   wei**n_... 升级为至尊VIP

 wei**n_... 升级为标准VIP   wei**n_... 升级为标准VIP 

wei**n_...  升级为至尊VIP 189**10... 升级为至尊VIP 

 wei**n_... 升级为至尊VIP  準**... 升级为至尊VIP

151**04...  升级为高级VIP  155**04...  升级为高级VIP

 wei**n_... 升级为高级VIP  sha**dx...  升级为至尊VIP

 186**26... 升级为高级VIP   136**38... 升级为标准VIP

182**73...  升级为至尊VIP  136**71...  升级为高级VIP 

139**05... 升级为至尊VIP   wei**n_... 升级为标准VIP

wei**n_... 升级为高级VIP  wei**n_... 升级为标准VIP

 微**... 升级为标准VIP Bru**Cu... 升级为高级VIP  

155**29... 升级为标准VIP wei**n_... 升级为高级VIP  

 爱**... 升级为至尊VIP wei**n_...  升级为标准VIP

 wei**n_...  升级为至尊VIP   150**02... 升级为高级VIP

wei**n_...  升级为标准VIP  138**72... 升级为至尊VIP

wei**n_... 升级为高级VIP 153**21...  升级为标准VIP