1、1赵慧玲赵慧玲大数据技术创新和应用 中国电信云计算研究中心2内容提纲大数据行业背景概述中国电信大数据技术创新中国电信大数据行业应用实践3大数据产业最新概况产业步入复苏期，互联网+是国内新机遇20112012（大数据元年）201320142011年麦肯锡总结大数据现象并发布报告大数据的下一个前沿：创新、竞争和生产力，点燃大数据热潮 2013年4月，阿里收购友盟，参股新浪微博 2013年5月，阿里入股高德地图 2013年6月，沃尔玛收购大数据公司Inkiru 2013年6月，“棱镜门”事件1 12 23 3 2012年3月，美国启动“大数据研究和发展计划”，标志大数据上升为国家战略 2012年11

2、月，数据科学与信息产业大会在北京召开，标志数据科学登上产业舞台，学术、产业和资本市场达成共识萌芽期过热期复苏期 政府高度重视 各种研究机构成立 资本市场沸腾 行业案例遍地开花 内部数据是主要来源 并购潮风起云涌市场持续升温，价值不断显现4 45 5 2015年7月，国务院发布关于运用大数据加强对市场主体服务和监管的若干意见 2015年7月，国务院关于积极推进“互联网+”行动的指导意见 2015年9月，国务院发布促进大数据发展的行动纲要幻灭期 国家推动 从概念到实用2015未来3年2014年4月，世界经济论坛以“大数据的回报与风险”主题发布了全球信息技术报告 2014年5月，美国白宫发布2014

3、年全球“大数据”白皮书大数据：抓住机遇、守护价值2014年11月，中国首个“工业4.0”联盟成立4大数据产业特性数据与技术双驱动数据和技术双驱动的大数据产业大数据应用技术【Geo、推荐、可视化】数据能力开放【数据银行、数据交易】算法和能力开放【机器学习、预测分析】技术基础设施【Hadoop、Spark、NoSql】数据基础设施【企业数据、物联网数据】SAASPAASIAAS大数据行业应用【地理BI，广告优化】5灯塔大数据产业定位整合多源数据，打造能力平台，创新行业应用整合多源数据打造能力平台创新行业应用中国电信定位于通过广泛整合多源数据、精准打造能力平台、深入创新行业应用，与业内合作伙伴一起，

4、共同营造大数据生态圈大数据产业地图 2016 （FirstMark）灯塔大数据自我定位大数据技术热点混合数据存储混合数据库架构异构数据关联混合数据存储混合数据库架构异构数据关联 提供超大容量的存储空间 支持对海量数据的智能检索和分析 兼容各种类型的大数据应用 提供混合的数据存储模型，支持文件、对象、键值、块等多种访问接口 融合关系型数据库、列数据库、内存数据库、图数据库等多种数据库，形成混合数据库架构 满足多种场景下的数据处理需求实现电信数据内的多种用户ID关联，实现多场景、多屏幕信息打通，实现更全面和精准的用户描述借助从电信数据中挖掘出的外部ID，实现电信数据与外部数据的打通，从而打破电信数

5、据开放的壁垒 将多源异构数据进行关联和融合，挖掘数据之间的相关性，能够为数据分析奠定坚实的基础，最大限度地发挥数据价值对内数据融合对外数据开放大数据技术热点行业知识库深度标签行业知识库深度标签 面向多个行业，深挖行业知识详情，构建行业知识库，形成完整的行业知识体系，有效推动数据应用与价值落地 通过针对大数据场景的数据挖掘，深入分析用户行为，打造多层次、多角度的用户深度标签，使得大数据应用更加精准，大数据业务能够更加贴近用户，更好地满足用户的需求8大数据采集与存储解决方案 大数据的采集与存储解决方案包含：电信网络大数据的采集、互联网公开数据的采集以及企业自有数据的接入，并将三种来源的数据进行融合

6、和存储，构建IAAS层，供PAAS层调用。面向电信管道数据、互联网公开数据和企业自有数据等多种数据类型，分别构建数据采集能力，并定义统一的数据采集接口与存储接口，解决了多源异构数据的采集与存储问题。目前平台已采集并汇聚电信数据1000多亿条、外部数据4亿条。9大数据应用：数据API 大数据的应用全部对接标准化的数据API，包括群体画像API、精准标签API、泛义征信API以及地理人口统计API。群体画像API精准标签API泛义征信API地理人口统计API数据APIPAAS10灯塔大数据多源数据整合灯塔大数据目前已广泛整合中国电信内部云公司与省公司数据、抓取互联网公开数据和接入第三方数据，有效数

7、据总体量近1000亿固网及移动管道数据（DPI）用户注册信息（CRM）流量及话单数据（ODS）移动位置数据（信令）电信数据用户行为数据（条）总量1000亿+全脱敏电商视频触媒汽车互联网数据行业字典规模（网页数）总量4亿+抓取地产金融社交教育工商航空公安第三方数据API接口数量（个）总量300+接入法院银行人力11灯塔大数据能力平台打造灯塔大数据通过长期技术积累，打造能力平台，实现数据质量控制、数据融合增益和数据能力封装，极大提高数据价值和数据可用性数据质量标准化API定量刻画与预测基础人与物关联ID Mapping数据源A数据源B数据源C数据源D异构程度噪声比例数据质量控制数据融合增益数据能力

8、封装混合数据库模型，满足多种场景下的数据处理需求融合关系型数据库、列数据库、内存数据库、图数据库，提出面向不同存储过程和计算需求的混合数据库模型，解决单一数据库模型无法满足大规模数据训练、高频高实时性计算、网状结构计算等不同场景下的数据处理问题。目前支持1000万级多维数据的秒级查询展现、10亿级多维数据的24小时内基础演算、支持100毫秒级的数据流处理、秒级完成10亿级边、1000万级节点的子图查询运算。应用于大数据行业应用平台IaaS能力，支持其上的大数据行业应用产品开发。关系型数据库MySql非关系型数据库HBase图数据库Neo4j内存数据库Redis混合数据库模型小规模顶层数据查询与

9、展现大规模底层数据计算与训练高频高实时性计算网状结构数据存储与计算构建ID关联模型，实现电信数据与外部数据有效关联和拼接： 构建ID关联模型，采用图数据库进行数据存储和模型计算，实现DPI数据内的多种用户ID关联，解决了电信数据与外部数据有效关联和拼接的问题。 目前平台已积累超过100类ID数据，ID总量超5000万。 应用于大数据行业应用平台PaaS能力，并支撑了电信基础账号关联分析、人群画像等应用的实现。打造用户深度标签，支持用户行为分析的大数据应用根据用户上网行为，使用机器学习和模式识别等算法，推断用户的性别、年龄等基础人口属性，并打造消费偏好、消费能力等其他深度标签目前已构建超过10个

10、行业的总计6000余类用户深度标签应用于大数据行业应用平台PaaS能力，并支撑了市场研究、地理洞察等应用中的人群画像的实现Step1:计算条件互信息Step2:最大权生成树原理:通过先验概率，利用贝叶斯公式计算出其后验概率，选择具有最大后验概率的类作为该对象所属的类。Step3:分类TAN网络NBC网络打造行业知识库，为网络大数据解析提供支持 通过整合数据采集、数据存储、数据形式化、数据表达等环节，打造完善的行业知识库，为运营商网络大数据的解析提供必要支持。 当前行业知识库整体字典规模超过2亿，其中电商和视频分别占1.2亿和6000万。 应用于大数据行业应用平台PaaS能力，并支撑了市场研究等

11、应用的实现。16大数据能力：数据可视化 基于开源项目d3.js构建的数据可视化能力，覆盖数十种数据展现类型，能够直观将数据特性呈现至用户屏幕。标签能力可视化热力图可视化数据关联可视化17灯塔大数据行业应用创新产业链上游产业链下游灯塔大数据与合作伙伴共同研发面向通用或垂直行业的产品与解决方案，使得大数据服务能够真正为客户带来价值，并最终实现落地能力封装数据融合增益多源数据整合行业应用合作伙伴 | 中介客户灯塔+行业伙伴行业客户电信数据互联网数据第三方数据灯塔大数据行业应用金字塔18灯塔大数据5+1+1产品体系精准营销领域人力资源领域地理商业智能领域5个产品方向市场研究领域金融征信领域DMP/DS

12、P大数据招聘/背景调查商圈分析/店铺选址决策路径研究/消费者洞察企业征信/催收1个能力平台-Data Fusion&Insight Platform行业知识建模技术数据拼接技术深度标签技术多源数据整合技术应用商店+数据市场1个流量入口灯塔大数据构建了“5+1+1”的产品体系，包含精准营销、金融征信、人力资源、市场研究和地理商业智能这5个产品方向，Data Fusion&Insight 这1个能力平台，以及大数据应用商店与数据市场这1个流量入口19灯塔产品落地：精准营销方向实时报表程序化购买利用数据拼接技术，实现跨屏跨网跨平台用户对齐，并利用深度标签技术，打造更加立体的用户画像，为客户提供更加有

13、效的精准营销服务20灯塔产品落地：金融征信方向行业信息人群画像上网行为团队氛围薪资水平离职意愿企业打分公司信息员工人数平均年龄工作饱和度团队氛围离职意愿网络行为每日上网量工作时间加班比例加班评价时长搜索内容正面高频词负面高频词情感指数企业征信报告企业行为分析通过整合传统信贷数据之外的其他数据源，辅助各类金融机构对借贷主体进行信用评级与风险定价，有效对央行征信报告进行了补充21灯塔产品落地：人力资源方向个人信息报告调用国家信息库接口，实时背景调查线下调查报告调查专员线下调查，采集个人信息网络数据报告获取用户授权，对其进行大数据分析创新引入用户互联网行为，形成求职者的胜任力、学习能力、专注度、敬业度等指标，并推出了相应的猎头与背调服务打破传统人力资源行业的信息不对称，降低企业的用工风险与用工成本。22灯塔产品落地：市场研究方向将全量、跨平台、多维度等大数据的优势，与传统市场研究小数据结合，打造了诸如消费者洞察、商业指数分析、决策路径分析等成功案例消费者洞察收视人群商业价值指数消费决策路径电视收视率排名商业价值指数排名网络收视率排名23灯塔产品落地：地理商业智能方向智慧选址，结合数据标签位置数据为客户提供在线选址和数据运营分析服务，将用户线下的位置信息精确到店铺级别，并关联用户的线上行为，产生了区域人口洞察、店铺选址、客流分析等一系列地理方向的应用区域人口洞察商圈分析与选址客流分析