1、大数据操作系统，七年磨一剑陈鹏宇（不老）阿里云 高级产品专家阿里云数加大事记数加进化史：内部业务锤炼数加对外开放：普惠大数据与合作伙伴共赢目 录content2009年，马云说阿里巴巴是一家数据公司Facts：百万级客户日均笔数过万极低坏账率七年前伴随数加一起成长的业务：阿里金融（蚂蚁小贷）数据加工数据仓库数据加工流水线EDWADMCDM模型运算决策引擎算法部署模型决策访问接口模型结果在线系统金融业务贷款保险理财数据化运营的信贷流水线阿里金融带来的启示：从 Data1.0（看数据）进化到 Data2.0（用数据）7一切业务数据化，一切数据业务化云计算大数据金融营销信用安全风控客服物流搜索IOE

2、+Greenplum+Hadoop+存储昂贵，可扩展性差。再过几年，IOE的成本就可以使得公司破产存数据孤岛各业务部门的数据散落在多个集群，彼此之间数据不通，数据共享太难太难！通数据重复建设由于数据不集中，导致数据被拖来拖去、重复存储和计算。光淘宝商品类目表就有70多张！用阿里金融的生存状态：刀口舔血如何孵化更多阿里金融？阿里巴巴大数据背后的挑战EB级的数据算不算得动？百万张表如何管理？数据质量之殇：一分钱一百万大集中的数据如何确保安全？Hadoop,GP,Oracle,MaxCompute(原ODPS)登月：史无前例的数据和应用大搬家所有BU参与，历时一年半，耗费数万人天。123统一平台，数

3、据大集中统一的存储，统一的计算引擎，统一的数据开发平台资源共享，弹性分配基于ODPS多集群技术，由数以万计的服务器提供超级计算能力，按需弹性分配给各数据开发团队数据隔离，分权管理基于ODPS多租户机制，各部门可独立管理自身的数据，独立做数据授权统一大数据技术平台关系网络关系网络部门部门1部门部门3部门部门5部门部门2部门部门4安全的数据共享机制（基于MaxCompute多租户数据授权模型）MaxCompute集群 多租户数据不搬家，可用不可见公共技术平台One Platform公共数据服务One Data中台后台前台业务DWODPS，ADS统一的大数据技术平台数据共享算法共享知识共享数据安全数

4、据质量数据标准运营管理生态建设统一的数据仓库公共数据产品和数据服务金融营销信用安全风控客服物流搜索成本管理阿里大数据体系架构公共技术平台One Platform公共数据服务One Data中台后台前台业务DWODPS，ADS统一的大数据技术平台数据共享算法共享知识共享数据安全数据质量数据标准运营管理生态建设统一的数据仓库公共数据产品和数据服务金融营销信用安全风控客服物流搜索成本管理运营数据存通用阿里大数据体系架构集群1集群2集群n飞天：一台计算机ODPS：一个计算引擎One Data：一个数据仓库One Service：公共数据服务人群画像特征工程关系库行为库全局元数据管理，全链路血缘跟踪账号

5、，权限，计量完整的数据中台数加对阿里集团业务的支撑阿里集团99.9%的数据和计算跑在阿里云数加平台上面 单集群上万台 支持多集群，全国十多个数据中心 上万 名开发者 几千 个项目 EB 级数据规模 百PB 日计算量应用场景：个性化推荐|风险控制|全集团统一的数据仓库BI机器学习数据可视化存：数据大集中，MaxCompute统一存储和计算通：统一规范，打通各个业务单位用：推动数据开放和交换，促发展，养生态阿里云大数据平台 数加数字娱乐其它领域淘宝天猫AAliexpress电子商务支付宝小贷保险基金蚂蚁金服聚划算高德友盟菜鸟物流物流医疗UC数加对阿里集团业务的支撑数据上云 数据集中存储 大规模计算

6、能力 统一元数据数据资产化 数据整合 数据地图 数据管理 资产计量业务创新 数据化运营 精准营销 互联网金融 智能物流数据生态 数据开放 业务闭环 生态伙伴 运营数据1 12 23 34 4存存通通用用 Data 1.0：DW和BI为主，“看”Data 2.0：数据化运营，“用”Data 3.0：运营数据，“生态”小结：阿里大数据实践之路数加进化史：内部业务锤炼数加对外开放：普惠大数据与合作伙伴共赢目 录content阿里云基础设施然后呢？Data产生大量数据业务系统数加平台的定位和使命阿里云基础设施业务系统|数据应用数加平台计算引擎分析工具数据展现批量/实时算法能力数据采集/同步数据服务在线

7、数加平台的定位和使命数据交换|数据管理|数据安全采集|存储计算|加工数据分析深度挖掘数据服务应用加速器数据展现公安交通互联网视频能源物联网合作伙伴合作伙伴 平台开放性，兼容开源系统 完善的配套开发工具 一站式体验面向开发者的大数据操作系统数加的服务模式专有云数据回传租户2部门1租户3租户1部门2租户4专有云数据上传专有云公共云平台 多租户隔离 按需租用的计算能力和服务 全球数据互通和在线协作能力 相同的云架构 部署在客户专有环境数加的内外部客户对内支撑阿里业务对外服务企业/政府客户数加：大数据平台+人工智能平台数加进化史：内部业务锤炼数加对外开放：普惠大数据与合作伙伴共赢目 录content人

8、工智能一站式数据开发、分析、应用平台BI数仓可视化数加平台数加平台数据应用数据应用-行业场景化应用-您最擅长您最擅长交给我们交给我们数加+合作伙伴大数据操作系统大数据中间件计算引擎计算引擎Core您可以省心：再多的数据，也存得下、算得动可租用的存储和计算资源图形化的编程和分析界面程序运行托管、运维监控您可以省力：10000行的代码，可能只需写100行Focus 在核心业务逻辑实现搭积木式快速拼装应用通用算法库语音识别API图像视频API文本分析API推荐引擎分析引擎关系网络规则引擎开发工具开发工具GUI数加如何赋能合作伙伴？900人天？30人天！开发一个个性化推荐需要多长时间？开发一个活动直播大屏需要多长时间？一个月？3天/1小时数据市场天池大赛