2017年Mobike大数据基础平台建设.pdf

编号：92437

PDF 21页 1.50MB 下载积分：VIP专享

下载报告请您先登录！

2017年Mobike大数据基础平台建设.pdf

1、Mobike大数据基础平台建设目录 Mobike 介绍团队介绍平台演变平台架构平台建设未来展望Mobike 介绍全球第一大互联网出行服务平台 10+个国家200个城市日订单量3000万+700万+摩拜单车 2亿+用户团队介绍职责提供一站式大数据服务平台提供大数据存储计算平台提供实时搜索服务平台标准化数据计算逻辑和管理用户数据团队、研发工程师平台历程2017.0110+nodes2017.0620+nodes2017.0940+nodes2017.11 100+nodes业务日志处理数据仓库报表红包车反作弊实时计算车辆调度.数据量规模 2 Hadoop cl

2、uster 100+nodes 存储1PB 日增6TB 计算 800+jobs/day400000+Tasks/day 工具以Hadoop为核心，Kafka、HBase、Hive、Spark、Storm、ELK平台架构平台架构平台建设日志收集Logstash+Kafka+Flume-ng 离线处理HDFS HA+RM HA/All on YarnHive 数仓Spark Mllib 模型训练l实时处理StormSpark streaminglEs实时搜索服务l全链路实时监控全链路监控全链路监控全链路监控全链路监控平台建设 Yum 源 Puppet Ansible Zabbix Ganglia

3、平台建设 Puppet 配置统一管理 Ansible 自动化部署Puppet (Hadoop)Agent1Agent2.Master 1Master 2LVS平台建设 HDFS约束目录规范，严禁私自创建目录Quota限额，文件数、存储 YARN按作业类型划分固定的Queue（online/offline/bi/dw/default）Jobname 规范格式 zhangsanxxxl集群账号按部门、按业务分配用户个人帐号仅供测试，组帐号上生产调度，Job提交需指定queuel数据权限 HDFS AcllJob管理工作流定义方式，通过配置文件，GitLab CI 自动提交未来展望平台安全自动化建设数据质量平台安全l身份认证Kerberos l身份管理 LDAP l授权访问数据授权访问:SENTRY l安全审计l数据加密自动化建设l更自动化l更智能化数据质量l数据生命周期管理l数据间的血缘关系l数据格式标准化

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2017年Mobike大数据基础平台建设.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。