2019年搜狗大数据分析中台建设实践.pdf

编号：97383

PDF 31页 2.94MB 下载积分：VIP专享

下载报告请您先登录！

2019年搜狗大数据分析中台建设实践.pdf

1、搜狗大数据中台建设实践关于我们来自搜狗大数据平台部基于Apache Hadoop生态，建设搜狗海量数据存储和计算平台提供稳定高效的数据分析系统，为搜狗各类型大数据应用，提供一站式数据处理服务每天数十亿的数据增量，数以百万计的数据计算流程，使数据的价值得到充分利用最前沿技术落地及推进开源技术的发展目录I.背景目标定位II.技术演进架构改进历程III.Sogou数据中台架构?背景背景背景传统的数据仓库不能满足数据分析需求数据的处理架构发生了变化从统计分析向预测分析转变从单领域向跨领域转变从被动分析向主动分析转变从非实时分析向实时分析转变从结构化数据向多元化转变以Hadoop、Spark等分布式技

2、术和组件为核心的“计算&存储混搭”的数据处理架构，能够支持批量和实时的数据加载以及灵活的业务需求数据的预处理流程正在从传统的ETL结构向ELT转变背景基础效率协作背景之前架构数据效率数据效率数据协作数据协作数据能力数据能力数据仓库层次建设权限管理弱，安全性不佳BI分析能力元数据管理混乱仓库集市，数据互通难度大业务数据转化价值能力弱Hive/pig的计算效率重复报表多，统计口径不一致无数据接口背景数据服务能力不统一数据建设和数据资产管理能力不统一数据口径规范不统一背景目标数据中台定位?大中台小前台后台中台首先是一种战略选择、一种组织形式，其次才是一些有形的产品支撑和实施的方法论。后台前台企业级

3、的能力复用概述数据库业务单一数据量小数据仓库业务众多量级偏大数据平台仓库管理平台报表平台数据中台数据共享服务共享BI平台概述数据中台的基本思想就是不重复造轮子，把复用共享的东西提炼出来，变成一个可以被其它业务单元引用的基本能力，为前端的业务赋能概述功能设计架构-优化后基础效率协作https:/ Governance）是指对数据湖中的数据进行存取、处理、分析及传输。仓库建设分析工程自动调度架构-数据仓库架构-数据仓库HiveSparkSQLPhoenixPresto稳定性优良中差查询性能差良良优并发性优良差差扩展性优优优优SQL兼容性良良差良统计分析引擎的对比架构-数据统计Hive任务执行Spa

4、rkOnAlluxio多轮迭代执行架构-数据统计架构-BI可视化逻辑层配置层展现层?大数据平台的业务具有多流程、多作业、业务低耦合的特性，因此从技术实现上来说，使用MVVM这种开发模式比较适合，以此达到前后端彻底分离，各个业务模块只需要提供API即可Service-ldDaoRedisMySQLServer层Response基础服务CS配置管理AS报警监控Login登录服务Web层WebappWebapp-Request提交接口请求Api-ServiceKnex外部服务MySQLMySQLMySQLRedis前端平台构建管理权限管理FS文件服务构建ServerGPU Server日志Server仓库Server任务管理ServerSogou数据中台架构Sogou数据中台架构Sogou数据中台架构业务查看报表集市查看/建立报表服务统一技术口径数据仓库建模Sogou数据中台架构

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2019年搜狗大数据分析中台建设实践.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。