1、利用ADB打造游戏行业新一代实时数据运营平台 奕风 莉莉丝首席架构师 Contents 01 目录 莉莉丝简介 02 业务背景简述 03 游戏发行数据平台与基于ADB的架构改进 Introduction to Lilith?Brief description of business?Game Publishing Data Platform and ADB-based Architecture Improvement?莉莉丝简介01 Introduction to Lilith?莉莉丝简介 成立时间 2013 做好玩的游戏 公司规模 500+员工 公司价值 简单真诚 公司愿景 商业游戏 Sou

2、l Hunters 2015.04 小冰冰传奇 2014.02 2017.06 剑与家园 万国觉醒 2018.09 剑与远征 2019.01 国民级手机游戏 开创动作卡牌手游玩法 风靡亚洲 DC/育碧跨界联动 创新策略战争玩法 全球超2000万玩家 高品质国际化策略手游3.0 席卷多国排行榜 独特欧美卡牌画风 海外口碑收入双丰收 7月中国出海手游收入排名：万国觉醒 第3名/AFK Arena 第4名 （Sensor Tower:App Store+Google Play）海外优异成绩 业务背景简述02Brief description of business 移动游戏市场规模 62.4 87.

3、7 148.4 276 562.2 1022.8 1489.2 1937.1 2323.6 2647.8 48.5 40.6 69.2 86 103.7 81.9 45.6 30.1 20 14 0 20 40 60 80 100 120 0 500 1000 1500 2000 2500 3000 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2011-2020移动游戏市场规模?增长率?移动游戏行业CPI逐年上涨 0 20 40 60 80 100 120 140 2014 2019 游戏行业CPI?流量越来越贵 More and mor

4、e expensive traffic 用户更加成熟 Users are more mature 竞争愈演愈烈 Competition is getting worse 考验买量更加精准快速调整策略 游戏品质要求更高 好玩也需要懂得市场 移动游戏行业趋于成熟 精细化运营 Convergence of IT Infrastructure 效果实时反馈 Online Presence of Core Technologies 抢先一步预测 Data and Intelligence Capabilities of Business Applications 游戏发行数据系统需求 游戏发行数据平台与

5、基于ADB的架构改进03 Game Publishing Data Platform and ADB-based Architecture Improvement?数字广告场景示例 点击 注册 创角 安装 登陆 升级 充值 数据打点示例 DAP数据系统示例 数据流向?API?Hadoop?监控系统?元数据系统?Nginx?Logstash?Kafka?数据接入系统?ETL系统?JS SDK?IOS/AOS SDK?ETL Lib?Presto?实时计算?数据库与存储?分析系统?Web Server?Flink?归因系统?Hbase?Redis?POLARDB?查询引擎?前端系统?原有实时分析架

6、构 Hadoop?Hive External Table?Presto hive connector?presto?前端分析?POLARDB?Cache系统?Data after ETL 拓展性问题自建集群的容量拓展，吞吐量、算力提升，没有那么便捷 易用性问题自己维护hadoop-hive-presto，有不小的学习与维护成本。ORC等列存储方案，作为离线分析很不错，但是实时性的方案并不容易实现 实时性问题数据分析的实时性还不够高，presto作为直接查询的实时计算引擎，性能不达预期。预计算后的分析报表，放在POLARDB里也捉襟见肘。性价比问题自建集群，在保证一定的性能与稳定性的情况下需要不

7、少费用 原有架构的问题 大数据实时系统 Kylin Druid 本质是预处理，并非实时 查询模式比较固定 SQL支持不好 关联性查询不方便 不支持查明细 ADB的使用场景 业务数据同步 实时计算清洗回流 ETL清洗回流 通过数据传输DTS将关系型数据库的业务表数据 实时镜像一份到ADB 流计算清洗结果数据回流至ADB 大数据计算平台 SparkSQL、Hadoop等 在清洗完数据后回流至ADB 为什么选择ADB Efficient Easy 易用 比POLARDB这种OLTP快10倍以上，比presto也能快数倍，QPS数百到上万 快 节点和配置都可以随时升降，可以随着数据增长逐步升级 灵活 Pesto迁移过来，几乎没有任何改动成本，mysql迁移大部分语句兼容 易用 动态线性扩容至数千节点，可以支撑我们到达腾讯的量级 规模拓展 从10万TPS到数百万TPS，都可以支撑 高并发 高效 ADB实时分析架构 Data after ETL logstash?ADB 存储密集型?前端分析?Cache系统?POLARDB?DTS ADB 计算密集型 510倍 分析性能 300%成本 DAP on ADB 收益 实时数据分析完整架构 THANKS!