1、 全球敏捷运维峰会 广州站超大规模数仓集群在大型商业银行的落地实践龙趺MPP DB演讲人：建信金科 陈晓新 全球敏捷运维峰会 广州站龙趺MPP DBMPP架构查询能力超高的查询性能标准SQL支持完善的生态系统云计算弹性无限的计算存储能力动态伸缩高性价比的存储大数据平台灵活性计算和存储分离优异的扩展性故障自动恢复龙龙趺趺MPP DBMPP DB龙趺MPP DB新一代云原生数据仓库产品金山云其他数据库、存储等合作公司 全球敏捷运维峰会 广州站信用卡信用卡20年年3月月境内贴源境内贴源20年年7月月公共访问公共访问20年年7月月旅程管理旅程管理20年年8月月集团并表集团并表海外贴海外贴源源20年年9

2、月月海外应用海外应用20年年11月月云化数仓云化数仓21年年1月月20年年10月月不良资产不良资产21年年3月月公共计算公共计算21年年4月月资产负载资产负载21年年6月月分行分行信息应用信息应用龙趺龙趺MPP DB运行现状运行现状集群规模集群规模数据量数据量表数量表数量/对对象数象数负载情况负载情况15000+服务器9PB百万/千万每天运行作业数达到百万级别，SQL数千万级别龙趺MPP DB上线和运行现状 全球敏捷运维峰会 广州站龙趺MPP DB上线和运行现状 全球敏捷运维峰会 广州站贴源集成应用运行效率对比050010001500传统MPP龙趺MPP DB 龙趺MPP DB的计算资源和传统

3、MPP的计算资源基本相等 龙趺MPP DB存储和计算的数据量（1000TB）为传统MPP（200TB）的5倍 每天7万个作业、100万个SQL，龙趺MPP DB和传统MPP的运行效率无明显差别 全球敏捷运维峰会 广州站为什么需要研发龙趺MPP DBu并发能力和可扩展性不足，分库分表造成大量数据冗余u木桶效应，服务器故障会导致集群性能严重下降u升级、扩容等操作复杂，运维成本高，应用影响大u数据的存储和计算不分离，数据库孤岛情况严重u非云原生架构，难以融入建行云建设传统MPP数据库在建行落地实践中遇到的困难 全球敏捷运维峰会 广州站元数据集群共享存储计算集群计算集群-1计算集群-2计算集群-n元数

4、据集群共享存储（对象存储）管理控制台用户模块管理模块用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对象存储 n龙趺MPP DB架构 全球敏捷运维峰会 广州站权限管理权限管理多租户/用户管理集群集群生命周期管理生命周期管理创建、删除、扩缩容、升级、启动、停止IaaS资源交互和调度资源交互和调度自动化申请基础设施资源，包括计算、存储和网络资源等自动化自动化/智能化智能化运维运维自动化安装部署监控、告警运维扩容、升级、备份故障自愈龙趺MPP DB管理控制台 全球敏捷运维峰会 广州站ETCDETCDETCDcatalogcatalogcatalog调度层调度

5、层无状态无状态服务层服务层分布式分布式K-VK-V存储存储FDBFDBFDBFDBFDB计算集群123456调度层调度层服务发现和监控负载均衡 无状态服务层无状态服务层服务层由一组服务节点组成，每个服务节点其实是无状态的服务进程，负责接收和处理计算集群的元数据请求；元数据元数据持久持久层层 元数据持久化存储服务，存储数据字典、统计信息、表到对象映射等龙趺MPP DB元数据服务 全球敏捷运维峰会 广州站计算集群-1计算集群-2计算集群-n元数据集群共享存储（对象存储）用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对象存储 n资源灵活分配资源灵活分配按需

6、创建、删除、扩缩容集群间资源完全隔离作业可在不同集群建灵活调配并发能力线性扩展缓存服务缓存服务本地SSD作为缓存介质小文件合并龙趺MPP DB计算集群 全球敏捷运维峰会 广州站计算集群-1计算集群-2计算集群-n元数据集群共享存储（对象存储）用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对象存储 n龙趺MPP DB共享存储使用对象存储作为数据持久化存储使用对象存储作为数据持久化存储支持100亿文件对象，200PB以上的压缩数据使用标准Restful API，支持高并发访问99.99%以上的可用性99.999999999%以上的数据持久性存储访问优化存

7、储访问优化多桶存储列存+压缩 全球敏捷运维峰会 广州站计算计算计算计算计算计算计算计算存储存储存储存储存储存储存储存储集群1集群2集群3集群N计算计算计算计算计算计算计算计算共享存储数据复制数据复制集群1集群2集群3集群N应用1应用2应用3应用N智能调度应用1应用2应用3应用N传统MPP应用解决方案龙趺MPP DB应用解决方案传统传统MPP龙趺龙趺MPP DB数据复数据复制制大量集群间数据复制数据共享，无需作业动作业动态调度态调度每个集群运行作业基本固定，无法动态调整作业可以根据负载需求，在不同集群间动态调整数据冗数据冗余余大量冗余数据无数据冗余龙趺MPP DB应用解决方案 全球敏捷运维峰会

8、广州站COSSeg2Seg1Master元数据集群计算集群Seg3Seg4Seg2Seg1Master计算集群Seg3Seg4Seg5Seg6Seg2Seg1Master计算集群Seg3Seg4Seg2Seg1Master计算集群Seg3Seg4Seg2Seg1Master新计算集群Seg3Seg4动态扩容动态缩容快速升级Seg2Seg1Master计算集群Seg3Seg4Seg4故障快速隔离恢复u数据分布：一致性hash的分布方式，避免数据大量重新逻辑分组u独立的元数据共享存储服务，计算节点无状态，随时可增加和减或少，也避免了数据重新物理分布Seg7Seg8龙趺MPP DB运维解决方案 全球

9、敏捷运维峰会 广州站过去一年，建行龙趺MPP DB集群的服务器规模增加了50倍，数据量增加了45倍25600020004000600080000000400005000060000700008000090000100000龙趺MPP DB规模服务器数量数据量龙趺MPP DB应用增长规模 全球敏捷运维峰会 广州站u每天百亿级别的元数据RPC请求如何稳定保障u银行级别的高可用要求如何保障u超大规模的集群如何高效运行维护u对象存储海量的数据存取需求如何高效满足服务拆分、分布式扩展等分片、多桶、多线程，共享缓存等故障自愈、全流程监控、自

10、动化工具跨AZ/Region部署、多活、在线备份等龙趺MPP DB遇到的问题 全球敏捷运维峰会 广州站元数据服务数据字典服务1事务服务1锁服务1文件映射服务1数据字典服务2数据字典服务2数据字典服务3事务服务2事务服务2数据字典服务3数据字典服务4根据服务类型及负载需求，对元数据服务进拆分和分布式改造，提高服务和高可用能力龙趺MPP DB元数据服务提升单节点服务向分布式服务改造 全球敏捷运维峰会 广州站Bucket1Bucket2Bucket3Bucket4Bucket5Bucket6Bucket7Bucket8Bucket9TableSpace1TableSpace2TableSpace3共

11、享存储共享存储应用1应用2应用3通过统一缓存服务，实现IO加速；减少对象存储压力每个应用创建独立的tablespace，每个tablespace根据需求创建若干个bucket通过tablespace实现共享存储IO能力隔离和流量控制龙趺MPP DB存储服务提升统一缓存服务 全球敏捷运维峰会 广州站龙趺MPP DB自动化监控和运维监控信息获取服务是否存活RPC分类统计RPC分集群统计磁盘空间使用进程数、线程数SQL运行数、报错数等CPUIO、IOPS内存（虚拟、物理等）连接数、运行数作业运行数、连接数性能是否正常负载是否倾斜统计信息和运行状态集成关键作业完成异常低/高负载高连接低负载异常报错历史

12、值对比偏离趋势轨迹资源是否充足长SQLSQL分类统计故障辅助定位表访问统计字段访问统计膨胀统计倾斜统计智能资源调度作业、SQL、存储全流程数据收集数据聚合分析智能运维 全球敏捷运维峰会 广州站龙趺MPP DB自动化监控和运维 全球敏捷运维峰会 广州站数据库服务集群级别整体故障数据丢失/误删除等AZ级别服务故障跨AZ部署数据备份双活部署龙趺MPP DB高可用提升通过跨AZ部署、备份、双活等方式，进一步解决集群故障、AZ故障、数据丢失等问题 全球敏捷运维峰会 广州站架构设计和产品开发需求分析和产品设计应用开发和上线运行运行跟踪和运维优化过去几年，我们完成了无数次的版本迭代和上线优化。一款数据库产品的成熟发展，需要产品、架构、研发、运维、应用等许许多多人的长期合作和投入。在龙趺MPP DB上，我们：集合了大批建信金科和业界优秀的研发人员；提供了业界最复杂、最丰富、负载最高的应用场景；拥有建行二十几年的数据仓库使用和运维经验，能够最快的发现产品痛点，提出最贴合用户需求的产品设计。总结 全球敏捷运维峰会 广州站建设银行银保监龙趺MPP DB进出口银行国家开发银行恒丰银行云南政务云南农信持续开拓中坚持产品研发投入、持续拓展用户、丰富产品生态，打造更为先进、安全的数据仓库产品！总结 全球敏捷运维峰会 广州站THANK YOU！