1、概述DDS 的产品优势MongoDB3种架构高可用高可靠高安全管理、监控100%兼容 MongoDB-具备无需业务改造，直接迁移上云的能力-支持社区3.4/4.0版本集群、副本集、单节点-集群：nTB存储、在线扩容-副本集：2TB存储，3副本-单节点：高性价比架构高可用、跨AZ部署-支持副本集，Shard高可用架构（集群）-副本集多节点（三、五、七）-集群、副本集支持跨AZ部署自动/手动备份，数据恢复-每天自动备份，保留 732 天-手动备份，永久保存-备份恢复-具备多层安全防护-网络：VPC 网络隔离-传输：SSL 安全连接-访问：安全组出、入限制-可视化监控：CPU、内存、IO、网络等-实

2、例一键扩容、规格变更-错误日志、慢日志管理-参数组配置DDS服务部署形态单节点（Single）1.超低成本，仅需支付一个节点的费用；2.支持10GB-1000GB 的数据存储；3.较副本集/集群可用性不高：当节点故障，业务不可用；适用场景非核心数据存储学习实践；测试环境的业务；架构特点DDS部署形态副本集（Replica Set）1.三节点高可用架构：当主节点故障时，系统自动选出新的主节点2.支持10GB-3000GB 数据存储；3.具备扩展到5节点，7节点副本集的能力。架构特点适用场景有高可用需求，数据存储解析-整合：从磁盘读取日志数据，解析日志中有效变化记录，并按原库发生的先后顺序整合成事

3、务THL落盘文件：整合后的数据被转换为DRS内部存储格式，并写入磁盘读取-过滤-转换：读取THL文件数据，并对数据进行过滤和转换，形成目标库可应用的数据。并行分析：评估各记录之间的依赖关系，生产可并行回放的数据队列回放：多线程并发的将数据写入到目标库目录 DDS简介 DDS（文档数据库）灾备技术原理 原生Change Streams分析 DDS对于Change Streams的优化 总结Change Streams可以直译为变更流，也就是说会将数据库中的所有变更以流式的方式呈现出来。用户可以很方便地对数据库建立一个监听（订阅）进程，一旦数据库发生变更，使用change stream的客户端都可

4、以收到相应的通知。使用场景可以包括但不限于以下几种：1）多个MongoDB集群之间的增量数据同步；2）高风险操作的审计（删库删表）；3）将MongoDB的变更订阅到其他关联系统实现离线分析/计算等等原生Change Streams分析-1什么是Change Streams集群场景下，灾备实例之间的日志拉取依靠Change Steams完成1 客户端向MongoS发起了一个Aggregate命令,把该命令发给对应的Shard节点,同时服务端向客户端返回一个游标。2 ShardServer端收到Aggregate命令后，扫描oplog集合，读取数据并返回给Mongos.3 客户端通过Mongos节

5、点拿到游标ID,在该游标上不断的执行getMore请求，来获取整个集群的oplog（操作日志）信息。原生Change Streams分析-21 事件拉取性能有待提升：如之前分析，当前的Change Streams请求发到Mongos节点后，通过单线程的方式向每个Shard节点发送异步请求命令来完成数据的拉取，并做数据归并，如果将该方式替换为多线程并发拉取，对于分片表来说，性能会有提升。2 支持DDL事件不完善，对于集合和DB删除事件导致事件监听中断，需要重新开始。Change Stream目前支持的事件如下：Insert Event：数据插入Update Event：数据更新Replace E

6、vent：数据替换Delete Event：删除数据Drop Event：删除集合Rename Event：重命名集合DropDatabase Event：删除DB invalidate Event:非法事件原生Change Streams分析-3目录 DDS简介 DDS（文档数据库）灾备技术原理 原生Change Streams分析 DDS对于Change Streams的优化 总结Change Streams Buffer:与Shard是一对一的关系。每个Change Streams Buffer 默认1GB，在Buffer满之前，该Buffer无条件的向对应的Shard(secondar

7、y节点)拉取Change Streams数据Merged QueueMerged Queue是一个内存队列，是Change Streams Buffer的消费者，是 Bucket的生产者。Merged Queue 归并所有Shard的Change Streams Buffer，并等待合适的时机按照规则放入对应Client的Bucket。BucketBucket 是一个内存队列，是MergedQueue的消费者，是Client的生产者。每个Client对应一个Bucket。每个Bucket维护该Bucket内所有文档的的集合。Merged Queue 与Bucket的交互过程Merged Que

8、ue不停的从头部拿出尽可能多的数据，并从前往后的按照hash(document.ns)%n的规则放入对应的Bucket,document.ns是指这个文档的NameSpace，所以同一个集合的数据一定在一个Bucket里面。并发Change Streams架构并发Change Stream除了支持原生的Change Stream外，还新增支持如下事件：CreateCollection Event：创建集合CollMod Event：修改集合属性CreateIndex Event：创建索引Drop Index Event：删除索引CreateView Event：创建视图DropView Eve

9、nt：删除视图ShardCollection Event：对集合分片DDL事件的增强目录 DDS简介 DDS（文档数据库）灾备技术原理 原生Change Streams分析 DDS对于Change Streams的优化 总结DRS灾备与Mongoshake灾备的对比华为云DRS灾备Mongoshake倒换方式一键倒换手动配置参数倒换倒换位点不需要指定增量位点手动配置位点数据一致性平台展示，可以进行对象、行数、内容三种对比粒度，内容对比可以展示所有不一致数据脚本对比，有对象、行数和抽样内容，抽样内容无法展示所有不一致数据，可能会漏掉不一致数据同步进度平台展示时延监控，时延为0代表追平，可设置阈值

10、告警，随时关注灾备状态api调用，参数多且繁杂，对比位点是否相同来判断是否追平主键_id支持支持所有类型_id混合且不影响并发源库集合只支持单一类型_id断点续传全量、增量都可以断点续传增量断点续传项目投入极小人力成本，不需要客户申请部署ecs，创建DRS灾备任务即可完成灾备前期基础设施部署和网络需要人力成本使用华为云DRS做灾备的优势华为云DDS社区版MongoDBChangeStream内DDL操作支持丰富的DDL：CollMod/CreateIndex/DropIndex/CreateView/DropView,ChangeStream将对应的Oplog封装成事件，解决DDL操作不全的问

11、题DDL操作不完全，缺少对ShardCollection/CollMod/CreateIndex/DropIndex/CreateView/DropView的支持对于集合删除，数据库删除事件，日志拉取不中断碰到集合删除和数据库删除事件会导致Change Streams中断，需要重新开始监听华为云DDS对社区版的优势华为云DDS社区版MongoDB性能单个ChangeStream能被多个客户端消费客户端只能单线程拉取数据(单线程意味着CPU最高到100%，对于大表容易追不上)mongos上load数据和客户端消费数据独立，各自streaming处理客户端拉取数据时，数据在mongos上并未准备好(因为没有预读)，要当场从mongod上查ops50000左右10000左右华为云DDS对社区版的优势