《1-1 Doris 在蔚来汽车的应用.pdf》由会员分享,可在线阅读,更多相关《1-1 Doris 在蔚来汽车的应用.pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、DORIS在蔚来的应用唐怀东 数据团队负责人|01OLAP在蔚来的发展在蔚来的发展02Doris作为统一作为统一OLAP数仓数仓03Doris在运营平台上的实践在运营平台上的实践04经验总结经验总结目录目录CONTENT|OLAP在蔚来的发展在蔚来的发展01|OLAP在蔚来的发展|2017年引入Druid2019年引入TiDB2021年引入Doris为什么选择Doris|Doris作为统一作为统一OLAP数仓数仓02|统一OLAP数仓|Doris在运营平台上在运营平台上的实践的实践03|Flink Jobs系统信息元信息MysqlDorisTidbSpark Jobs基础标签管理行为标签管理分
2、群管理效果分析营销管理画像管理流量控制运营渠道 1运营渠道 N运营渠道 2.架构图实时离线统一高效圈选高效聚合多表关联联邦查询CDP存储选型的考量点场景场景需求需求Doris功能点功能点实时标签数据的实时更新Routine load离线标签高效的大批量导入Broker load流批统一实时离线数据存储统一Routine load和broker load更新同一张表的不同列离线实时统一场景场景需求需求Doris功能点功能点复杂条件圈选高效的支持多条件圈选SIMD优化高效圈选场景场景需求需求Doris功能点功能点标签值的分布每天都需要更新所有标签的分布值,需要快速高效统计数据分片(Partitio
3、n),减少数据传输和计算存算统一,每个节点先聚合SIMD提速群体的分布同上效果分析的统计值同上高效聚合场景场景需求需求Doris功能点功能点群体的特征分布统计群体在某个特征下的分布多表关联单体的标签展示不同单体的标签多表关联场景场景需求需求Doris功能点功能点效果分析关联任务执行明细Doris数据关联Tidb数据关联外表进行查询人群标签关联行为聚合数据Doris数据关联Elasticsearch数据联邦查询经验经验总结总结04|BitmapES外表分批更新列在线服务经验总结Id全集小于1000万,bitmap聚合和直接使用join,存储和查询效率差别不大Id全集大于5000万,可以考虑bitmap聚合Roaring bitmapBitmap聚合(计算UV场景)不适合聚合查询,会把ES明细全读到doris,然后聚合不合适多表关联,读取大量数据,会引发ES频繁GC适合单表查询,支持下推ES外表如果需要用null替换原来的非null值,则做不到可以将所有null值替换成有意义的默认值,比如unknown聚合模型单独更新某些列,需要使用REPLACE_IF_NOT_NULL分批更新列尽量用另外单独的技术方案提供在线服务同一份数据,同时服务在线离线场景,容易互相影响在线服务非常感谢您的观看|