1、分贝通大数据体系建设经验分享吴荣彬 分贝通大数据负责人|01公司介绍公司介绍分贝通的业务模式02大数据建设背景大数据建设背景大数据建设的业务需求和技术需求03大数据建设方案大数据建设方案分贝通大数据建设思路及现状04大数据应用场景大数据应用场景大数据如何赋能业务场景案例目录目录CONTENT|公司介绍分贝通公司的业务模式01|公司介绍FBT Introduction|l成立于2016年3月，用一个账户管理企业的全部费用支出，是整合“软件+支付”的下一代企业支出管理平台；l支持App付、虚拟卡付、网银付三种企业支付方式，覆盖商旅用餐、办公采购、补助福利、备用金、员工报销和对公付款6大企业支出场景

2、；l2022年2月融资1.4亿美金，累计融资规模超20亿RMB，目前估值10+亿美金；l有员工近1000人，总部在北京，在上海、广州、深圳、杭州、成都设立分支机构，服务了数千家的中小型企业客户。大数据建设背景大数据建设的业务需求和技术需求02|建设背景Bigdata Construction Background1.认知2.教育3.选择4.交付5.使用6.增购业务部门（销售/渠道/市场/客户成功）精准营销优质线索获取线索动态评分线索分簇群打法线索转化看板运产部门（商城/商旅/费控/支付）职能部门（产研/人力/财务）埋点数据需求个性化搜索推荐客户档案财务报表分析员工之声-VOE产品体验智能化运营

3、智能商旅运营指标看板客户的使用场景（Use Case）客户之声-CEM/VOC客户流失预警客户健康度衡量Call To Action客户旅程技术选型Technology Selection|业务考虑点团队初步建立，人手比较匮乏，因此要求整个架构要易于运维管理，功能性尽可能统一，有更多的精力和时间在业务思考和数据赋能的应用上业务发展相对成熟，现阶段对数据的需求普遍比较紧急，需要快速拿到结果 技术考虑点业务数据全部上云，数据传输便利性业务来源表数上千张，数据量在TB级别（中等规模），实时性要求不高方案成本性能易用性扩展性安全性可靠性MC+Flink+Holo高（按量付费）高（阿里自研）高（开箱即用

4、）高（弹性）高（多租户隔离）高（阿里自研）EMR中（按量付费）中（开源优化）中（可配置）中（弹性）中（多租户隔离）中（专业兼容性测试）自建Hadoop集群低（固定成本）低（纯开源）低（部署复杂）低（固定）低（自建）低（版本兼容性验证，BUG修复等）优优优优优优大数据建设方案分贝通大数据建设思路及现状03|分贝通大数据体系架构FBT Bigdata Framework|1.多源数据对接2.数据清洗（数据标准化，OneID，异常数据清洗）7.数据即服务5.数据分析6.数据可视化8.数据应用3.数据存储和计算（离线+实时）作业调度pipeline数据安全数据运维数据权限4.数据仓库建设商旅用餐业务大

5、类办公采购补助福利.数据域订单域客户域营销域.指标体系经分类运营类营销类.数据集市财务主题运营主题市场主题.标签系统、数据挖掘数据BI看板、实时大屏数据服务、模型服务组 织数据架构组上线评审委员会流 程需求评审流程设计评审流程数据上线流程故障处理流程规 范数据埋点规范需求管理规范数据建模规范质量管理规范数据建模Data Modeling|数仓规划业务大类设计数据域&业务过程设计原子&派生指标定义维度建模模型发布技术架构Technical Framework|业务系统元数据元数据元数据业务库业务日志实时同步离线同步ODSDWDDWS/TDMAPP明细数据加工汇总数据加工应用数据加工离线计算链路(

6、MaxCompute)实时计算链路(Flink)数据应用链路明细数据加工汇总数据加工HologresES数据服务明细指标特征标签DataHubHologresMySQL数据地图数据安全数据治理数据建模.数据采集链路BI看板数据应用Dataworks数据集成Dataworks开发和治理机器学习流程-Batch ModeMachine Learning Pipeline of Batch Mode|Dataworks数据集成服务业务数据(MySQL)样本数据处理&特征工程（Maxcompute）模型开发&训练(PAI-DSW&PAI-DLC)Web Service模型在线服务(PAI-EAS)OD

7、PS:Table样本持久化样本读取模型评估&离线预测(PAI-Designer)模型输出模型加载用户请求OSS模型持久化数据同步Batch Mode适用于对模型更新要求不高的场景目前正在应用于分贝通房型聚合、VOC&VOE文本挖掘等建模场景数据回流机器学习流程-Streaming Mode Machine Learning Pipeline of Streaming Mode|Dataworks数据集成服务Web Service模型在线服务(PAI-EAS)OSS模型持久化Streaming Mode适用于对模型更新实时性要求比较高的场景目前正在应用于分贝通酒店机票搜索、推荐等建模场景数据处理

8、&特征工程(Flink)样本采集(Kafka)模型转换(PAI-DSW)模型评估(PAI-DSW)模型发现&替换(PAI-EAS)用户请求模型训练(PAI-DLC)大数据应用场景大数据如何赋能业务场景案例04|大数据应用场景（一）-CDPBigdata Application Case|1.打通公域/私域数据2.构建全面的客户数据（CDP）3.实现精细化运营/营销内部系统CRMCall CenterCSMSCRM自有触点官网小程序钉钉生态APP三方触点线下广告社交媒体营销活动SEM统一ID基础信息标签信息优惠券线下活动拉新裂变簇群营销智能触发智能路由全周期关怀客户旅程画布微信生态EDM/SMS

9、定向广告用户互动APP/H5/Web微信生态钉钉生态渠道到达簇群选择回流监控渠道评估广告投放个性化推荐个性化触点智能素材生成内容推荐簇群管理簇群生成簇群计算簇群分析数据闭环基础标签规则标签挖掘标签静态信息半动态信息行为信息ID Mapping统一客户标识统一用户标识大数据应用场景（二）-CEM/VOCBigdata Application Case|收集客户/用户反馈收集公司内外部客户/用户反馈数据，目前以内部系统数据为主，主要包括：客服投诉、工单、CRM、CSM交付群、用户订单反馈、用户调研报告等数据。包括结构化数据和非结构化数据（如语音、文本），其中后者占多数。通过AI手段降低人工成本通过

10、ASR、NLP、规则引擎、搜索引擎等AI手段可以快速支持上述客户反馈问题的情感分类、文本分类、关键词提取等，判断是否是真正的VOC，以及VOC反馈的是公司产品/服务里哪个环节的问题，甚至可以判断问题的严重程度。执行与问题解决构建基于客户旅程的指标检测模型，构建CEM指数，监测全视角的客户旅程，对每个部门、每个环节、每件事情进行评分，衡量各部门、各环节的表现；同时为一线产品经理、客服人员、运营人员、市场、品牌、舆情提供自动化分析工具，输出报表与分析报告，建立问题发现机制，定位/跟进/解决问题。4.32.53.54.55.56.57.36.88.47.79.18.8客户CEM分趋势产品洞察服务洞察

11、市场洞察品牌洞察客户洞察用户洞察企业数字化转型：ToB vs ToCEnterprise Digital Tranformation Difference|ToBToC 用户群体 购买人和使用人不一致 用户粘性相对高，一般按年签约 具备很强的专业性，针对不同角色，数字化系统的需求是不一样的；不同的行业，甚至不同的企业，即使岗位相似，需求也是不一样的 采购决策人即用户 用户粘性相对低 用户群体是“公众”，用户对系统需求的共性非常大只是对于不同的用户，会有千人千面的感觉应用场景 场景非常丰富，但每个公司只能解决客户某个场景问题，无法覆盖所有场景 满足日常某一类的需求，比如购物、新闻、短视频、衣食住

12、行等方面的需求业务流程 业务流程长，环节众多，通常需要申请、审批、交易、结算等环节 流程较短，相对比较简单技术特点数据量级相对小（TB级别）业务相对复杂，数据建模能力要求高单个作业处理时间短，容错恢复能力强技术框架选型前期要求低，可以快速试错和迭代海量数据（PB，甚至EB级别）业务相对简单，数据建模能力要求低单个作业处理时间长，对作业优化能力要求高前期技术框架选型非常重要，升级迭代成本高昂未来展望Future work|业务层面识别公司内部更多的业务数字化转型场景，推进产品化/平台化深化业务BP机制，从报表体系支撑逐步发展为报告、智能化产品支撑智能差旅方面，探索更智能的用户体验.技术层面实时计算体系和HTAP架构的深度探索湖仓一体化，解决非结构化数据的存储、计算、分析效率问题批流一体化探索，统一数仓架构.非常感谢您的观看|