1、抖音集团面向多样应用场景的数据准备实践演讲人：陈昌源 火山引擎DataWind资深研发工程师2023 抖音集团的数据应用数据准备介绍抖音集团的数据准备实践火山引擎的数据准备抖音集团的数据应用抖音集团的数据规模超过EB级API超过1亿 TPS百万级日均数据处理作业量总数据量业务日常晚高峰埋点流量抖音集团的数据应用架构PortalPortal、账号体系、账号体系、SDK/APISDK/API用户标签用户标签A/BA/B实验实验多类型数据源集成多类型数据源集成数字数字仪表盘仪表盘数仓加速数仓加速体验监体验监控管理控管理数据数据开发开发智能运营智能运营实时计算引擎实时计算引擎离线计算引擎离线计算引擎入
2、口层入口层应用和中台层应用和中台层平台层平台层智能发布智能发布数据数据治理治理智能数据准备智能数据准备AIAI分析分析画像洞察画像洞察大屏大屏移动移动驾驶舱驾驶舱用户关联用户关联数据资数据资产管理产管理行为数据分析行为数据分析全域数据探索分析全域数据探索分析NotebookNotebook数据报告数据报告数据准备介绍数据准备的作用数据源数据建模业务数据用户行为数据人工搜集数据推荐搜索数据竞品数据企业经营数据数据清洗|数据合并|自定义指标可视化配置自定义SQL跨数据源建模自动DDL智能重名行列过滤同步数据依赖数据回溯性能调优认证数据集用户主题活动主题视频主题商品主题供应商主题车主主题企业一方数据
3、Do行为信息合作方数据公众号数据客服数据媒体数据垂直APP数据数据市场可视化建模内置轻量级数据清洗及可视化模型，拖拽式产品化配置，产品化管理，迭代快速，降低深度数据治理成本。Who用户信息Buy交易信息数据接入数据加工/分析/挖掘CRM、ERP、交易系统数据清洗筛选连接聚合合并过滤转置自定义SQL内置函数构建模型判别预测分类聚类回归机器学习统计学模型&数据准备的组成数据准备的组成建模子系统执行子系统抖音集团的数据准备实践数字魔方-通过模块组合满足多样场景BI 场景，全员都能探索数据接入+建模+数据集某商城订单数据（API）APP订单数据（Oracle）订单汇总数据（HIVE）用户收藏记录（HI
4、VE）用户下单转化（OLAP）活动地推数据（CSV）融合层OLAP引擎数据来源订单数据集订单数据集用户信息数据集用户信息数据集金额金额地域地域不同地区用户消不同地区用户消费金额分布费金额分布可探索分析时，直接选择跨数据源建立的数据集中的指标和维度，进行灵活数据分析。可探索分析时，直接选择跨数据源建立的数据集中的指标和维度，进行灵活数据分析。有限资源情况下的任务保障体系任务管控，隔离风险动态调参，节省资源多路分发，提升性能沉淀规则，专业诊断监控大盘，及时告警CDP 场景，打通数据孤岛挖掘客户企业一方数据Do行为信息合作方数据公众号数据客服数据媒体数据垂直APP数据数据市场Who用户信息Buy交易
5、信息数据融合CRM、ERP、交易系统抖店多种数据源类型：系统提供50+种数据连接方式&数据库：离线大数据平台、传统关系型数据库等 API：第三方业务数据、自建业务系统接口 流式数据：用户行为数据、服务埋点数据、业务上报数据等 文本数据：人工维护的线下数据如Excel，CSV，在线文档 更多数据：巨量引擎、巨量千川、抖店、内容平台等数据接入+输出插件式接入架构，满足多样的数据源需求以私有化环境为例系统分建模与接入两块整体系统更新与客户高频接入需求形成矛盾数据库类数据接入形成插件化模式支持数据源仅需更新连接插件与类型插件开放类数据接入在云端维护唯一取数服务私部系统通过动态配置完成增量更新自定义场景，构建自己的数据应用接入+数据集+输出数据整合效果呈现客户端数据服务端数据业务系统数据三方数据行为数据API 查询自定义输出Webhook推送数据驱动精细化运营闭环数据接入可视化建模数据连接ID图谱构建元数据管理智能取数数字魔方-通过模块组合满足多样场景BI 场景实践CDP 场景实践自定义 场景实践火山引擎的数据准备火山引擎的数据准备该能力目前主要为火山引擎数智平台SaaS层产品提供服务欢迎联系我们感谢您的观看演讲人：陈昌源 火山引擎DataWind资深研发工程师
sgpjbg002
工作日 8:30 - 17:30
报告分类
