1、爱奇艺实时大数据体系的演进 The Evolution of Real-time Bigdata System in IQIYI 叶炜晨 爱奇艺 实时数仓 Realtime Data Warehouse #2 发展背景 Background #1 流数据服务 Stream Data Service #3 实时数据平台 Stream Processing Platform #4 实时大数据应用 Realtime Application #5 未来规划 Future Work #6 发展背景 Background #1 数仓模型 流数据服务数据处理平台 离线数仓 近实时数仓 实时数仓 数据采集实时
2、应用 大数据的来源 User devices Servers DB User-activity Tracking Service log 用户数据收集处理 2016-2017年 通过Flume+grep/awk脚本方式实时采集和清洗过滤 基于两级Kafka的实时ETL 2018-2019年 设置两级Kafka, 通过Flink进行实时ETL解析,清洗和拆分过滤 第一级 Kafka: 实时数据总线,一般是原始 Nginx / Java 日志流 Realtime data bus, the original Nginx / Java log Flink ETL 层: 承担实时 ETL 解析,输出
3、JSON 形态结构化数据(流式表) Real-time ETL, producing structured data in JSON format (stream table) 拉取远程配置,对输出数据进行过滤、清洗、拆分 Filtering, cleaning and splitting data based on the configuration center 第二级 Kafka: 可供业务直接使用的结构化数据流,可直接对接 Flink SQL, Spark SQL,Druid 等等 The structured data stream that can be directly used by Flink SQL, Spark SQL, Druid, etc 两级Kafka生产线模式的主要问题 实时数据重复生产,各业务烟囱式开发 Processing redundant data 数