1、林佳/网易互娱技术中心计费实时业务技术负责人Apache Flink Contributor网易游戏基于网易游戏基于FlinkFlink的支付环境全关联分析实践的支付环境全关联分析实践Practice of Analyzing Heterogeneous Data From Pay Environment based on Flink in NetEase Game基础设施&数据业务游戏游戏氪金！#1#1从一次从一次APPAPP内购买支付聊起内购买支付聊起一次一次AppApp内购买内购买客户端渠道计费中心游戏服一次一次AppApp内购买内购买客户端渠道计费中心游戏服一次一次AppApp内购买内

2、购买客户端渠道计费中心游戏服一次一次AppApp内购买内购买客户端渠道计费中心游戏服一次一次AppApp内购买内购买客户端渠道计费中心游戏服来源、结构、时间步调都不一样！一次一次AppApp内购买内购买客户端渠道计费中心游戏服网关网关日志数据库运行时指标日志数据库运行时指标支付数据特性支付数据特性数据持续而大量产生数据与数据间存在会话关联关系数据来源的异构数据结构的异构数据时间步调的不一致原有的体系下的解决方法原有的体系下的解决方法数据持续而大量产生数据与数据间存在会话关联关系数据来源的异构数据结构的异构数据时间步调的不一致ELK体系持续采集T+1 全量离线分析网盘同步/rsync/接口推送/

3、多以业务特制脚本处理各种数据的ETLT+1 Spark离线处理原有的体系下的问题原有的体系下的问题技术使用资源方式粗糙离线任务资源常挤兑或空置组件繁多技术栈割裂定制代码多公共逻辑复用度低下时效性低问题暴露与处理被动作业配置方式各不相同业务资源原有的体系下的问题原有的体系下的问题代码能效较低数据与人力能效较低机器资源能效较低技术使用资源方式粗糙离线任务资源常挤兑或空置组件繁多技术栈割裂定制代码多公共逻辑复用度低下时效性低问题暴露与处理被动作业配置方式各不相同业务资源离线计算的资源能效离线计算的资源能效07.51522.53037.512:0015:0018:0021:0024:0003:0006

4、:0009:00机器数量空闲机器占用机器处理数据处理数据：最少机器数量最少机器数量：结果结果交付交付9 9时时近近100T100T3030如果可以实时如果可以实时07.51522.53037.512:0015:0018:0021:0024:0003:0006:0009:00机器数量空闲机器占用机器最少机器数量最少机器数量：结果交结果交付付实时实时5 5处理数据处理数据：近近100T100T用更少的资源算更多的数据能更早的交付如何实时化以提升能效？Flink选择Flink数据持续而大量产生数据与数据间存在会话关联关系数据来源的异构数据结构的异构数据时间步调的不一致高效率实时消费处理窗口计算丰富的

5、已有连接器、易于自定义的接口丰富的API进行便捷转化业务事件时间+延迟处理+水位机制调研结论调研结论#2 2实时实时SDKSDK与平台化的双线发展与平台化的双线发展实时业务架构的双线发展实时业务架构的双线发展JFlink实时业务架构的双线发展实时业务架构的双线发展可用 作业配置化 统一非结构化数据处理引擎 JavaScript Embedded RDB Source/Sink，ES Source，gRPC Sink 实用 RDB Async Join/Redis Join etc.动态配置和动态流控 异构数据和异构时间步调Join 对通数据地图，统一异构数据访问 爱用 全异构数据即席查询 配置

6、 from Flink SQL 大批数据计算效率对齐已有离线方式 可用 基于YARN的Flink Cluster作业管理 作业配置的版本化管理 统一非结构化数据描述界面和配置生成器 运行日志和指标查询 实用 全面K8S独立集群化、多租户支持 基于K8S的作业精细化资源调配 作业全生命周期管理 风险分析与监控 爱用 交互式全异构数据SQL即席查询 交互式数据血缘 交互式复杂关联作业配置 运维平台化开发SDK化200020202020222SDKSDK让每一个实时作业都基于相同的配置语义SDKSDK模块化+配置化封装内置或拓展的Co

7、nnector封装异构数据转化为SDK统一处理语义的流转对象封装各种处理流转对象的函数提供一个统一的配置文法，以注入这些封装模块的配置，并构成DAGSDKSDK与配置文法与配置文法模块化+配置化【从哪来、到哪去】封装内置或拓展的Connector【是什么】封装异构数据转化为SDK统一处理语义的流转对象【怎么变化】封装各种处理流转对象的函数提供一个统一的配置文法，以注入这些封装模块的配置，并构成DAGConnector(Source)UDF1UDF2Connector(Sink)RoamMessageSDKSDK与配置文法与配置文法SDKSDK与配置文法与配置文法KafkaSourceWindo

8、wAggregate UDFTiDBSinkJsonViewMessageJsonViewMessageSDKSDK与配置文法与配置文法KafkaSourceWindowAggregate UDFTiDBSinkJsonViewMessageJsonViewMessageSDKSDK与配置文法与配置文法即便DAG复杂如斯，亦是通过配置文法生成让代码模块复用成为日常功能模块化功能模块化让每个人理解每一个作业作业配置化作业配置化让异构数据能为每种模块处理数据视图化数据视图化让历史离线作业过渡上Flink流批一体化流批一体化SDKSDK与配置文法与配置文法一站式平台化一站式平台化JFlink Web

9、配置与调度中心数据地图日志中心监控中心JFlink Service NodesJFlink Jar RepositoryFlink on KubernetesJFlink-SDKBusinessJarsFlink JM PodFlink TM PodsFlinkMini ClusterNamespacesK8S组件NEXUSZooKeeperKubernetesHDFS一站式平台化一站式平台化JFlink Web配置与调度中心数据地图日志中心监控中心JFlink Service NodesJFlink Jar RepositoryFlink on KubernetesJFlink-SDKBus

10、inessJarsFlink JM PodFlink TM PodsFlinkMini ClusterNamespacesK8S组件NEXUSZooKeeperKubernetesHDFS一站式平台化一站式平台化JFlink Web配置与调度中心数据地图日志中心监控中心JFlink Service NodesJFlink Jar RepositoryFlink on KubernetesJFlink-SDKBusinessJarsFlink JM PodFlink TM PodsFlinkMini ClusterNamespacesK8S组件NEXUSZooKeeperKubernetesHD

11、FS一站式平台化一站式平台化JFlink Web配置与调度中心数据地图日志中心监控中心JFlink Service NodesJFlink Jar RepositoryFlink on KubernetesJFlink-SDKBusinessJarsFlink JM PodFlink TM PodsFlinkMini ClusterNamespacesK8S组件NEXUSZooKeeperKubernetesHDFS一站式平台化一站式平台化JFlink Web配置与调度中心数据地图日志中心监控中心JFlink Service NodesJFlink Jar RepositoryFlink on

12、 KubernetesJFlink-SDKBusinessJarsFlink JM PodFlink TM PodsFlinkMini ClusterNamespacesK8S组件NEXUSZooKeeperKubernetesHDFS一站式平台化一站式平台化一站式平台化一站式平台化一站式平台化一站式平台化作业批量启停、定时保存点一应俱全全生命周期一站式管理124653多租户权限控制与程序包版本管理租户业务细分的版本控制启动即自动接入平台所有运维配套设施自动接入日志/监控/告警体系每个作业运行在适合自身资源和配置需求的独占式微集群上K8S独立集群基于SDK统一配置文法的友好交互可视化作业配置自

13、动分析作业历史执行情况和异常风险控制#3 3走向实时全关联走向实时全关联支付环境下的业务实时化支付环境下的业务实时化日志分析监控通用数据ETL全链路监控用户画像支付环境关联分析支付环境下的业务实时化支付环境下的业务实时化日志分析监控通用数据ETL全链路监控用户画像支付环境关联分析从点到线到面，实时关联所有支付环境数据支付环境下的业务实时化支付环境下的业务实时化日志分析监控客户端渠道计费中心游戏服2018年初支付环境下的业务实时化支付环境下的业务实时化日志分析监控ts:“2021-05-01 00:00:00.123,uid:1000,item:A,count:1_ts:2021-05-01T0

14、0:00:23+0800,uid:1000,item:A,count:2ts=2021-05-01%2000:00:45&account_id=1001&buy_item=B&buy_count=10ts:2021-05-01 00:00:58,account_id:1002,buy_item:B,buy_count:5?ts=2021-05-01%2000:01:12u0026account_id=1002u0026buy_item=Au0026buy_count=7ts:2021-05-01 00:01:18,account_id:1000,buy_item:A,buy_count:5ts

15、:2021-04-28T08:23:18Z,uid:1050,buy_item:A,buy_count:12JsonViewMessage event_ts:2021-05-01T00:00:23+0800,uid:1000,item:A,count:2支付环境下的业务实时化支付环境下的业务实时化日志分析监控Parse将非结构日志转结构数据Aggregate按规则窗口聚合计算指标ES-TSDB Sink按异构数仓格式存储JsonView MsgJFlink-SDKJFlink Mini Cluster on KubernetesJsonView Msg支付环境下的业务实时化支付环境下的业务实时

16、化日志分析监控点：接口访问量/时延/返回码/在线分布支付环境下的业务实时化支付环境下的业务实时化日志分析监控点：接口访问量/时延/返回码/在线分布降低监控发现延迟提升监控发现率支付环境下的业务实时化支付环境下的业务实时化通用数据ETL2018-2019Parse将非结构日志转结构数据JavaScript高自由度的ETL逻辑DataPoint Sink按异构数仓格式存储JsonView MsgJFlink-SDKJFlink Mini Cluster on KubernetesJsonView Msg支付环境下的业务实时化支付环境下的业务实时化通用数据ETLParse异构数据转统一流转对象Jav

17、aScript高自由度的ETL逻辑DataPoint Sink按异构数仓格式存储JsonView MsgJFlink-SDKJFlink Mini Cluster on KubernetesJsonView Msg支付环境下的业务实时化支付环境下的业务实时化通用数据ETL支付环境下的业务实时化支付环境下的业务实时化日志分析监控通用数据ETL点：支付环境中每个接口、每条日志、每行数据库记录支撑实时聚合/入库/监控/反查业务30000000000/d支付环境下的业务实时化支付环境下的业务实时化全链路监控2019年起点 关联为 线？支付环境下的业务实时化支付环境下的业务实时化全链路监控渠道计费中心游

18、戏服网关网关日志日志日志日志支付环境下的业务实时化支付环境下的业务实时化全链路监控client_startchannel_payfee_checkgame_shipfee_finishclient_gain客户端日志渠道日志计费日志游戏服日志网关日志nginx_access支付环境下的业务实时化支付环境下的业务实时化全链路监控Keyed Stream+Session Window?支付环境下的业务实时化支付环境下的业务实时化全链路监控Trackeron FlinkLog Linking ModelServiceParameter UpdateGraph DB/RDBDynamic LoadDa

19、ilySpark Job支付环境下的业务实时化支付环境下的业务实时化全链路监控Trackeron FlinkServiceParameter UpdateGraph DB/RDBDynamic LoadDailySpark JobLambda ArchitectureLog Linking Model支付环境下的业务实时化支付环境下的业务实时化全链路监控支付环境下的业务实时化支付环境下的业务实时化用户画像2020年起聚线成面，进一步挖掘实时数据的价值支付环境下的业务实时化支付环境下的业务实时化用户画像2020年起User profile on Flink实时的道具购买情况实时的支付充值偏好实时

20、的购买页停留趋势实时的用户特征分群实时的历史充值情况T+1 报表形式支付环境下的业务实时化支付环境下的业务实时化用户画像2020年起User profile on Flink实时的道具购买情况实时的支付充值偏好实时的购买页停留趋势实时的用户特征分群实时的历史充值情况礼包推荐精细化运营福利礼品发放营收分析与预测提升收益支付环境下的业务实时化支付环境下的业务实时化用户画像异构源日志 统一流转对象SDK UDFs基于SDK的实时处理DataPoint Sink(TiDB)按异构数仓格式存储JsonView MsgJFlink-SDKJFlink Mini Cluster on KubernetesJ

21、sonView MsgFS+SDK Parser:日志 统一流转对象MQ+SDK Parser:记录行 统一流转对象CDC/RDB Source:支付环境下的业务实时化支付环境下的业务实时化用户画像RedisTiDBSDKAsync RedisJoin UDFSDKAsync RDBJoin UDF-用户ID-消费道具包ID-消费时间-用户ID-消费道具包ID-消费时间-道具包金额-道具包明细项目-SDKAggregator/ML UDFsAsync IOFeature与维度表关联-用户ID-消费道具包ID-消费时间-道具包金额-道具包明细项目-用户名-是否成年玩家-历史充值总额-是否回流-进

22、一步产生微观数据/宏观报表支付环境下的业务实时化支付环境下的业务实时化用户画像玩家角色级别的微观指标查询宏观级别的报表查询支付环境下的业务实时化支付环境下的业务实时化用户画像支付环境下的业务实时化支付环境下的业务实时化支付环境关联分析2021年起一套完整的上下文有关实时分析解决方案支付环境下的业务实时化支付环境下的业务实时化支付环境关联分析JFlink-SDKSDK MQSourceParser ETLAssignTime&WatermarkContextLinkingSDK CDCSourceJS ETLAssignTime&WatermarkContextLinkingContextInt

23、erval Join表数据日志数据支付环境下的业务实时化支付环境下的业务实时化支付环境关联分析ContextLinkingContextLinking预下单记录付款记录开始支付下单完成下单失败发货完毕基于SDK的关联拓扑配置支付环境下的业务实时化支付环境下的业务实时化支付环境关联分析ContextInterval Join预下单记录付款记录开始支付下单完成下单失败发货完毕99.9%99.8%100%99.9%30%基于SDK的关联结果合并配置支付环境下的业务实时化支付环境下的业务实时化支付环境关联分析ContextInterval Join预下单记录付款记录开始支付下单完成下单失败发货完毕99.9%99.8%100%99.9%30%发货服务异常？支付环境下的业务实时化支付环境下的业务实时化支付环境关联分析基于Flink的支付环境全关联分析实践JFlink-SDKSQL支持多租户K8S独立Flink集群一站式作业管理平台自动接入监控数据地图统一配置文法实时日志分析监控通用数据ETL支付全链路质量监控实时用户指标与画像实时支付环境关联分析