1、刘成龙/实时数仓项目负责人FlinkFlink流处理在中信建投证券的实践与应用流处理在中信建投证券的实践与应用蔡跃/金融资讯数据研发工程师中信建投证券介绍2005年成立成立2016年香港联交所上市2018年上交所主板上市上市上市投资银行业务连续8年保持行业前3名托管证券市值4.31万亿元，位居行业第2名主要经营指标目前均位居行业前10名发展发展中信建投证券中信建投证券 FlinkFlink 架构架构#1#1FlinkFlink 流处理场景流处理场景#2#2金融资讯实时化改造金融资讯实时化改造#3#3未来展望未来展望#4#4#1#1中信建投证券中信建投证券FlinkFlink架构架构中台架构-实

2、时开发Flink实时流处理架构#2 2FlinkFlink流处理场景流处理场景Flink流处理场景零售业务零售业务基金投顾基金投顾实时实时ETLETL零售业务基金投顾实时指标统计场外交易数据Flink计算引擎维表数据数据服务系统批处理数据校准CRM系统BI系统报表系统定时启停节约资源实时ETL-资金流水交易数据Flink计算引擎数据服务系统批处理数据校准台账系统定时启停节约资源#3 3金融资讯实时化改造金融资讯实时化改造蔡跃 中信建投证券 金融资讯中心资讯不仅有“资讯”新闻、公告、研报货币、证券市场宏观、行业其他及衍生投行业务企业数据经纪业务蜻蜓点金 APP研究业务投研平台中心库数据服务BA万

3、得同花顺.合规风控风控系统智能投顾融资融券系统黑名单系统投资尽调搜索助手行业数据反洗钱系统数据直发.1.数据服务整体质量2.架构抗风险能力3.数据传输效率4.数据内容准确C中心库Canal处理进程接口蜻蜓点金INFOTAGINFOTAG四大报news格隆汇newsNews详情News基本信息INFOTAGETL缓存穿透接口服务库RedisMySQLOracle标签系统蜻蜓点金APP F10新闻数据中台-Flink维表Flink数据中台多源数据交叉校验多源数据交叉校验#1实时校验窗口：实时校验窗口：消费指标数据，窗口聚合相同key的指标值。在数量、时间维度触发窗口计算。计算结果实时推送。IDID

4、拉齐：拉齐：原始数据对每个金融实体均有内码，首先进行证券编码拉齐 ID-Mapping。指标化：指标化：针对校验点需求，抽象为对应指标，通过Flink SQL编写指标生成逻辑。将多源异构数据结构拉齐。#2#3实时校验窗口Global Windows+Trigger=Customer Window Assigner!#$%&()*+,&*-./0,123$/40#51./0,1+0#&*6.51./0,1/0#+04&)+2&7/08.&2&0#%+9:23)+2&9#2;1#3:*&,+9#&*?*/&99+0,)+2&)+2&*-#%+9:23)+2&9#2;7./0,10&3#+*&)+2

5、&9#2;1#3:*&,+9#&*?*/&99+0,)+2&)+2&*-0&3#+*&)+2&9#2;7/40#:AA-BC7+D1-/40#:,&#-71E**01)*+,&*G&94.#:HG8IJK!I?LGM8N&.9&1F**01)*+,&*G&94.#:HG8N/0?*/&99+0,)+2&+D1-D+*&)+2&9#2;:,&#-7:&O4.9-#+2&771FD+*&)+2&9#2;:.&*-7D+*&)+2&9#2;:AA-#+2&1=1+0#&*6.7#3:*&,+9#&*?*/&99+0,)+2&)+2&*-#+2&1=1+0#&*6.7**01)*+,

6、&*G&94.#:HG8N+D1-0&P1C/0,-#%+9:23)+2&9#2;7:&O4.9-#+2&77F**01)*+,&*G&94.#:HG8IJK!I?LGM8N差异类型债券代码债券市场债券简称WINDWIND数据XQUANTXQUANT数据CHCH数据【简称】差异173890银行间21*10421*10421*10421*104【付息频率】差异2171098银行间21*75M6(半年)Y1(一年)M6(半年)【上市日】差异1689232银行间16*2A32016/11/282016/11/42016/11/28【上市日】差异1789364银行间17*3A22017/12/42017/12/11【担保人】差异133121深交所21*01*公司*公司*公司【是否公开发行】82000965银行间20*ABN001次010#4 4未来展望未来展望开发中的实时场景开发中的实时场景#1风控：风控：l 客户维度：持仓集中度等l 公司维度：融资额度占公司净资本等账户资产：账户资产：l 实时资产持仓l 客户交易盈亏l 交易记录分析营销支持：营销支持：l MOT流失客户提醒l 开户未成功客户l 两融业务潜在新客户l APP活动与内容运营#2#3OLAPOLAP多维分析多维分析#1流批一体打破数据孤岛实时或准实时数据写入OLAP分析场景#2