报告预览

京东科技-孟祥涛-实时风险洞察的架构演进与思考(1).pdf

编号：136936

PDF 23页 4.10MB 下载积分：VIP专享

下载报告请您先登录！

京东科技-孟祥涛-实时风险洞察的架构演进与思考(1).pdf

1、DataFunSummit#2023实时风险洞察的架构演进与思考孟祥涛-京东科技-架构师01实时风险洞察面临的挑战02实时风险洞察的架构演进03核心组件剖析04未来的思考与展望目录 CONTENTDataFunSummit#202301实时风险洞察面临的挑战数智化：数字化数智化：数字化+智能化智能化风险识别、风险分析、风险监控、风险处置交易、营销、订单、注册登录、实名、设备指纹数据孤岛海量数据对分析效率提出挑战海量数据挖掘数据价值，辅助业务决策数据驱动决策政策推进数据大爆发大营销快车占领市场先机管控风险高效运营风险管理的数智化转型12342 海量数据场景下的实时性与性能保证实时预警，稳定

2、性、准确性实时分析，多维即席分析，所见即所得大促百万级tps 资源成本的考量3 智能算法赋能预警分析？实时对抗性：黑产攻击手法呈现出高对抗性和变异性专家经验局限性：风险场景多、枚举成本高。专家阈值太低容易造成告警风暴，阈值太高容易漏警分析效率低：预警触发需要手动研判风险预警治理&优化：预警散落各地，缺少系统化治理、全局视角1 数据接入定制化多，如何通用化解决数据来源多样性数据标准化口径数据结构复杂数据复用度低实时风险洞察面临的挑战4如何构建通用的风险洞察架构，通用性高、高性能、高扩展组件化：拆分多少组件通用性扩展性：哪些关键地方需要扩展、如何扩展性能与稳定性：查询性能、渲染性能

3、平台愿景风险实时监控预警与智能分析产品。提供快速的数据接入，助力业务构建全面的业务风险监控预警体系；提供异常检测算法自动感知业务指标波动异常，并通过归因算法快速定位分析异常波动原因。实时风险洞察平台DataFunSummit#202302实时风险洞察的架构演进产品技术解决方案架构设计方法论合适原则一切不按实际场景出发的架构设计都是耍流氓合适l匹配业务发展所处的当前阶段l充分结合业务实际的应用场景l考虑业务近1到2年的发展规模简单原则大道至简，简单的方案解决复杂问题简单l复杂逻辑拆分为多个单一执行单元l控制单元边界，控制好最小执行单元粒度l不做过度设计演化原则优秀架构一定是以业务不断发展而演进而

4、来演化l代码的可扩展性、设计模式l架构的可扩展性l可不断地在实际应用过程中迭代产品技术解决方案技术选型智能分析丰富可视化图表智能预警算法模型智能化分析能力34215OLAPAd Hoc实时计算效率成本质量低代码高扩展高并发高性能可视化、低代码、拖拉拽基础的：表格柱图线图高阶：对比图，桑基图层级钻取，自定义计算字段准确性及时性稳定性实现路径拆解数据标准化富化、过滤、分发异常检测归因分析小投入高回报架构演进1.0简单灵活有余、扩展性不足数据接入预警指标数据看板决策明细Quarz调度ES集群风险监控预警风险数据分析整体架构：简单灵活有余、扩展性不足数据处理：数据接入、数据加工；硬编码计算架构：

5、计算性能、复杂计算存储架构：单一ES存储架构演进2.0平台化、组件化、插件化技术沉淀数仓管理计算引擎数据建模增强分析平台化：水平分层架构核心组件插件化低代码数据架构：配置化接入、插件化、函数化计算架构：内存计算、存算分离存储架构：插件化扩展问题：数据架构：基于明细查询分析，效率低，复用低百万级TPS入库、计算性能规模越来越大，治理越来越难预警架构：风险场景多、枚举成本高。严重依赖专家经验，优化调整成本高架构升级面临的挑战架构演进3.0实时数仓、智能算法事件总线事件总线决策交易营销登录数据源数据源算法服务算法服务异常检测归因分析聚类关联关系大数据平台统一元数据全链路血缘RODSRDWM注册登录交

6、易策略设备地址RDWS通用主题活动主题设备主题场景主题营销主题用户主题渠道主题信用主题活动用户设备命中策略RDIM维表FlinkMQ数据建模数据建模数据集Sql引擎条件表达式函数表达式风险洞察风险洞察智能预警智能分析行为分析风险感知策略分析群体分析数据服务数据服务指标平台数据APISqlSql建模建模JupyterCK类库封装算法算法建模建模connectorJoinSourceSourceStandardEnrichTranformTranformFunctionScriptconnectorSplitSinkSinkFilterDataStream&Chain数据架构l链路拆分：解析、计算

7、、存储l分而治之：动态资源；垂直拆分l化繁为简：Flink 预计算算法服务：l时序异常检测l归因分析l图关系实时数仓l风险实时公共数据模型标准与架构l数据治理、元数据、血缘l6大ck集群；秒级写入吞吐2500W智能预警：l业务解耦l告别告警洪流产品技术解决方案Message QueueJES 多种数据源可视化配置接入消息队列可视化进行字段解析，数据分发落表灵活操作，业务可用，随用随建轻松实现数据建模，可视化拖拽配置及高级SQL编辑器，业务人员、分析师皆可使用数据抽取、数据转换、数据加载、数据整合标准数据表产品核心功能建设坚实数据资产根基数据决策管理驾驶舱多终端自适应PC、移动、大屏一次制作

8、，多场景应用产品核心功能多场景应用智能算法-异常检测DataFunSummit#202303核心组件剖析核心组件事件总线产品定位统一风险数据标准化处理流程抽象数据接入、过滤、富化、转换、分发、输出等过程提供可扩展架构丰富平台数据处理能力，提升实时计算、实时数仓、数据湖等平台的数据开发效率!#$%&()*+,+-.)*/012+-345+-6事件总线架构图实时数据实时数据事件总线事件总线营销交易保险实名催收sourcetransformsinkkafkakafkarocketMqrocketMqjmqjmqfmqfmq解析引擎解析引擎脚本引擎脚本引擎过滤引擎过滤引擎jsonpathjsonpat

9、hsnacksnackgroovygroovyavitoravitor规则表达式规则表达式一键降级一键降级mqmqclickhouseclickhouseesesr2mr2mhbasehbase数据上下文动态分组配置mock数据应用数据应用风险洞察风险洞察JRCJRC集群集群5K集群其他业务系统插件化算子抽象脚本语言函数扩展点消息流量监控函数扩展点函数引擎函数引擎codecodejarjar事件总线自定义函数java codejava jarcode compilerfunction loader1.JDK class loader java.lang.xxx3.APP class loade

10、r(AppClassLoader|WebappClassLoader)mons.xxx2.Ext resource loader mons.xxxregister aviator contextinstance AviatorFunctionDSLevent bus AviatorExecutorFunction ExcecutorAviator 表达式框架函数解析器函数编译器函数注册器函数执行器复杂结构解析逻辑类似，抽象共性，一次编译多处复用关键技术插件化连接器扩展、算子扩展、函数扩展点解析器、适配器、UDF、RedisSQL、nGQLJDBC连接器、Cache连接器、工厂模式、模版设计组件

11、定义、解析、注册、渲染CK、ES、Hbase、MQ存储集群智能分析引擎智能预警引擎数据源引擎SQL引擎事件总线关键技术异常检测服务支持上万枚举值、毫秒级响应模型自动迭代高性能自动进化时序数据的自动化处理和自适应微调自适应能力定义标准、多模型对接扩展，无缝集成可扩展算法网关DataFunSummit#202304未来的思考与展望未来的思考与展望场景化：场景化：场景化分析能力持续建设智能化：智能化：从单指标异常检测到异常团伙检测探索；分析模式从个体分析到群体分析湖仓一体湖仓一体：将数据仓库与数据湖的优势充分结合，其数据存储在数据湖低成本的存储架构之上，拥有数据湖数据格式的灵活性，又继承了数据仓库数据的治理能力。感谢观看

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（京东科技-孟祥涛-实时风险洞察的架构演进与思考(1).pdf）为本站（2200）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

京东科技-孟祥涛-实时风险洞察的架构演进与思考(1).pdf

京东科技-孟祥涛-实时风险洞察的架构演进与思考(1).pdf