1、蚂蚁蚂蚁TuGraphTuGraph计算引擎技术架构与应用计算引擎技术架构与应用范志东 蚂蚁图计算开源负责人蚂蚁图计算发展历程蚂蚁图计算发展历程流图引擎架构与原理流图引擎架构与原理蚂蚁核心图业务场景蚂蚁核心图业务场景未来与展望未来与展望目录目录 CONTENTCONTENT蚂蚁图计算发展历程蚂蚁图计算发展历程0101图数据图数据&图计算图计算BiologySocial NetworkFinanceTraffic复杂分析实时性大规模传统大数据引擎图引擎关联分析：表J Join 图T Traversal如何实现关联分析?每一次遍历，数据膨胀VertexVertexJoin1Join1EdgeEdg

2、eJoin2Join2Join3Join3表模型Table Join传统传统大数据大数据引擎引擎蚂蚁图计算引擎发展史蚂蚁图计算引擎发展史2015GraphXGraphX20202020自研图存储GeaFlowGeaFlow2019图表融合DSL(SQL+Gremlin)20162016基于JStorm的流图引擎JellyJelly2021功能完善性能优化业务推广20222022接入ISO/GQLConsole平台项目开源TuGraphTuGraph AnalyticsAnalyticsAPI(Graph/Table)State(Graph/KV)RuntimeDSL(SQL/GQL/Greml

3、in)ConsoleCloud(K8S)20182018基于Ray的动态图引擎RayaGRayaG蚂蚁流图计算引擎蚂蚁流图计算引擎 TuGraphTuGraph AnalyticsAnalyticsGitHub仓库：https:/ AnalyticsAnalytics 是蚂蚁自研的开源分布式实时图计算引擎，支持万亿级图数据分析能力，实现了图表模型的一体化处理和流、批、图多模态计算，并提供 Exactly Once 语义、高可用以及一站式云原生研发部署能力，目前广泛应用于数仓加速、金融风控、知识图谱以及社交网络等场景。分布式实时图计算引擎分布式实时图计算引擎 TuGraphTuGraph Ana

4、lyticsAnalytics 功能特点核心能力流图引擎架构与原理流图引擎架构与原理0202TuGraph Analytics 产品功能概览VertexVertex历史数据VertexVertexEdgeEdge构图构图Traversal/Traversal/迭代计算迭代计算结果表结果表输出输出GeaFlowGeaFlow StateState04VertexVertex全量图全量图G G实时数据源实时数据源G G +G+G计算计算 G读窗口数据更新G结果表结果表输出分钟级延迟05图研发平台01图表融合05时序图计算04图仿真计算02图构建能力03图查询服务VertexVertex数据源数据源

5、GeaFlowGeaFlow StateState图构建图构建OLAPOLAPServerServer图图查询查询图存储图存储图定义图定义G6VPG6VP0103TuGraphTuGraph 全域全域产品架构产品架构源于蚂蚁业务实践、性能世界领先的企业级图数据管理平台业务应用消费金融关系网络安全风控智能营销数据血缘(300+)知识图谱TuGraph图数据管理平台操作管理分析洞察引擎内核数据源MySQLOracle关系型数据库CSV文件JSON消息队列SLSKafka大数据存储ODPSHiveRestful/RPC、命令行、J ava/PythonSDK等多种形式接口在线 图数据库 引擎TuGr

6、aph DB分布式架构多地容灾集群管理毫秒级响应元数据一站式图平台TuGraph Platform图运维集群管理监控大盘日志管理系统功能数据集成工具TuGraphLink国际标准图查询语言 ISO-GQL批量增量实时多数据源在线离线导入导出实时监控DSL运维工具部署环境操作系统CentOS麒麟 CPU/GPUx86ARM 部署形态容器物理机一体机图构建模型设计数据映射数据导入数据管理图查询语句查询模板管理副本设置插入数据图分析实时图查询可视化图分析配置管理发布集成近/离线 流式图计算 引擎TuGraph Analytics时序图计算流图计算流图匹配图仿真图学习 框架TuGraph LearnG

7、NN训练图样本生成全图推理图策略推荐TuGraphTuGraph AnalyticsAnalytics 技术架构技术架构图表混合处理（SQL+GQL）图建模表建模图构建图查询GQLGremlin图计算统一流批图调度（Pipeline&Cycle）外层DAG:链接表算子+图迭代算子 内层DAG:图计算逻辑的具体展开基于Cycle的调度模型统一执行PipelinesourceprojectIteratorOperatorfiltersink12344567startoutoutinwhereinunionendIteration统一流批图调度（流程&状态机）sourceaggsinkSCHEDUL

8、ERnnsourceaggsinkSCHEDULER111111sourcevcsinkSCHEDULERnn1111一次初始构建，数据pipeline流式数据处理批量数据处理stage by stage 依次调度执行静态图计算stage by stage，迭代多次执行动态图计算多次执行图计算流程sourcevcsinkSCHEDULERnn1111nnSTARTINITLOAD_GRAPH&IINIT_ITERATION&FIRST_ITERATION EXECUTION_COMPUTEFINISH_ITERATIONCLEANEND图迭代继续迭代持续迭代图迭代结束图迭代结束非图迭代结束非图

9、迭代计算Graph Native 存储状态管理WorkerWorkerIndex CacheIndex CacheLocal DiskData CacheCloud Disk(HDFS/OSS/S3)WorkerWorkerIndex CacheIndex CacheLocal DiskData CacheWrite Buffer CircularvertexedgeValue SeparationBlock BufferRemote Value Logvaluekey/postingDynamic CSR IndexcheckpointRemote Index Filecompactionf

10、lushasyncVID01234posting listcheckpointbinary encoding存储系统设计多级存储管理研发|运维|管理一键安装图模型图任务图作业平台功能概览蚂蚁核心图业务场景蚂蚁核心图业务场景0303蚂蚁图应用场景（300+）安全风控全图风控、安全风控、会员关系蚂蚁森林、新春红包、关系网络、营销推荐、数据血缘、异常检测、基础分析、基础设施推荐图谱、基金图谱、产品图谱、金融图谱服务图谱、决策图谱、商家服务搜索图谱、垂直应用图谱、场景应用会员关系会员关系图谱应用场景 利用图算法深度挖掘用户关系，构建全域、实时的会员关系网络，实现洞察、推荐、评分、风控、营销等能力。蚂蚁

11、森林超过5亿用户的好友互动、新春五福的关系推荐，都采用了蚂蚁图数据库技术，实现毫秒级的拉新、推荐和同步。针对两端人群（老年人、未成年人），基于图计算关系网络算法，对家人授权、身份更新等使用场景提供依据，降低产品使用障碍。流量归因ABCDEFGH123456789实时归因算法用户行为图谱应用场景 流量转化分析：计算流量转化率，分析用户兴趣和需求，改进产品设计或算法策略 渠道归因分析：追踪用户入口，有针对性地改进不同渠道的营销策略 日志访问路径分析：了解用户在产品中的交互路径，识别体验问题，改进操作流程经过裁剪的最终转化链路：A(1)-B(6)-F(7)-G(8)-H(9)信贷风控知识图谱实时构图

12、KGDSL规则推理消息通道MCT 聚合引擎特征平台在线策略调用MCT 聚合引擎商户交易事件触发新事件MCT业务决策引擎30 minites安 安 全 全 风 风 险 险 图 图 谱 谱增量更新Load赌赌博博风风险险非非法法投投融融资资商商户户同同人人数据血缘 追踪记录数据变换和轮转 保障数据变更不影响业务 保护用户数据隐私数据计算层数据应用层数据存储层（数据库）数据信息层（表）数据字段层（字段）表（tab）列（col）col-to-colcol-to-tabtab-to-tabtab-to-col数仓加速图模型SQL语句关系代数优化器图执行计划Rule1Rule2Rule3v1v2v3e1e

13、2e3图模型SQL自动转图查询 大表JOIN性能优化：JOIN物化。宽表方案：存储冗余、修改困难、实时不足。未来与展望未来与展望0404技术规划查询语言计算框架存储系统平台工具OLAP图数据库易用性：降低图的使用门槛QL完备性：SQL+GQL有机融合查询优化：RBO、CBO等LLM：自然语言分析、Agent高性能：提升图的计算效率高并发：协程调度、ASP计算稳定性：组件级FO、资源池化智能化：自主诊断、智能调优低成本：提升图的存储效率大规模：多级索引、Native化多模态：行列混存、HTAP一致性：事务控制、数据校验联系TuGraph公众号其他400--903-0809社区群谢谢观看谢谢观看