1、单击此处编辑母版标题样式GNN for Science黄文炳清华大学智能产业研究院目录1.1.背景介绍背景介绍2.相关研究3.最新进展4.总结目录目录人工智能蓬勃发展2020-5OpenAI 发布GPT32020-6Google发布ViT2021-12021-6智源发布悟道2.02021-2OpenAI 发布图像版GPT3Google发布Switch Transformer2021-7DeepMind 连登Nature2021-8AI for Science：从人工智能到人工专家智能DeepMind利用神经网络提升DFT关于电子相互作用的预测，登上ScienceAdvancing mathem

2、atics by guiding human intuition with AI.2021-12Magnetic control of tokamak plasmas through deep reinforcement learning.2022-02Pushing the frontiers of density functionals by solving the fractional electron problem.2021-12DeepMind利用AI发现数学新见解加速数学证明，登上Nature封面DeepMind和EPFL合作利用强化学习算法控制核聚变，登上NatureAI+数学

3、AI+物理AI+物理化学图（Graph）广泛存在于科学领域分子结构蛋白质-药物结合多体运动抽象成图结构抽象成图结构图神经网络（GNN）是分析图结构的有效工具之一Sperduti,Alessandro and Starita,Antonina.1997Sperduti,Alessandro,and Antonina Starita.Supervised neural networks for the classification of structures.1997.意大利学者首次定义“GNN”Scarselli et al.2005年最先定义“GNN”Gori,Marco,Gabriele M

4、onfardini,and Franco Scarselli.A new model for learning in graph domains.Proceedings.2005 IEEE International Joint Conference on Neural Networks,2005.Vol.2.IEEE,2005.Scarselli,Franco,et al.Graph neural networks for ranking web pages.The 2005 IEEE/WIC/ACM International Conference on Web Intelligence(

5、WI05).IEEE,2005.Scarselli,Franco,et al.The graph neural network model.IEEE Transactions on Neural Networks 20.1(2008):61-80.Lecun团队最先在机器学习会议上引入图卷积概念提出了两种不同的图卷积网络：1.空间卷积；2.谱卷积ICLR，2014过去几年，GNN的研究得到了越来越多的关注Joan Bruna et al.NIPS 202002503003502000202021Number of GNN Pap

6、ersICLRICMLNeurIPSKDDAllGNN1.0：Understanding GNN as RNNBefore 2000Sperduti,Alessandro,and Antonina Starita.(TNN 97)propose the generalized recursive neuron for the graph classification problem on Trees/DAGs.This generalized recursive neuron can only generate the graph representations.From 2000 to 20

7、10Gori et.al(IJCNN 05)and Scarselli et.al(TNN 08)add the output gate for each node to generate the node representation in graphs.This model is calledGraphRNN.After 2010Li,Yujia,et al.(ICLR 16)add gated recurrent units and modern optimization techniques to improve the performance of Scarselli et.al(T

8、NN 09).Tai,Kai Sheng et.al.(ACL 2015)extend LSTM to a tree-structured network topologies.The output gateOnly generate graph representationSperduti,Alessandro,and Antonina Starita.1997Gori,Marco,Gabriele Monfardini,and Franco Scarselli.2005Scarselli,Franco,et al.2008Li,Yujia,et.al.2015，Tai,Kai Sheng

9、et.al,2015GNN2.0：Understanding GNN as ConvolutionGraph Convolutional Network(ICLR 2017)(+1)=(1212()Approximate 1-order Chebyshev polynomial the in spatial domain.Layer-wise convolution to extend receptive field.The practical convolutional model for graphs.PATCHY-SAN(ICML 2016)Neighborhood sampling t

10、o construct receptive field.Deep Locally Connected Networks(ICLR 2014)1 Discuss two constructions on both spatial and spectral domain.Analog the convolution operation based on the Laplacian spectrum.Additional eigen decomposition is needed.ChebyNet(NIPS 2016)2 Build the connection between graph sign

11、al processing and graph convolution.Use Chebyshev polynomial to fast approximate the graph filtering in the spectral domain.1 Bruna,Joan,et al.20142 Defferrard,Michal,et.al.2016 3 Niepert,Mathias,et.al.20164 Kipf,Thomas N.,and Max Welling.2017GNN发展脉络当前使用最广泛的GNN模型 消息传播模型（Message Passing Framework）:St

12、ep 1:Gather and transform the messages from neighbors:(+1)=AGG(+1(,)|()Step 2:Update the state of the target node.(+1)=(,(+1)Most of current spatial GNNs can be formulated as a message passing process.The message generation function.Input:the state of current node,the state of the neighbor node and

13、the edge features.The neighborhood set of node.E.g.1-hop neighbors.The aggregation function.E.g.SUM/MEAN/LSTMThe state update function.AGG()()()MMMStep 1(+)Step 2Gilmer,Justin,et al.Neural Message Passing for Quantum Chemistry.ICML.2017.目录1.背景介绍2.2.相关研究相关研究3.最新进展4.总结目录目录GNN for Science物理动力学模拟生物医药材料发

14、现其他（天气预报、能源等）Battaglia et al.Fung et al.Ryan Keisler基于物理知识的分析方法https:/en.wikipedia.org/wiki/Double_pendulum双摆系统蛋白质分子动力学模拟https:/www.lobos.nih.gov/mbs/animations.shtml Scabilit：106atoms Time：1ms One GPU costs days for simulating 1 ms of atoms！能否利用机器学习模型能否利用机器学习模型直接从数据中挖掘物理系统的演化规律？直接从数据中挖掘物理系统的演化规律？GN

15、N+物理：多体问题可用动态图建模123 节点对应物体，连边对应相互作用；节点特征包含空间状态信息GNN+物理：基于GNN的多体动力学模拟图神经网络（GNN）初始状态目标状态Peter W Battaglia,Razvan Pascanu,Matthew Lai,Danilo Rezende,and Koray Kavukcuoglu.Interaction networks for learning about objects,relations and physics.arXiv preprint arXiv:1612.00222,2016.13GNN+物理：基于GNN的多体动力学模拟Gra

16、ph Network-based Simulators(Sanchez-Gonzalez et al.,2020)Sanchez-Gonzalez et al.,Learning to Simulate Complex Physics with Graph Networks.2020.GNN+物理：基于GNN的多体动力学模拟Graph Network-based Simulators(Sanchez-Gonzalez et al.,2020)Sanchez-Gonzalez et al.,Learning to Simulate Complex Physics with Graph Netwo

17、rks.2020.新冠肺炎病毒与人体细胞结合GNN+生物医药智能药物发现靶点发现与确认苗头化合物发现苗头化合物引导临床前测试先导化合物优化临床测试GNN表示向量交互生成表示GNN抗原抗体GNN+生物医药：分子表示学习面向大规模分子图的GNN预训练GROVER带标签数据集生物物理学生理学物理化学量子力学毒性溶解性穿透性成药性。性质预测图神经网络图神经网络Atom/BondContext PredictionSematic Motif Prediction预训练流程Finetune流程预训练模型GNN+生物医药：分子表示学习GROVER(Rong et al.,2020)节点级别图级别Multi-

18、Head AttentionLayerNormFeed ForwardNode EmbedAggregate2NodeConcatLayerNormFeed ForwardEdge EmbedAggregate2EdgeConcatLayerNormNodeDyMPNNodeDyMPNNodeDyMPNNodeDyMPNNodeDyMPNNodeDyMPNQKVDyMPNDyMPNLinearInput GraphDyMPN预训练任务预训练模型Rong et al.,Self-Supervised Graph Transformer on Large-Scale Molecules.2020.

19、GROVER模型包含1亿亿参数，在1千万千万的无监督分子上进行预训练GNN+生物医药：分子表示学习GROVER(Rong et al.,2020)Rong et al.,Self-Supervised Graph Transformer on Large-Scale Molecules.2020.+0.97%+1.60%+4.75%+4.78%+5.77%+11.02%在在11个药物分子性质预测数据集上相对基准方法个药物分子性质预测数据集上相对基准方法(MPNN)的提升的提升加入加入DropEdgeDropEdgeG G-TransformerTransformerGROVERGROVER：1

20、 1亿参数模型亿参数模型&1 1千万无监督千万无监督分子上进行预训练分子上进行预训练GNN+生物医药：分子表示学习Liu et al.N-Gram Graph:Simple Unsupervised Representation for Graphs,with Applications to Molecules.Hu et al.Strategies for Pre-training Graph Neural Networks.Qiu et al.GCC:Graph Contrastive Coding for Graph Neural Network Pre-Training.Methods

21、Node-LevelSelf-SupervisedGraph-LevelSelf-SupervisedN-Gram GraphPreGNNGCCGROVERGNN+生物医药：相互作用Geometric Deep Learning(Mndez-Lucio et al.,2021)M ndez-Lucio et al.,A geometric deep learning approach to predict binding conformations of bioactive molecules.2021.GNN+生物医药：分子生成JT-VAE(Jin et al.,2018)Jin et al

22、.,Junction Tree Variational Autoencoder for Molecular Graph Generation,2018.目录1.背景介绍2.相关研究3.3.最新进展最新进展4.总结目录目录科学数据特点Typical GraphsScientific Graphsi 只有2D拓扑信息 包含3D几何信息（位置、速度、受力）通常不蕴含物理规律 背后蕴含重要的物理规律（如对称性）存在的问题违反物理对称性不满足几何约束+1+1归纳偏置1：对称性+1+1归纳偏置1：对称性有一个真空箱子，箱子里有一个球在自由下落，然后反弹，我们在地球不同的位置放置这个箱子“物理学中对称对称的

23、概念直接取自我们的日常见解，在动力学问题中，按照对称对称来考虑，可以得到重要的结论。”杨振宁11杨振宁.基本粒子发现简史M.上海科学技术出版社，1963：52.归纳偏置1：对称性理想情况现有模型Rotation GNN归纳偏置1：对称性等变的定义等变的定义：记矩阵函数:，我们称关于对称群是等变的，当且仅当其中，和 分别是变换在输入、输出空间的表示。=,归纳偏置1：对称性不变的定义不变的定义：记矩阵函数:，我们称关于对称群是等变的，当且仅当其中，和 分别是变换在输入、输出空间的表示。=,归纳偏置1：对称性什么是群？1.封闭性：,2.结合律：,=()3.单位元（幺元）：,=4.逆元：,=埃瓦里斯特

24、 伽罗瓦平移旋转翻转欧几里得群 E(n)(+)Step 2几何图神经网络Typical GNNsGeometrical GNNsAGG()()()MMMStep 1(+)Step 2AGG()()()MMMStep 1(+)Step 2()()()AGG()()()MMMStep 1()()()(+)Step 2欧氏等变图神经网络AGG()()()MMMStep 1(+)Step 2()()()AGG()()()MMMStep 1()()()不变（invariant）等变（equivariant）基于信息传播的欧氏等变等变图神经网络i几何图(,)：节点特征 ，节点几何向量 利用GNN刻画多体相

25、互作用：信息传播：=,信息聚合：=,力信息传播：=,力信息聚合：=,基于信息传播的欧氏等变等变图神经网络不可约表示法平凡表示法标量化法球谐函数Finzi et al.,2020Satorras et al.,2021Thomas et al.,2018Jiaqi Han,Yu Rong,Tingyang Xu,Wenbing Huang,Geometrically Equivariant Graph Neural Networks:A Survey.arXiv preprint arXiv:2202.07230.EGNNij几何图(,)：节点特征 ，节点几何向量 E(n)Equivariant

26、 Graph Neural Networks,ICML 2021EGNN只能建模径向作用，无法刻画法向作用 信息传播：=(,)力信息传播：=()(,)我们提出的方法：GMNij几何图(,)：节点特征 ，节点几何向量 信息传播：=(,)力信息传播：=(,)引入矩阵=,，刻画不只是径向的全方向力作用Huang,Wenbing,et al.Equivariant Graph Mechanics Networks with Constraints.ICLR(2022).理论完备性这样定义的神经网络能逼近任意正交等变函数 =()定理定理：对于任意连续的正交等变函数 ，一定存在某个使得 充分逼近 ，即 ,

27、任意小。Scalars are universal:Equivariant machine learning,structured like classical physics,NIPS 2021.Huang,Wenbing,et al.Equivariant Graph Mechanics Networks with Constraints.ICLR(2022).归纳偏置2：几何约束多刚体系统由于受到连杆长度不变的约束，连杆两端的球只能相对转动ij广义坐标代替笛卡尔坐标，对刚体的状态进行描述，能自然满足约束，并且各个广义坐标相互独立质心运动转动归纳偏置2：几何约束笛卡尔坐标系广义坐标系广义坐

28、标系00,01,02.00 01=00 02=3个自由向量2 2个约束条件个约束条件01,02.01 01=2个自由向量1 1个约束条件个约束条件0,01,023个自由向量无约束条件无约束条件0,02个自由向量无约束条件无约束条件归纳偏置2：几何约束12编码器解码器实验验证：Constrained N-body蓝色为预测结果，红色为真实状态下图，GMN利用连续的初始状态预测未来多帧状态。实验验证：CMU Motion CaptureCMU Motion Capture是一个记录人类动作捕捉轨迹的数据集。在这个数据中，人体骨架可以看成是一种刚性约束蓝色为预测结果，红色为真实状态蛋白质动力学模拟J

29、iaqi Han,Yu Rong,Tingyang Xu,Fuchun Sun,Wenbing Huang,Equivariant Graph Hierarchy-Based Neural Networks,arXiv:2202.10643总结只关注2D拓扑全维度数据（1D/2D/3D/4D）纯数据驱动融入科学知识应用于关系挖掘GNN for ScienceML或DM领域跨学科融合清华智能产业研究院团队成员张亚勤院长、讲席教授美国艺术与科学院院士马维英首席科学家、惠妍讲席教授全球计算机科学家Top86赵峰首席科学家国际欧亚科学院院士刘洋副院长、教授国家杰青聂再清首席研究员、国强教授原阿里首席科

30、学家刘云新首席研究员、国强教授原微软首席研究员兰艳艳原中科院研究员智源青年科学家刘洋AAAI人工智能创新应用奖刘菁菁首席研究员、国强教授原微软首席研究员周谷越深圳市高层次人才入选TR 35詹仙园原京东高级研究员CCF-AI委员彭健高级访问学者美国Sloan研究奖、Overton奖陶大程卓越访问教授IEEE/AAAS/ACM Fellow马为之入选“水木学者“张宏江卓越访问教授IEEE/ACM Fellow许锦波卓越访问教授美国Sloan研究奖李元春原微软高级研究员王岩原商汤高级研究员周浩原字节跳动高级研究员人工智能学会优博论文黄文炳原腾讯高级研究员入选“水木学者”龚江涛原联想高级研究员研究目标与愿景感谢大家，欢迎提问！