【GNN报告】腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索

目录

1、简介

2、图神经网络最新范式的探索

 背景

 存在不足

 Geometrically Equivariant Graph Neural Networks: A Survey

Equivariant Graph  Neural Networks

 Equivariant Graph  Mechanics  Networks with Contraints

 Equivariant Graph Hierarchy-Based Neural Networks

 Transformer for Graphs: An Overview from Architecture Perspective

Masked Transformer for Neighborhood-aware Click-Through Rate Prediction 

 总结和未来方向

3、小结

4、参考

视频

文献

1、简介

图学习研讨会（LOGS：Learning On Graphs Seminar）

报告时间

2022年7月2日 (星期六)

16:00 (北京时间)

主  题

图神经网络最新范式的探索

主持人

周敏（华为诺亚方舟实验室）

报告嘉宾：荣钰（腾讯AI Lab机器学习中心）

报告题目：图神经网络的最新范式的探索

报告摘要：近年来，随着图深度学习的发展，图神经网络在多个领域都展示其应用潜力。尤其是基于消息传播的网络结构在大量任务上，都取得了不错的结果。但是，消息传播网络本身存在一些难以克服的缺陷以及对一些非传统数据无法做到全面建模等问题。这些问题局限了其模型的表达能力和在一些非传统图数据上的应用。本次分享将围绕最新的一些图神经网络范式进行讨论，并介绍我们在这一领域的一些最新研究成果。

报告人简介：荣钰博士，腾讯AI Lab机器学习中心高级研究员。深圳市政府认定海外高层次人才。荣钰博士于2016年于香港中文大学获得系统工程与工程管理博士学位及进行博士后研究。2017年6月加入腾讯AI Lab。主要研究方向是深度图学习算法以及大规模图系统。在相关方向发表高水平学术论文数十篇，包括KDD, WWW，NIPS，ICLR，CVPR，ICCV等数据挖掘和机器学习顶级会议。荣钰博士在图卷积神经网络，大规模深度图学习算法，的研究和应用上取得了一系列创新成果。主要应用领域包括社交推荐，药物研发，物理系统模拟等。

2、图神经网络最新范式的探索

 背景

 

 

 存在不足

 Geometrically Equivariant Graph Neural Networks: A Survey

 

 

 

 

等变：先后操作顺序（scale和conv）变化不影响最终输出结果

不变：scale操作不影响最终输出判别的类别label

 如何对几何旋转等操作保持不变，有下面三种方法

 

 接下来针对标量化方法讲解

Equivariant Graph  Neural Networks

核心就是将向量表示为标量后在放回原来的MPNN消息传递范式中

 EGNN不足

不能加约束，有约束不能工作

 Equivariant Graph  Mechanics  Networks with Contraints

改进前面不能加约束的弊端

 连杆约束

其实就是将几何特征（有坐标）用向量表示法即广义坐标系（非笛卡尔坐标）解决，就是蛋白质分子无论从那个角度去观察还是旋转啥的不影响最终输出

 

 

 扭转角加速度计算（以便前面的数值计算）

 

 

 

 Equivariant Graph Hierarchy-Based Neural Networks

也就是将graph pooling引入

 

 Transformer for Graphs: An Overview from Architecture Perspective

 

 

GNN：建模边和自身信息

Transformer:非边（节点注意力）

 

 范式(trans（本身是全连接图）是全连接操作，会带来噪声，也可以用smoothing解决噪声，可以补全数据，但是和数据相关的，符不符合inductive bias）

1）先GNN做边（结构信息，是浅层的裁剪后的GNN）embedding更新，后Transformer计算pairwise注意力（为啥后用：是因为前面GNN有可能学习到与任务无关的节点或者边表示）

2）GNN将Trans的输出进行更新

3）GNN和Trans做sample然后并行输出

Trans并不能解决oversmoothing问题

解决也是通过残差连接解决的，比dropout更有效。Trans能训练的动也是因为用的残差。真正影响GNN模型泛化的是AXW堆叠多层时，W计算不动

点云方向

太卷了，CV上卷不动

Concat和+操作区别

荣老师说没区别

 

 直接在attention上做改进

 

Masked Transformer for Neighborhood-aware Click-Through Rate Prediction 

应用：微信平台推荐，想给客户推荐的视频和文章（公众号发的），推荐有主题：体育等。目标是希望用户点击

 

 

 

 

 

 sample->Trans结构(4种子图mask注意力计算：图自身+特征属性+二分图+全图）->

 

 

 

 

 

 

 总结和未来方向

在MPNN消息传递上的很难有发展，和其他技术的结合是发展趋势

 

3、小结

PPT可以参考（尤其背景部分和方法部分的现有工作部分）

讨论可以参考

4、参考 视频

录播视频链接 || LOGS 第2022/07/02期 || 腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索LOGS 第2022/07/02期 || 腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索_哔哩哔哩_bilibili录播视频链接 || LOGS 第2022/07/02期 || 腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索

文献

1. E(n)-Equivariant Graph Neural Networks, in ICML 2021

2. Constrained graph mechanics networks, in ICLR 2022

3. Masked Transformer for Neighborhood-aware Click-Through Rate Prediction, in SIGIR 2022

4. Equivariant Graph Hierarchy-Based Neural Networks, arXiv preprint

5. Transformer for Graphs: An Overview from Architecture Perspective， arXiv preprint

6. Geometrically Equivariant Graph Neural Networks: A Survey，arXiv preprint