2022 王灿 在线s-s迭代蒸馏 Online Cross-Layer Knowledge Extraction on Graph Neural Networks
论文：https://arxiv.org/pdf/2205.02468.pdf
代码：GitHub - GuoJY-eatsTG/Alignahead
现有的图神经网络(GNNs)知识蒸馏方法几乎都是离线的，学生模型从强大的教师模型中提取知识以提高其性能。然而，由于培训成本、隐私等原因，预培训的教师模型并不总是可用的。在本文中，我们提出了一个新的在线知识蒸馏框架来解决这个问题。具体来说，每个学生GNN模型在交替训练过程中从另一个同时训练的对应对象学习提取的局部结构。我们进一步开发了一种跨层蒸馏策略，通过将一个学生层与另一个学生模型的不同深度的层对齐，这在理论上使结构信息扩散到所有
