在机器学习领域,NeurIPS 会议的论文接受量虽然最多,但是该会议的论文收录率却最低。在计算机视觉领域,CVPR 会议论文的收录率低于 ECCV。在自然语言处理领域,ACL 与 EMNLP 两个会议的收录率差别不大;值得一提的是,在 EMNLP2020 会议中,中国的论文接受率只有 13.2%,远低于大会的平均水平,而英国、新加坡和丹麦在该会议中有超过 30%的接受率,美国也有 27%的接受率,可见中国学者论文的接受率还有待提高。
▲人工智能几个重点子领域顶级国际学术会议 2020 年的论文录取情况
02.深度学习热度高,GNN、RNN算法最火爆基于上文所述的人工智能几个重点领域 10 个顶级国际学术会议所收录的论文,通过对会议论文的标题、摘要和自带关键词进行统计分析和文本聚类,运用TF-IDF 算法对所研究时段内的主题相关论文数量进行计算,获取论文数量 TOP20 的热点关键词并制作词云图,得到人工智能几个重点领域的近五年(2015-2020年)来的主题研究热点。
1、机器学习
综合机器学习领域三个顶级会议(ICLR、NeurIPS、ICML)的论文研究点,发现近年来机器学习最热门的研究技术点是深度学习(Deep Learning)或深度神经网络(Deep Neural Networks)、强化学习(Reinforcement Learning)、深度强化学习(Deep Reinforcement Learning),尤其是深度学习中的生成式对抗网络(GAN,Generative Adversarial Networks)与循环神经网络(Recurrent Neural Network, RNN))两大算法模型,相关论文量占比达 14.8%。此外,还都较多涉及了梯度下降(Gradient Descent )方法。
除了以上共同的研究热点,ICLR 与 ICML 都较多研究了深度学习中的对抗样本(Adversarial Examples)问题。ICLR 与 NeurIPS 会议论文都较多研究了深度学习中的卷积神经网络(Convolutional Neural Networks,CNN)算法。而 ICML和 NeurIPS 两个会议的论文都较多研究了贝叶斯优化 (Bayesian Optimization)、变分推断(Variational Inference)、高斯过程(Gaussian Process, GP)、主动学习(Active Learning)、在线学习(Online Learning)等技术点。
就单个会议而言,ICLR 会议论文还较多研究了学习表征(Learning Representations)、迁移学习(Transfer Learning)、无监督学习(UnsupervisedLearning)等方法。ICML 会议论文还涉及了少量的差分隐私(Differential Privacy)、非凸优化(Nonconvex Optimization)方法,以及结构化预测(Structured Prediction)问题;NeurIPS 会议论文还较多研究了样本复杂度(Sample Complexity)等问题。