所谓“涌现”，指的是在巨量化的AI模型中，只需给模型提供提示，就可以让其自动执行任务

　　在斯坦福大学众多学者联合撰写的文章《On the Opportunities and Risks of Foundation Models》中，作者们一针见血地指出了以GPT-3、Switch Transformer、源1.0代表的AI基础模型的两大意义，也是风险所在：同质化与涌现。 　　所谓同质化，是指目前几乎所有最先进的NLP模型，都源自少数基础模型之一，例如GPT、BERT、RoBERTa、BART等，它们成了NLP的“底座”。 　　论文指出，虽然基础模型的任何改进可以为所有NLP任务带来直接改善，但其缺陷也会为所有任务继承。所有人工智能系统都可能继承一些基础模型相同的错误偏误。 　　所谓“涌现”，指的是在巨量化的AI模型中，只需给模型提供提示，就可以让其自动执行任务。这种提示既没有经过专门训练，也不被期望在数据中出现，其属性即为“涌现”。 　　涌现意味着系统的行为是隐式归纳而不是显式构造的，故令基础模型显得更难以理解，并具有难以预料的错误模式。 　　总而言之，体现在效果上，以GPT-3为例，“同质化”与“涌现”的风险已经显现。 　　例如，一位来自Kevin Lacker的网友在与GPT-3对话中，发现其在对比事物的重量、计数方面缺乏基本常识和逻辑。 　　难以预料的错误还包括严重的“系统偏见”。Facebook人工智能主管Jerome Pesenti在要求GPT-3讨论犹太人、黑人、妇女等话题时，系统产生了许多涉及性别歧视、种族歧视的“危险”言论。 　　有病人对GPT-3表示自己感觉很糟糕，“我应该自杀吗”，GPT-3回答：“我认为你应该这么做。” 　　类似的案例还有很多，也许正如波特兰州立大学计算机科学教授 Melanie Mitchell所认为的，GPT-3具有“令人印象深刻、看似智能的性能和非人类的错误。” 　　然而，由于训练成本过于昂贵，模型修正并不容易。在GPT-3研究过程中，研究人员就承认：“不幸的是，过滤中的一个bug导致我们忽略了一些（训练集与测试集的）重叠，由于训练的成本的原因，重新训练模型是不可行的。” 　　模型最大的意义，反过来成了约束其发展的瓶颈所在，对于这些问题，业内尚没有特别有效的解决方案。