预训练大模型降低了 AI 应用的门槛，解决了 AI 应用的两个难题

　　降低 AI 规模化落地的门槛 　　预训练大模型降低了 AI 应用的门槛，解决了 AI 应用的两个难题：数据和行业知识。它既不需要大量的标注数据，又保障了基础底座。 　　在预训练模型的业务定制优化和应用方面，曾冠荣认为，从第一个预训练语言模型 BERT 发布至今，已在多个热门任务下得到应用，逐步从一种“潮流”变成前沿技术的“基本操作”，如预训练模型已成为机器翻译领域的基础关键性技术。此外，预训练模型也成为大系统中的一部分，发挥着其语义理解的优势。 　　无论是业界还是科研，对预训练模型的使用方式逐渐灵活，能从预训练模型中拆解出适合任务的部分并组装到自己的实际任务模型中。 　　时至今日，对预训练大模型的性能优化仍未终止，在学界，仍有大量的研究在预训练模型的落地能力上努力，压缩、剪枝、蒸馏的工作仍起到重要作用。不止于算法本身，编译、引擎、硬件等方面的优化也在大步迈进。 　　小结和展望 　　吴韶华认为，整体而言，现在大规模预训练模型的研究，包括模型结构的演进和落地仍处在探索阶段，各家的持续探索正在不断扩大对大规模预训练模型的认知边界。 　　“大规模预训练模型是人工智能的最新技术高地，是对海量数据、高性能计算和学习理论原始创新的全方位考验”，清华大学教授、智源大模型技术委员会成员刘知远在接受 InfoQ 采访时展望了明年大模型的发展趋势。 　　刘知远表示，他明年将重点关注两个层面的问题： 　　一是人工智能技术正呈现“大一统”趋势，如预训练模型在 Prompt Tuning 等技术的支持下可用于很多不同的任务，再如 Transformer 模型框架正在从自然语言处理扩展到计算机视觉模态，接下来我们也许会看到更多的从框架、模型和任务等方面推进人工智能技术趋向统一的工作; 另一个问题是，随着预训练模型规模增大，如何更好更高效地实现任务适配和推理计算，将是让大模型飞入千家万户的重要技术。 　　国产深度学习框架不再是“技术的跟随者” 　　过去十年涌现了大量的 AI 算法和应用，这背后都离不开开源深度学习框架提供的支持。 　　开源深度学习框架是 AI 算法研发和 AI 应用落地的“脚手架”，帮助 AI 研究员和开发者大幅降低算法研发门槛，提升研发效率。 　　IDC 的调研显示，中国人工智能领域 90% 以上的产品都使用了开源的框架、库或者其他工具包。