 张俊林认为,之所以说ChatGPT是从零到一的产品，是因为它给AI界指明了大模型和通用人工智能的方向。 “以前AI的研发倾向于按领域训练出一个专有模型，比如一个专门翻译的AI模型，一个用于文本摘要的模型等等。但ChatGPT给大家证明一点，一个大规模的通用模型，可以解决大多数问题和任务。” 刘知远也告诉盐财经，ChatGPT的出圈会让AI从过去只解决特定问题的“小作坊”转向了完成通用任务的“航空母舰”。这是两种底层技术的区别和迭代。
AIGC产业链，图源：国海证券 他介绍，在2010年左右，AI的深度学习曾受过一轮关注和讨论。当时的成功建立在有监督的机器学习上。 “AI学习的数据提前由专家标注好，这些数据都是有目标的。”此后的很长一段时间，“大家默认，数据标注得越多，模型学得就越好”。 但2018年开始，Open AI的GPT模型和谷歌的Bert等大语言模型横空出世，都是基于自监督学习方法。 “这类大模型的不同之处在于，不事先假定到底需要完成哪些任务或者特定能力。它穷尽互联网尽可能获取更多的数据，让模型自动地从这些数据里面学习知识。” 几次迭代后，从ChatGPT的效果看，AI技术已经发生了跨越式的变化。 刘知远回忆，人工智能在2018年左右有一个热门研究领域，叫少次学习(Few-shot Learning)，即假设AI学习了大量一定类别的数据后，对于新的类别，只需少量的样本就能快速学习。 “大模型的数据训练之后，我们会发现，因为AI见得足够多，它已经有了非常强的联想类比能力。过去没有的推理能力、少次学习、举一反三的能力，好像一下都出现了。”刘知远说。 喜人的技术革新由ChatGPT率先引爆。上述专家都相信，今后，大语言模型将成为人工智能界的主流。 03 中国没能诞生ChatGPT，谁全责 一个重要的前沿方向在几年前就出现。但2018年以来，除了Open AI和谷歌“大张旗鼓”在做，鲜有科技公司入局。中国的大厂除了百度和华为，其他也极少公开其对大语言模型的布局。 一个说法是，这是一个很贵的技术。Open AI很特殊，所有的资源流向了它。 2019年，设计ChatGPT的旧金山小公司OpenAI获得了微软大手笔10亿美元的投资。在此后的几年里，微软又悄悄地投资20亿美元。 完美的合作不只体现在“不差钱”上。前谷歌研究员艾登·戈麦斯曾表示，“建立这些系统真的需要一台超级计算机。而地球上没有多少这样的计算机。” 2019年，Open AI首席执行官山姆·奥尔特曼在受访时透露：“微软10亿美元的投资大部分是以OpenAI所需的计算能力出现的。微软成为其实验室唯一的算力来源。” 靠着“金主爸爸”的投资，GPT-3模型在2020年推出时，便突破了千亿级参数。据国盛证券2月12日名为《ChatGpt需要多少算力》的报告估算，GPT-3训练一次的成本约为140万美元（约合960万元）。对于一些更大的语言模型，训练成本介于200万美元至1200万美元（1300-8300万元）之间。
OpenAI text-davinci-003模型，是所有模型里效果最接近ChatGPT的一个模型 该报告同时表示，对于全球科技大企业而言，百万至千万美元级别的训练成本虽然不便宜，但尚在可接受范围内。 “不算昂贵。” 单次成本大概率不是中国巨头们的考量。张俊林告诉盐财经，Open AI最难得的是，它突破了长期以来AI届的思维惯性。 “以前没走训练大模型的路，完全是基于思维惯性。几十年来，AI界的主流都在研究小模型，希望渐进式地实现突破和发展。” |
