 张俊林介绍，在现今科技公司的竞逐上，ChatGPT背后依托的大语言模型（LLM）一直都在持续升级。 据Analytics India Magazine整理的全球顶尖大厂的LLM，许多都迈入了千亿参数级。Open AI的GPT-3模型有1750亿个参数，谷歌的LaMDA模型有1370亿参数，LG的Exaone模型有3000亿参数。
2022年6月15日，谷歌研究院联合DeepMind和斯坦福大学发表了一篇论文：《大语言模型的突现能力》（Emergent Abilities of Large Language Models）。其中研究了谷歌，DeepMind和OpenAI的5个语言模型系列的8个“突现能力” 上榜的两家中国公司在体积上也不示弱。百度的ERINE 3.0拥有2600亿参数，华为的盘古大模型有2000亿。 但“一直以来最大问题是，大语言模型的能力比较强，使用的时候却发挥不出它的能力，”张俊林说。 ChatGPT的一大突破体现在此。它创造了结合人类反馈信息训练语言模型（RLHF）的办法。 据Open AI披露，ChatGPT的训练分为三步。第一步常规步骤，即训练及微调GPT模型。 第二步是使用真实的用户评价标记生成内容的排序，训练出奖励模型（Reward Model）。 第三步，通过奖励模型为GPT生成内容打分，再用近端策略优化（PPO）进一步优化模型。 通过人类的真实评价来训练模型，张俊林说，这让ChatGPT在理解人的表达和语意上更进一步。“人们可以对着它畅所欲言，想说什么就说什么，和它反复对话，它都完全可以理解。这一点是最有突破性的。”
ChatGPT对文本的理解能力很强，甚至能够“读懂”笑点 Open AI同时要求人工标注员在评价机器生成结果时，遵循“有用”“真实”“无害”三大原则。这让ChatGPT给人一种礼貌、真诚、不冒犯人的体面感。 而在ChatGPT未出现之前，张俊林介绍，机器训练的效果通过测试集合来评估。“假设，测试集合里有100个任务，每个任务都有打分和指标。那么AI模型的优劣，最终通过完成任务的优劣程度来决定。” 这个办法，没有将真实的人的需求考虑入内。 “ChatGPT的基座模型都在真实调用上不停迭代和优化。它不仅仅是技术上的成功，更是系统、工程、数据上的成功。”黄民烈总结。 02 百度的自嗨与自省 “ChatGPT这一波浪潮，中国必须要跟，”张俊林焦虑地说：“通用人工智能3至5年迭代一次。在这一波落后的话，今后想跟也跟不上了。”
2017-2025年我国搜索引擎市场规模及预测情况，随着消费互联网红利见顶，增长放缓成为了搜索巨头们的共同问题。图源：观研天下 也难怪被寄予厚望的国内巨头百度最为着急，2022年底，李彦宏梳理了百度的不顺。 “百度这几年过得比较苦，财报、业务增长性都不是那么光鲜。”他还说：“有些技术同学做的事离市场很远，纯属自嗨，做了一两年发现东西没人用。” 批评归批评，李彦宏还是把希望落在了百度自称深耕10年的AI技术上。他判断，“百度的机会是把技术变成人人需要的产品，这一步最难，但也最能产生影响力。” 人人需要的产品，百度不是没做过，搜索引擎便是，只是基本公认已经被它做废了。以至于偌大中文市场，没有一个好用的搜索引擎。 ChatGPT带来的技术未来，如果百度再棋差一着，这家企业未来的存在堪忧，也会被口水淹没。所以焦虑是必然的。 如果说2022年的百度还在忧愁AI该落向何处，ChatGPT在2023年被微软加快嵌入office产品和搜索引擎等的一系列动作，给了百度充足的紧迫感和方向感。 |
