具体到模型架构方面，Gemini基于增强的Transformer decoder打造，采用了高效attention机制（如multi-query attention），支持32k上下文长度。
尽管没有透露Ultra和Pro版本的具体参数规模，但技术报告中提到，谷歌使用TPUv5e和TPUv4来训练Gemini。 训练Gemini Ultra使用了跨多个数据中心的大量TPUv4。这意味着与谷歌此前的主力大模型PaLM-2相比，Gemini在规模上显著增大。 此前，PaLM-2被曝参数规模为3400亿。
Gemini Pro实装上线
竞争对手那边，OpenAI的GPTs惊艳全世界，微软的Copilot更是先一步渗透进全线产品。 因此Gemini一出，谷歌也当即强调：Gemini将通过谷歌产品推向数十亿用户。 率先上线的是Gemini Pro。从今天起，谷歌的聊天机器人Bard将由Gemini Pro微调版本驱动。谷歌表示：
这是Bard自推出以来的最大升级。
谷歌还打算把Gemini引入手机：Pixel 8 Pro将是第一款运行Gemini Nano的智能手机。
另外，谷歌计划在接下来几个月中，将Gemini全面推向搜索、广告、Chrome和Duet AI等产品线。 根据官方数据，Gemini能使用户的搜索生成体验（SGE）速度更快、质量更高，比如在美国使用英语搜索延迟能减少40%。 值得关注还有，就在Gemini正式亮相的同时，谷歌还推出了专为大模型而设计的新一代TPU——Cloud TPU v5p。
那么，你觉得这一波，谷歌能赶上OpenAI的脚步吗？
参考链接： |
