来源: 量子位 北京
金磊 鱼羊 发自 凹非寺
传闻中的谷歌杀手锏Gemini,来了! 就在刚刚,谷歌CEO皮猜和哈萨比斯在谷歌官网联名发文,宣布推出这一万众瞩目的多模态大模型。
标题明晃晃写着“最大”、“最强”,主打的就是一个干爆GPT-4。 具体来说,此次谷歌一共带来了Gemini的三个版本:
其中Gemini Ultra一上来就在32个基准测试中拿下30个SOTA,并且第一个在MMLU基准上达到人类专家水平。 而Gemini Pro从今天起,就会在Bard中实装上线。
同时,谷歌Gemini团队还公布了一份60页的详细技术报告。
消息一出,社交媒体瞬间炸了锅。 英伟达AI科学家Jim Fan就第一时间转发评论:
这是OpenAI王座的有力竞争者。
话不多说,一起来看更多细节。
谷歌史上最强大模型Gemini
在LLM中的表现,也正如我们刚才所述,32个基准测试中拿下30个SOTA。 其中,通用、推理、数学和编程等大方向的成绩如下表所示:
△Gemini 在包括文本和编码在内的一系列基准测试中达到SOTA 在多模态方面,Gemini Ultra在新的MMMU基准测试中也获得了59.4%的SOTA分数。 这项基准测试是由跨不同领域的多模式任务组成,需要大模型进行一个深思熟虑的推理过程。 根据谷歌给出的图像基准测试结果来看,Gemini Ultra在没有OCR系统的帮助下,表现优于之前最先进的模型。
△Gemini 在一系列多模态基准测试中达到SOTA 接下来,我们以具体的案例来看一下Gemini的能力。 例如科学家们经常要面对从成千上万的文献中提取数据的难题,像下面这篇研究,作者就通过手动的方法从上万篇遗传学论文中创建了数据集。
像这样的数据集是需得随着时间流逝而进行更新的,但现实的情况是,自2021年以来,这个领域便已有超过200000篇新增的论文…… 再像以往手动的方式显然是不可行的,不过现在有了Gemini,一切就变得简单了起来。 首先,通过自然语言的Prompt,告诉Gemini去过滤相关的科学论文: |