首页 资讯 财经 国内 专栏 生活 关注 图库 艺术 关于

科技

旗下栏目: 科技 汽车 健康 旅行

马斯克突然开源Grok:3140亿参数巨无霸,免费可商用(2)

科技 | 发布时间:2024-03-18 | 人气: | #评论#
摘要:当然,还有更多的参数信息: 窗口长度为8192tokens,精度为bf16 Tokenizer vocab大小为131072(2^17),与GPT-4接近; embedding大小为6144(48128); Transformer层数为

 

当然,还有更多的参数信息:

 

  • 窗口长度为8192tokens,精度为bf16
  • Tokenizer vocab大小为131072(2^17),与GPT-4接近;
  • embedding大小为6144(48×128);
  • Transformer层数为64,每层都有一个解码器层,包含多头注意力块和密集块;
  • key value大小为128;
  • 多头注意力块中,有48 个头用于查询,8 个用于KV,KV 大小为 128;
  • 密集块(密集前馈块)扩展因子为8,隐藏层大小为32768。

 


 

除了Gao,还有英伟达AI科学家Ethan He(何宜晖)指出,在专家系统的处理方面,Grok也与另一知名开源MoE模型Mixtral不同——

Grok对全部的8个专家都应用了softmax函数,然后从中选择top2专家,而Mixtral则是先选定专家再应用softmax函数。


 

而至于有没有更多细节,可能要看官方会不会发布进一步的消息了。

另外,值得一提的是,Grok-1采用的是Apache 2.0 license,也就是说,商用友好。

 

为怼OpenAI怒而Open

 

大家伙知道,马斯克因为OpenAI不Open,已经向旧金山高等法院提起诉讼,正式把OpenAI给告了。

不过当时马斯克自己搞的Grok也并没有开源,还只面向的付费用户开放,难免被质疑双标。

大概是为了堵上这个bug,马斯克在上周宣布:

 

本周,xAI将开源Grok。

 


 

虽然时间点上似乎又是马斯克一贯的迟到风格,但xAI的这波Open如今看来确实不是口嗨,还是给了网友们一些小小的震撼。


 

有xAI新晋员工感慨说:

 

这将是激动人心的一年,快系好安全带吧。

 


 

有人已经期待起Grok作为一个开源模型,进一步搅动大模型竞争的这一池水。

不过,也并不是每个人都买马斯克的账:


 

不过说归说,多线并进的马斯克,最近大事不止开源Grok这一件。

作为多公司、多业务的时间管理大师,马斯克旗下,特斯拉刚刚全线推出了端到端纯视觉的自动驾驶系统FSD V12,所有北美车主用户,都OTA更新升级,可以实现所有道路场景的任意点到点AI驾驶。

SpaceX则完成了第三次星舰发射,虽然最后功败垂成,但又史无前例地迈进了一大步。

推特则开源了推荐算法,然后迎来了一波自然流量新高峰。

别人都是 you can you up, no can no bb…马斯克不一样,bb up不选择,边喊边干,还都干成了。


 

参考链接:
[1]https://github.com/xai-org/grok-1
[2]https://x.ai/blog/grok-os


责任编辑:网络
首页 | 资讯 | 财经 | 国内 | 专栏 | 生活 | 关注 | 图库 | 艺术 | 关于 | 名人堂

Copyright © 2014-2016 中国经济报道网 版权所有 京ICP备16067457号

电脑版 | | 移动版

Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。