每日快播:GPT-4参数最新爆料!1.76万亿参数,8个2200亿MoE模型,PyTorch创始人深信不疑
时间:2023-06-24 02:46:06来源:清一色财经

GPT-4远不止1万亿,甚至,还是8个2200亿参数组成的混合专家模型。


(资料图)

家人们,GPT-4的参数可能还真不止1万亿!

近来,美国知名骇客George Hotz在接受采访时透露,GPT-4由8个220B模型组成。

这么算来,8 x 220B = 1.76万亿。

就连PyTorch的创建者Soumith Chintala对此也深信不疑。

GPT-4:8 x 220B专家模型用不同的数据/任务分布和16-iter推理进行训练。

如果真是这样的话,GPT-4的训练可能更加有效。

1.76万亿「八头蛇」?

在GPT-4还未放出之前,GPT-3有1750亿个参数,一众网友猜测GPT-4岂不是要逆天,最起码1万亿。

而George在接受Latent Space的采访时,对GPT4架构的描述着实让人震惊。

他的部分原话如下:

GPT-4每个head都有2200亿参数,是一个8路的混合模型。所以,混合模型是当你想不出办法的时候才会做的。OpenAI训练了相同模型8次,他们有一些小技巧。他们实际上进行了16次推断。

他特别强调,OpenAI做了8个混合专家模型,任何人可以花8倍资金都能训练出来。

也就是说,人们能够训练更小模型更长时间,微调后,就能找到这些技巧。

OpenAI曾经发表类似关于让计算量不变的情况下,让训练更好的算法,比较像BatchNorm和NoBatchNorm。

网友热评

就像George所说,这是8个较小的模型,如果有足够资金训练8个混合模型,这是一个微不足道的解决方案。

所以,GPT-4是GPT-3的10倍,而1月份的所有小圈圈大圈圈的meme实际上是……真的?!

网友得知秘诀后,打算自己也要训练一个LLaMA集合体与GPT-4竞争。

还有网友称,这有点像LLM-Blender。

我早就听到了稍微可信的传言,说GPT-4将是MoE,但从未得到证实。MoE和大约1万亿个参数不会让我感到惊讶,这听起来极为合理。

还有网友进行深度分析:

老实说,我预计这将是人工智能架构的下一阶段。我们已经看到特定任务模型在任务中的表现比一般模型好得多。

因此,将许多特定任务模型组合在一起将是下一个合乎逻辑的步骤。这几乎使升级系统变得容易得多,一次只能处理一个模型。

话虽如此,OpenAI以一种未来可能会,也可能不会的方式做到了这一点。显然,组合系统可能会有更多的小模型,而不是几个更大的模型。

如果这是真的,这是否意味着每个220B模型也有32K的上下文长度?

网友下了功夫,给它命名为「九头蛇」。

标签:

最新
  • 每日快播:GPT-4参数最新爆料!1.76万亿参数,8个2200亿MoE模型,PyTorch创始人深信不疑

    GPT-4远不止1万亿,甚至,还是8个2200亿参数组成的混合专家模型。

  • 《闪电侠》票房破亿 “母爱至深”正片片段曝光

    近日,DC超级英雄电影《闪电侠》票房正式破亿,影片同时曝光“母爱至深

  • 华物传道—中国美术学院传统造型艺术传习展潍坊开幕

    记者王钟玉6月21日上午,华物传道—中国美术学院传统造型艺术传习展在

  • 15种最清肠排毒的食物_这几种清肠食物每天吃

    hello大家好,我是城乡经济网小晟来为大家解答以上问题,15种最清肠排

  • 世界报道:小诺霉素_关于小诺霉素的介绍

    1、小诺霉素,别名也称小单孢菌素、小诺米星、沙加霉素、相模霉素,其

  • 突发!700亿A股赛道巨头出手:要在欧洲这一国豪掷100亿!_天天热点

    市值超700亿的镍钴业巨头华友钴业(603799)正在强化自身资源的海外布

  • 世界看点:2名中国公民在美被定罪,外交部:中方坚决反对

    6月21日,外交部发言人毛宁主持例行记者会。有记者提问,两名中国公民2

  • 沧州明珠拟投资35亿元建设湿法锂电隔膜项目 同步官宣股权激励计划 世界新消息

    本报记者张晓玉6月21日,沧州明珠公告称,公司拟在沧州高新区投资建设1

  • 女子喊3遍拔针护士打游戏不理会 具体是怎么回事?

     【女子喊3遍拔针护士打游戏不理会】女子喊3遍拔针护士打游戏不理会,

  • 环球要闻:全国碳市场交易价格行情日报【2023年6月21日】

    全国碳市场交易价格行情日报【2023年6月21日】,6月21日全国碳市场碳排

  • 今日快看!民生银行发布乡村振兴系列指数

    中新经纬6月21日电6月20日,民生银行在北京举办“乡村振兴指数发布会”

  • 格隆汇6月21日丨*ST华仪:于2023

    来源:港股那点事格隆汇6月21日丨*ST华仪:于2023年6月21日收到中国证

  • 电脑关不了机怎么办?电脑没反应是什么原因?

    电脑关不了机怎么办?一、电脑关不了机的原因分析1、电脑关不了机主

  • 【环球聚看点】医疗保险报销比例是多少 ? 在职医保和退休医保报销比例一样吗?

    大家都知道,缴纳医疗报销之后是可以进行报销的,那么,医疗保险报

  • 六安市市场监管局开展端午节前糕点生产企业监督检查

    6月14日至16日,六安市市场监管局组织开展端午节前糕点(含粽子产品)

  • 三年估值200亿,光伏黑马提交IPO | 焦点分析-天天快消息

    三年估值200亿,光伏黑马提交IPO|焦点分析,硅片,硅料,太阳能,ipo,光伏

  • 旅游
    • 全球今日讯!中证指数公司:发布中证农银乡村振兴指数

    • 美花石斛_关于美花石斛介绍

    • 当前时讯:香蕉皮剪碎能做花肥吗 巧用香蕉皮做花肥的小妙招

    • 孩子考试得高分的“两大神器”——错题管理和考试分析