新V观海外:Meta Llama-3搅动全球领先大模型发展格局

陈沛2024-05-08 07:57

陈沛/文 Meta最近发布了新版大语言模型Llama-3,业界认为这个开源模型已经接近了目前领先的闭源模型的性能。

从我实际使用体验来看,基于Llama-3的Meta AI产品在对话理解、推理、图像生成等方面并没有明显的短板,生成体验平滑,能够满足日常使用的需求。

特别是在最新的Chatbot Arena排行榜上,Llama-3首次进入了排行榜前10,排名第6。其它位列前10名的还包括GPT-4、Claude-3、Gemini-Pro等主流大模型,表明Llama-3的能力已经迈入了第一梯队。

Chatbot Arena排行榜的排名机制

Chatbot Arena是由斯坦福大学运营的一个大模型对战平台,包括超过40个主流大模型,目前已累计超过70万用户在平台上投过票。

该平台的运行方法是随机、匿名选取两个模型。用户可以输入任意提示词,然后由这两个模型同时输出结果。用户在不知道这两个模型名称的情况下,完全根据模型输出质量投票。

在用户投票后,平台会采用ELO机制(一种根据玩家实力计算胜负得分的游戏机制)分别计算两个模型的得失分,并揭晓参与对战的两个模型的实际名称。

随着投票用户越来越多,各个模型得分的高低便能客观反应出模型的实际能力。因此这个排行榜一直以来都广受关注。

排行榜前10名揭示全球大模型竞争格局

排行榜前10名大模型分别包括GPT-4模型、Claude-3模型的不同版本,总体上可以分为以下五大类别。

1.OpenAI的GPT-4系列。长期以来GPT-4都占据榜首,ChatGPT仍是最受关注的大模型产品,被认为有着广泛的通用知识覆盖和精细的语言理解能力。

2.Anthropic的Claude-3系列。Claude-3-Opus曾短暂超越GPT-4登上榜首,在实测中对于深度推理和专业知识的理解非常到位,且对于大模型安全有着深刻见解。

3.Google的Gemini系列。Gemini-Pro-1.5的表现已进入第一梯队,而今年AI Index报告认为最高级的Gemini-Ultra的训练成本约是GPT-4的2.5倍,实际表现值得期待,预计将会优先接入Google各项产品中。

4.Meta的Llama-3系列。Meta目前坚定走开源路线,Llama系列每次更新都能推动整个生成式AI行业发展。而且背靠一批成熟多模态社交产品,预计Meta AI将快速迭代。随后将发布的最大版本4000亿参数Llama-3,也可能会冲击榜首。

5.Cohere的Command-R系列。与上述模型不同,Cohere并未局限于面向用户端的产品,而是专攻企业侧的应用场景,在企业级解决方案和特定行业应用中的实际表现可能更好。

总体上来看,虽然目前的OpenAI、Anthropic、Google可被视作“闭源派”,而Meta和Cohere则属于“开源派”,但它们彼此之间实际上是各自为营,各有所长,各有侧重。

在领先大模型的第一梯队中,全球生成式AI“五分天下”的格局已经初步形成。