开源大模型Llama 3王者归来，性能直逼GPT-4！

扎克伯格：「有了 Llama 3，全世界就能拥有最智能的 AI。」

ChatGPT 拉开了大模型竞赛的序幕，Meta 似乎要后来居上了。

上周四，AI 领域迎来重大消息，Meta 正式发布了人们等待已久的开源大模型 Llama 3。

与此同时，扎克伯格宣布：基于最新的 Llama 3 模型，Meta 的 AI 助手现在已经覆盖 Instagram、WhatsApp、Facebook 等全系应用，并单独开启了网站。另外还有一个图像生成器，可根据自然语言提示词生成图片。

Meta AI 网址：https://www.meta.ai/

扎克伯格表示，Meta 提供的生成式 AI 能力在免费产品中性能是最强大的。

去年 9 月推出的Meta AI 助手现已集成到 Instagram、Facebook、WhatsApp 和 Messenger 的搜索框中。它还将开始直接出现在 Facebook 的主要动态中。您仍然可以在 Meta 应用程序的消息收件箱中与它聊天。现在第一次可以通过 Meta.ai 的独立网站访问它。

Meta 的助手要想成为真正的 ChatGPT 竞争对手，底层模型必须同样好，甚至更好。这就是 Meta 还宣布 Llama 3 的原因，这是其基础开源模型的下一个主要版本。 Meta 表示，Llama 3 在关键基准测试中的表现优于同类竞争模型，并且在编码等任务方面表现更出色。今天，Meta AI 助手和外部开发人员都发布了两款较小的 Llama 3 模型，而更大的多模式版本将在未来几个月内推出。

首席执行官马克扎克伯格说，Meta AI 的目标是成为“世界各地人们可以自由使用的最智能的人工智能助手”。 “有了 Llama 3，我们基本上就感觉身临其境。”

Meta AI 助手是我所知道的唯一一个集成了 Bing 和 Google 实时搜索结果的聊天机器人——Meta 决定何时使用任一搜索引擎来回答提示。它的图像生成功能也已升级，可以创建动画（本质上是 GIF），并且现在可以在您键入时即时生成高分辨率图像。与此同时，当你第一次打开聊天窗口时，受 Perplexity 启发的提示面板旨在“揭开通用聊天机器人的功能”，Meta 的生成人工智能主管 Ahmad Al-Dahle 说道。

简而言之，Llama 3 的主要亮点包括：

• 基于超过 15T token 训练，相当于 Llama 2 数据集的 7 倍还多；
• 支持 8K 长文本，改进的 tokenizer 具有 128K token 的词汇量，可实现更好的性能；
• 在大量重要基准中均具有最先进性能；
• 新能力范畴，包括增强的推理和代码能力；
• 训练效率比 Llama 2 高 3 倍；
• 带有 Llama Guard 2、Code Shield 和 CyberSec Eval 2 的新版信任和安全工具。

Llama 3，性能重回王座

最新发布的 8B 和 70B 参数的 Llama 3 模型可以说是 Llama 2 的重大飞跃，由于预训练和后训练（Post-training）的改进，本次发布的预训练和指令微调模型是当今 8B 和 70B 参数规模中的最佳模型。与此同时，后训练过程的改进大大降低了模型出错率，进一步改善了一致性，并增加了模型响应的多样性。

Llama 3 将数据和规模提升到新的高度。Meta 表示，Llama 3 是在两个定制的 24K GPU 集群上、基于超过 15T token 的数据上进行了训练 —— 相当于 Llama 2 数据集的 7 倍还多，代码数据相当于 Llama 2 的 4 倍。从而产生了迄今为止最强大的 Llama 模型，Llama 3 支持 8K 上下文长度，是 Llama 2 容量的两倍。

此外，Meta 还开发了一套新的高质量人类评估数据集。该评估集包含 1800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色、开放式问答、推理、重写和总结。为了防止 Llama 3 在此评估集上出现过度拟合，Meta 表示他们自己的团队也无法访问该数据集。下图显示了针对 Claude Sonnet、Mistral Medium 和 GPT-3.5 对这些类别和提示进行人工评估的汇总结果。

下图是 Llama 3 预训练模型和其他同等规模模型的比较，前者表现出 SOTA 水平。

Llama 3 是一个很好的例子，说明了这些人工智能模型的扩展速度有多快。扎克伯格表示，去年发布的 Llama 2最大版本拥有 700 亿个参数，而即将推出的 Llama 3 大型版本将拥有超过 4000 亿个参数。 Llama 2 使用 2 万亿个 token（本质上是构成模型的单词或具有基本含义的单位）进行训练，而 Llama 3 的大版本拥有超过 15 万亿个 token。 （OpenAI 尚未公开确认 GPT-4 中的参数或代币数量。）

Llama 3 的一个重点是有意义地减少其错误拒绝的次数，即模型说它无法回答实际上无害的提示的次数。扎克伯格提供的一个例子是要求它制作“杀手玛格丽塔”。

下一步是什么？

8B 和 70B 两个型号的模型，标志着 Llama 3 系列的开端，下一步还会有更多。

Meta 表示， 「最大的 Llama 3」参数超过 400B，虽然这些机型仍在训练中，但在接下来的几个月中也将陆续发布，新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。

一旦完成 Llama 3 的训练，Meta 还将发表一篇详细的研究论文。

人工智能模型的变革步伐如此之快，即使 Meta 目前凭借 Llama 3 重新跻身开源排行榜榜首，谁知道明天会发生什么。据传OpenAI正在准备 GPT-5，这可能会再次超越业界其他公司。当我向扎克伯格询问此事时，他说 Meta 已经在考虑 Llama 4 和 5。对他来说，这是一场马拉松，而不是短跑。

“目前，我们的目标不是与开源模型竞争，”马克说。 “这是为了与世界上的一切竞争，并成为世界领先的人工智能。”

也许只有 OpenAI 的 GPT-5 才能压下开源模型了。

服务类型	教程
ChatGPT Plus	2024年升级ChatGPT Plus最详细图文教程 2024年手把手教你升级 ChatGPT Plus 2024年教你使用电子邮箱轻松注册chatgpt账号 ChatGPT 无法登录提示「Unable to load site」怎么办？
Claude 3	Claude 3 打响科技“军备”竞赛之一——【什么是 Claude 3？】 Claude 3 打响科技“军备”竞赛之二——【如何升级 Claude 3？】
Apple ID【美区】	苹果手机如何注册美区Apple ID并绑卡（解决支付问题）？
Onlyfans	2024年手把手教你使用虚拟信用卡订阅 Onlyfans
Midjourney	什么是 Midjourney 以及 如何订阅 Midjourney？
OpenAI Sora	What is OpenAI Sora?–小白必看
YouTube	【2024】如何订阅 YouTube Premium 会员服务？
Gmail谷歌邮箱	【2024】如何注册Gmail谷歌邮箱？