再与ChatGPT正面交锋?Meta推出Llama 3,号称“最强开源大模型”

再与ChatGPT正面交锋?Meta推出Llama 3,号称“最强开源大模型”

老李头 / 2024-04-19 13:4137390

Meta发布最新开源模型Llama 3,号称“有史以来最强大的开源大模型”。在Llama 3发布后没多久,就破纪录地登顶了全球开源AI社区Hugging Face排行榜,还使Meta股价在大盘小跌的情况下上涨了1.54%,影响力可见一斑。

a7d8b97c-95bc-49b1-8208-0d1802dc707f.jpg

据了解,此次Meta推出的Llama 3模型共有8B和70B两个版本,大版本的Llama 3将有超过4000亿参数,相比上一代有显著提升。Meta的CEO马克·扎克伯格表示,“根据我们目前看到的基准测试结果,Llama 3无疑是市场上目前免费提供的同类产品中最智能、性能最出色的大模型。”

官方介绍,Llama 3在两个定制的24K GPU集群上基于超过15T的数据新型了训练,这比Llama 2使用的数据集大7倍,代码也多出4倍,支持的8K上下文长度也是Llama 2容量的两倍。 

640.png

Llama 3与竞争对手的对比

Meta还在Llama 3的开发中采用了多种创新技术,包括数据并行化、模型并行化和管道并行化,极大提高了训练效率。同时,Meta也高度重视模型的安全性,推出了包括Llama Guard 2、Code Shield和CyberSec Eval 2在内的新版信任和安全工具,确保模型不会输出有害内容。

Meta还计划在未来几个月陆续推出更多功能丰富的Llama 3模型,包括支持多语种的版本,Llama 3将会被深度整合到Meta主要平台的搜索功能中,包括Facebook、Instagram、WhatsApp和Messenger等,升级后的Meta AI还将能够直接对链接内容进行简单总结。

此外,Meta选择以开源的方式发布Llama 3,意味着全球开发者都可以免费使用并改进这一模型。不过作为对比的是,百度创始人李彦宏也在近期表示,开源模型将会越来越落后,“大家以前用开源觉得开源便宜,其实在大模型场景下,开源是最贵的。所以开源模型会越来越落后。”


发表评论