通过AMD Ryzen AI和Radeon 7000系列显卡体验Meta Llama 3

通过AMD Ryzen AI和Radeon 7000系列显卡体验Meta Llama 3

供稿 / 2024-04-29 17:32544

AMD的AI战略侧重于通过广泛的训练和推理计算引擎组合、开放和成熟的软件功能来实现生态系统,并通过共同创新来培育AI生态系统。我们将继续专注于使每个人都能使用下一代AI模型,并使各行各业从AI中获益。

我们对Meta最近发布的Llama 3模型非常振奋。Llama 3是Meta迄今为止功能最强的开源模型,在HumanEval、GPQA、GSM-8K、MATH和MMLU基准测试中取得了强悍的成绩。Llama 3有80亿和700亿参数模型,前者适用于客户端用例,后者适用于更多的数据中心和云用例。  

 

好消息是,拥有基于Ryzen AI的AI PC或AMD Radeon 7000系列显卡的AMD客户,无需任何编码技能,即可完全在本地体验Llama 3。

AMD 锐龙7040系列移动处理器(除锐龙5 7540U和锐龙3 7440U之外)和AMD 锐龙 8040系列移动处理器(除锐龙5 8540U和锐龙3 8440U之外)内置了专为处理新兴的AI工作负载而设计的神经处理单元(NPU)。NPU算力最高达16 TOPs,允许用户以卓越的电源效率执行AI工作负载。AMD Ryzen AI APU还包括CPU和iGPU,用于处理按需任务。

在本文中,我们将演示如何在AMD硬件上快速轻松地运行Meta的Llama 3 Instruction 80亿参数模型。 

下载LM Studio的正确版本:

AMD 锐龙处理器版

AMD Radeon RX 7000 系列显卡版

LM Studio - Windows  

LM Studio – ROCm(TM) technical preview 

2. 运行该文件。

3.点击Llama 3 - 8B指示卡上的“Download(下载)”按钮。

通过AMD Ryzen AI和Radeon 7000系列显卡体验Meta Llama 3(1)880.png 

4. 下载后,单击屏幕左侧的聊天图标。

通过AMD Ryzen AI和Radeon 7000系列显卡体验Meta Llama 3(1)900.png 

5. 从顶部中间的下拉列表中选择Llama 3。

通过AMD Ryzen AI和Radeon 7000系列显卡体验Meta Llama 3(1)927.png 

6.  当出现提示时,选择“Accept New System Prompt(接受新系统提示)”。

通过AMD Ryzen AI和Radeon 7000系列显卡体验Meta Llama 3(1)977.png 

如果您使用的是基于AMD Ryzen AI的AI PC,请开始聊天!

对于使用AMD Radeon 7000系列显卡的用户,只有几个额外的步骤:

 点击右侧的“高级配置(Advanced Configuration)”。

通过AMD Ryzen AI和Radeon 7000系列显卡体验Meta Llama 3(1)1093.png 

9. 向下滚动,直到看到“Hardware Settings(硬件设置)”。确保选择“GPU Offload(卸载)”,并且滑块一直向右(最大值)。如果出现提示,点击“Reload model to apply configuration(重新加载模型以应用配置)”。

通过AMD Ryzen AI和Radeon 7000系列显卡体验Meta Llama 3(1)1231.png 

10.  开始与Meta的新Llama 3聊天机器人聊天。  

就是这么简单。

AMD致力于推进AI,让各行各业从AI中获益。AMD的AI PC使每个人都能从AI消费应用的增长中受益。


发表评论