在 Mac（M1、M2 或 M3）上运行最新大语言模型 Llama 3 的分步指南

运维资讯 2024-05-06 法医手机阅读

Apple Silicon Mac 上的 Meta Llama 3

您是否正在寻找一种在基于 Apple Silicon 的 Mac 上运行最新 Meta Llama 3 的最简单方法？那么，来对地方了！

在 Mac（M1、M2 或 M3）上运行最新大语言模型 Llama 3 的分步指南-1

在本指南中，我将向您展示如何在本地运行此功能强大的语言模型，从而允许您利用自己计算机的资源来保护隐私和离线可用性。本教程将包括设置一个类似于 ChatGPT 的用户友好界面，所有这些都在您自己的计算机上完成。

我将保持行文简洁，并为您提供在本地运行它的步骤，包括使用 ChatGPT 等漂亮的 UI。

您需要什么：OllamaOllama 是一个专门设计的设置工具，用于在 macOS 上直接运行大型语言模型，如 Llama 3、Mistral 和 Gemma。您可以从下载 Ollama 开始。有关 Ollama 提供的更多详细信息，请查看 GitHub 存储库：https://github.com/ollama/ollama

在macOS上下载Ollama

设置完成后，可以在新的终端会话中运行以下命令，以查看它是否已设置并准备就绪

ollama -v

选择您的型号现在，根据您的 Mac 资源，您可以运行基本的 Meta Llama 3 8B 或 Meta Llama 3 70B，但请记住，您需要足够的内存才能在本地运行这些 LLM 模型。我用 M1 Max 64 GB RAM 测试了 Meta Llama 3 70B，性能相当不错。要运行Meta Llama 3 8B，基本上运行以下命令：（4.7 GB）