完全免费！用 Ollama 和 LM Studio 在本地运行 AI 大模型
完全免费！用 Ollama 和 LM Studio 在本地运行 AI 大模型
来源类型： 微信公众号文章
日期： 2026-06-02
标签： AI, 办公效率, 网络安全, 编程, 芯片, 大模型
原文链接： https://mp.weixin.qq.com/s/PjlXPJ-f9vxxXE5Uuiiedg
摘要
Hi，我是 Chris Chris 在社群、公众号后台经常收到大家的提问，XX 模型免费吗？类似的问题，可见大家对 AI 最关注的可能还是价格。 今天就来分享一下如何在本地运行 AI 大模型，用到的是两个目前非常主流的本地大模型工具：Ollama 和 LM Studio。一个适合开发者，一个适合所有人。 ## 为什么要本地运行大模型？ 在深入介绍工具之前，先说说本地运行的核心优势： - 💰零费用：没有 API 调用计费，运行多少次都不花钱 - 🔒隐私安全：数据完全留在本地，不上传任何服务器，适合处理敏感信息 - 🚀无网络依赖：断网也能用...
核心内容
Hi，我是 Chris
Chris 在社群、公众号后台经常收到大家的提问，XX 模型免费吗？类似的问题，可见大家对 AI 最关注的可能还是价格。
今天就来分享一下如何在本地运行 AI 大模型，用到的是两个目前非常主流的本地大模型工具：Ollama 和 LM Studio。一个适合开发者，一个适合所有人。
为什么要本地运行大模型？
在深入介绍工具之前，先说说本地运行的核心优势：
- 💰零费用：没有 API 调用计费，运行多少次都不花钱
- 🔒隐私安全：数据完全留在本地，不上传任何服务器，适合处理敏感信息
- 🚀无网络依赖：断网也能用，响应速度只取决于你的硬件
- 🛠️高度可定制：可以加载各种开源模型，自由调整参数
当然，本地运行也有局限：需要一定的硬件配置（主要是内存和显存），模型能力通常比 GPT-4、Claude 等顶级商业模型稍弱。但对于日常写作、代码辅助、文档问答等任务，完全够用。
Ollama
Ollama 是一个开源工具，让你能通过一行命令下载并运行各种主流开源大模型，堪称本地 AI 界的 "Docker"。它支持 macOS、Linux 和 Windows，背后维护活跃，更新很快。
官方网址：https://ollama.com/
如果你国内环境无法下载 Ollama，可以试试 https://cnb.cool/hex/ollama 下载安装。
支持哪些模型？
Ollama 的模型库非常丰富，比如最新的 qwen3.6/Kimi-k2.6/deepseek-v4-pro/glm-5.1 等等，如果按照系列划分的话，主要包括：
- Llama 系列：Meta 出品，综合能力强
- Qwen 系列：阿里出品，中文表现优秀
- Gemma 系列：Google 出品
- GLM 系列：智谱 AI 出品
- Minimax 系列：minimax 出品
- Mistral / Mixtral 系列：法国团队，代码能力突出
- DeepSeek 系列：国产推理模型，数学逻辑强
- Phi系列：微软出品，小而精
有非常多，这里没有全部列出，主要是看你电脑配置啦。
如何使用
首先到官网 https://ollama.com/download 下载并安装即可。
然后下载安装你需要的模型即可，你可以在 https://ollama.com/search 找到合适的模型，打开详情页，比如 Chris 这里打开最新 qwen3.6 模型页面：
然后根据你电脑性能，选择合适的模型尺寸，比如 Chris 电脑是 48G 内存的配置：
就可以选择 qwen3.6:27b尺寸的模型进行下载，这时候需要打开电脑命令行工具，输入 ollama run qwen3.6:27b命令，进行下载并运行。
等待下载安装完成后，就可以输入 ollama run qwen3.6:27b运行了，Chris 这里使用的是 qwen3:14b 模型进行演示，整体流程一样的，这时候你就可以自由跟这个 AI 大模型对话了：
这里有几个 Ollama 常用命令如下：
下载并运行 Llama 3（8B 参数版本）
ollama run llama3
下载并运行中文友好的 Qwen
ollama run qwen3
列出已安装的模型
ollama list
删除模型
ollama rm llama3
运行后直接在终端对话，或者通过它内置的 REST API（默认 http://localhost:11434）接入自己的应用，接口格式与 OpenAI API 兼容，几乎可以无缝替换。
国内模型加速下载
如果你在国内下载模型很慢，可以试试 ModelScope 的方案，在 https://modelscope.cn/models?libraries=GGUF 找到合适的模型，然后把命令里面模型名称改成：ollama run modelscope.cn/{model-id}，其中 {model-id} 替换成具体模型名称即可，格式是 {username}/{model}，比如：
ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF
ollama run modelscope.cn/second-state/gemma-2-2b-it-GGUF
ollama run modelscope.cn/Shanghai_AI_Laboratory/internlm2_5-7b-chat-gguf
{model-id}获取方式如下，打开一个模型页面后，复制上面红色框内容：
ModelScope社区上托管了上万个优质的GGUF格式的大模型（包括LLM和视觉多模态模型），并支持了Ollama框架和ModelScope平台的链接，通过简单的 ollama run 命令，就能直接加载运行ModelScope模型库上的GGUF模型。
参考文档：https://modelscope.cn/docs/models/advanced-usage/ollama-integration
客户端使用
通常对于普通人来说，这个黑乎乎的命令行界面很不方便，所以 Chris 推荐下一些客户端页面可以使用，跟在网页使用一样：
1.Ollama 官方客户端
在下载并安装好 Ollama 后，会自带一个客户端界面，你可以在输入框右下角直接选择要使用的 AI 模型，然后正常进行对话即可：
2.ChatWise 客户端
ChatWise 是一款本地 AI 大模型聊天客户端，官方网址：https://docs.chatwise.app/
使用方式也是类似，在对话页面左上角切换模型。
3.WiseMindAI 客户端
WiseMindAI 是一款本地优先的 AI 学习与知识工作台。不仅支持使用本地 AI 模型进行文档总结、对话，还支持 AI 知识库、知识卡片等功能。让资料处理、知识沉淀和成果输出都在一个地方完成。
官方网址：https://wisemindai.app/
当然，所有的对话记录你都可以保存成笔记、知识卡片，还可以做成海报直接分享，学习起来就特别的方便。
LM Studio
如果你不喜欢命令行，LM Studio 是更好的选择。它提供了一个漂亮的桌面 GUI，让你像用普通软件一样管理和使用本地大模型，支持 macOS、Windows 和 Linux。
官方网址：https://lmstudio.ai/
核心功能
1. 模型市场
内置模型搜索界面，可以直接搜索并下载 Hugging Face 上的 GGUF 格式模型，无需手动折腾。
2. 类 ChatGPT 对话界面
下载好模型后，可以直接在软件里和模型对话，界面清晰，支持多轮对话历史管理。
3. 本地 API 服务器
一键开启本地 Op
...(内容截断，完整内容请查看原文)
本页由自动化脚本生成，待人工审核补充