Ollama

类型： 本地 LLM 运行平台（开源）
官网： https://ollama.com
定位： 本地 AI 界的 "Docker"——一行命令下载并运行开源大模型

核心能力

能力	说明
一键运行	`ollama run model-name` 下载并启动
模型库丰富	Qwen3.6、Gemma 4、DeepSeek V4 Pro、Llama、Mistral 等
OpenAI 兼容 API	内置 REST API（localhost:11434），无缝替换云端 API
跨平台	macOS / Linux / Windows
多尺寸选择	同一模型有不同参数量版本，按硬件配置选择

ollama run qwen3:14b          # 下载并运行模型
ollama list                    # 列出已安装模型
ollama rm model-name           # 删除模型

ModelScope 社区提供 GGUF 格式模型托管：

ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF

Hermes Agent 在更新中已支持 Ollama 作为模型供应商，允许在完全本地、零 API 费用的条件下运行 Agent。