Xinference 分布式推理框架：Docker + GPU + 一键部署（奔牛聊 AI）

来源类型： 实战教程
日期： 2026
标签： #Xinference #分布式推理 #Docker #GPU #Xorbits

核心金句

"Xinference（全称 Xorbits Inference）是一个性能强大且功能全面的分布式推理框架，旨在为各种 AI 模型的运行和集成提供便捷的解决方案。"

"借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。通过 Xorbits Inference，可以轻松地一键部署你自己的模型或内置的前沿开源模型。"

5 步安装

1. 硬件要求

"注意：安装 xinference 需要电脑支持 NVIDIA 的 GPU，否则，后面的步骤无法运行。"

2. 打开 PowerShell

"按下 win+r 键，搜索并打开 powershell。"

3. 创建容器挂载目录

mkdir "E:\xinference"

"注意：目录位置可以根据自己电脑情况进行调整，此目录以后用于 xinference 的数据存放，包括大模型安装文件。"

4. 拉取镜像并创建容器

& docker run -d `
  --name xinference `
  -v "E:\xinference:/xinference" `
  -e XINFERENCE_HOME="/xinference" `
  -p 9997:9997 `
  --gpus all `
  xprobe/xinference:latest `
  xinference-local -H 0.0.0.0 --log-level debug

5. 验证安装

"第一次安装需要下载镜像，请耐心等待。"

关键洞察

1. Xinference

Xorbits
是核心

2. 分布式

推理框架
是亮点

3. Docker

部署
是基础

4. NVIDIA GPU

硬件要求
是配置

5. 9997

端口
是访问

与已有知识的关联

wiki/entities/xinference — Xinference
wiki/entities/xorbits — Xorbits
wiki/entities/nvidia — NVIDIA
wiki/entities/docker — Docker
wiki/entities/powershell — PowerShell
wiki/concepts/distributed-inference — 分布式推理
wiki/concepts/llm-deployment — LLM 部署
wiki/entities/benniu-liaoi — 奔牛聊 AI（作者）

资料来源

原文：https://mp.weixin.qq.com/s/USLJU8Geoh1YLckBQIgLAg
原始文件：raw/articles/大模型分析的/Xinference安装和应用.md
来源：奔牛聊 AI

我的判断（高置信度）

这是 2026 年 Xinference 分布式推理框架最实战的中文教程——5 步安装 + Docker + GPU。

关键洞察：
1. Xinference —— 是核心
2. 分布式 —— 是亮点
3. Docker —— 是基础
4. NVIDIA GPU —— 是配置
5. 9997 端口 —— 是访问