Xinference安装和应用
Xinference安装和应用
来源：htmlDecode("奔牛聊AI")
原文链接：https://mp.weixin.qq.com/s/USLJU8Geoh1YLckBQIgLAg
Xinference（全称Xorbits Inference）是一个性能强大且功能全面的分布式推理框架，旨在为各种AI模型的运行和集成提供便捷的解决方案。借助Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。通过 Xorbits Inference，可以轻松地一键部署你自己的模型或内置的前沿开源模型 。
1. Xinference安装
注意：安装xinference需要电脑支持 NVIDIA 的 GPU，否则，后面的步骤无法运行
1.1打开 powershell 命令端
按下 win +r 键，搜索并打开powershell：
1.2 创建容器 的挂载 目录
mkdir "E:\xinference"
注意：目录位置可以根据自己电脑情况进行调整， 此目录以后用于 xinference的数据 存放,包括大模型安装文件
1.3 拉取镜像并创建容器
在 powershell 命令行中输入如下命令 ：
& docker run -d --name xinference
-v "E:\xinference:/xinference" -e XINFERENCE_HOME="/xinference"
-p 9997:9997 --gpus all
xprobe/xinference:latest `
xinference-local -H 0.0.0.0 --log-level debug
第一次安装需要下载镜像，请耐心等待
查看是否安装成功:
出现上面信息，说明 xinference 已经完成安装
1.4 页面 登录
浏览器输入： http://localhost:9997
2. 模型下载
2.1 embedding模型下载
点击 EMBEDDING MODELS ， 选择模型 bge-large-zh-v1.5
配置模型下载参数
Docker 容器内 查看 下载 运行 信息
Web页面查看运行状态:
2.2 rerank模型下载
点击 RERANK MODELS ， 选择 模型： bge-reranker-large
配置模型下载参数
Docker 容器内 查看 下载 运行 信息
Web页面查看运行状态:
2.3 LLM模型下载
点击 LANGUAGE MODELS ， 选择 模型： qwen1.5-chat,注意安装该模型需要魔法
配置模型下载参数
Docker 容器内 查看 下载 运行 信息
Web页面查看运行状态:
3. 模型 应用
3.1 Xiference供应商插件安装
来到Dify，点击右上角用户头像--》设置--》 模型 供应商， 安装模型供应商中 找到 Xorbits Inference ，安装Xiference插件，用来配置模型
3.2配置embedinig模型
主要填写信息：
类型选择 ： Text Embedding
模型名称 :web页面中运行的模型名称
模型ID ： web页面中运行模型的id
服务器URL： http://host.docker.internal:9997
其他选项默认
3.3配置 rerank模型
rerank模型 与 嵌入模型配置类似
类型选择 ： rerank
模型名称 :web页面中运行的模型名称
模型ID ： web页面中运行模型的id
服务器URL： http://host.docker.internal:9997
其他选项默认
3.4配置LLM 模型
LLM 模型 与 嵌入模型配置类似
类型选择 ： LLM
模型名称 :web页面中运行的模型名称
模型ID ： web页面中运行模型的id
服务器URL： http://host.docker.internal:9997
其他选项默认
3.5查看模型
3.6测试模型
4. Xinference 重启
4.1通过命令行启动模型
进入容器内部操作：
docker exec -it xinference bash
4.2启动常用模型
# 启动 Rerank 模型（如 bge-reranker-large）
xinference launch --model-name bge-reranker-large --model-type rerank
# 启动 Embedding 模型（如 bge-large-en）
xinference launch --model-name bge-large-en --model-type embedding