GPUStack安装和应用

来源：htmlDecode("奔牛聊AI")

原文链接：https://mp.weixin.qq.com/s/--q2KP-2jo0k47crIgMzGg

---

GPUStack 是一个开源的大模型即服务平台，可以高效整合并利用 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种异构的 GPU/NPU 资源， 只需简单傻瓜化操作就能部署各种强大的开源模型，比如：大语言模型，视频生成模型，图片生成模型，音频生成模型等等。为各企业提供一套 本地私有部署大模型 的 解决方案。

1.GPUStack安装

注意：电脑支持 NVIDIA 的 GPU，并已安装好驱动 ，否则无法 安装

1.1打 开 powershell

按下 win  +R 键，搜索并打开powershell：

1.2 拉取镜像并创建容器

在 powershell 命令行中输入如下命令 ：
& docker run -d --name   gpustack
     --restart=unless-stopped   --gpus   all
     -p   8080:80 -p   10150:10150
     -p   40064-40131:40064-40131 --ipc=host
     -v   gpustack-data:/var/lib/gpustack gpustack/gpustack
     --worker-ip   192.168.0.108
注意：192.168.0.108是安装主机的IP地址
查看是否安装成功:

查看容器是否启动：

1.3 页面 登录

1.获取界面登录密码:
初始免密需要进入容器查看初始密码：
docker exec -it gpustack bash
cat /var/lib/gpustack/initial_admin_password
2. 登录界面
浏览器输入： http://localhost:8080/#/login  即可访问
用户名  admin ，密码为上面获得的初始密码。

2. 模型下载

2.1 LLM 模型下载

点击  模型库  ，这里我们选择的模型 是: deepseek-r1 -1.5B

点击部署以后，可以看到下载 和运行 的信息

2.2  embedding模型下载

点击  模型库  ，这里我们选择的模型 是: bge-large-zh-v1.5

点击 保存 以后，可以看到下载 和运行 的信息

2.3  rerank模型 下载

点击  模型库  ，这里我们选择的模型 是: bge-reranker-large
他对中英文 支持都很不错

点击 保存 以后，可以看到下载 和运行 的信息

3. 模型 应用

3.1 获取GPUstack 的API访问密钥

3.2 GPUstack供应商插件安装

来到Dify，点击右上角用户头像--》设置--》 模型 供应商， 安装模型供应商中 找到 GPUstack ，安装 GPUstack供应商 插件，用来配置模型

3.3 配置 LLM 模型

选择模型类型,填写模型名称和 服务器地址 等信息
模型名称:部署模型时的模型名称
服务器地址为： http://host.docker.internal:8080
API key:GPUstack 页面中的API访问密钥

3.4 配置embedinig模型

嵌入模型配置和 LLM 模型的配置类似    

3.5 配置rerank模型

rerank模型配置 和 LLM 模型的配置类似

至此大模型部署平台 GPUStack 安装配置完毕