GPUStack安装和应用
GPUStack安装和应用
来源类型： 微信公众号文章
日期： 2026-06-02
标签： AI, 芯片, 大模型
原文链接： https://mp.weixin.qq.com/s/--q2KP-2jo0k47crIgMzGg
摘要
GPUStack 是一个开源的大模型即服务平台，可以高效整合并利用 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种异构的 GPU/NPU 资源，只需简单傻瓜化操作就能部署各种强大的开源模型，比如：大语言模型，视频生成模型，图片生成模型，音频生成模型等等。为各企业提供一套本地私有部署大模型的解决方案。 ## 1.GPUStack安装 注意：电脑支持 NVIDIA 的 GPU，并已安装好驱动，否则无法安装 ## 1.1打开 powershell 按下 win +R键，搜索并打开powershell： ## 1.2拉取镜像并创建容器 在powershell命令行中输入如下...
核心内容
GPUStack 是一个开源的大模型即服务平台，可以高效整合并利用 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种异构的 GPU/NPU 资源，只需简单傻瓜化操作就能部署各种强大的开源模型，比如：大语言模型，视频生成模型，图片生成模型，音频生成模型等等。为各企业提供一套本地私有部署大模型的解决方案。
1.GPUStack安装
注意：电脑支持 NVIDIA 的 GPU，并已安装好驱动，否则无法安装
1.1打开 powershell
按下 win +R键，搜索并打开powershell：
1.2拉取镜像并创建容器
在powershell命令行中输入如下命令：
& docker run -d `
--name gpustack `
--restart=unless-stopped `
--gpus all `
-p 8080:80 `
-p 10150:10150 `
-p 40064-40131:40064-40131 `
--ipc=host `
-v gpustack-data:/var/lib/gpustack `
gpustack/gpustack `
--worker-ip 192.168.0.108
注意：192.168.0.108是安装主机的IP地址
查看是否安装成功:
查看容器是否启动：
1.3页面登录
1.获取界面登录密码:
初始免密需要进入容器查看初始密码：
docker exec -it gpustack bash
cat /var/lib/gpustack/initial_admin_password
2.登录界面
浏览器输入：http://localhost:8080/#/login 即可访问
用户名 admin，密码为上面获得的初始密码。
2.模型下载
2.1 LLM模型下载
点击 模型库 ，这里我们选择的模型是:deepseek-r1-1.5B
点击部署以后，可以看到下载和运行的信息
2.2 embedding模型下载
点击 模型库 ，这里我们选择的模型是:bge-large-zh-v1.5
点击保存以后，可以看到下载和运行的信息
2.3 rerank模型下载
点击 模型库 ，这里我们选择的模型是:bge-reranker-large
他对中英文 支持都很不错
点击保存以后，可以看到下载和运行的信息
3.模型应用
3.1 获取GPUstack 的API访问密钥
3.2 GPUstack供应商插件安装
来到Dify，点击右上角用户头像--》设置--》模型供应商，安装模型供应商中找到GPUstack，安装GPUstack供应商插件，用来配置模型
3.3配置LLM模型
选择模型类型,填写模型名称和服务器地址等信息
模型名称:部署模型时的模型名称
服务器地址为：http://host.docker.internal:8080
API key:GPUstack 页面中的API访问密钥
3.4配置embedinig模型
嵌入模型配置和LLM模型的配置类似
3.5配置rerank模型
rerank模型配置和LLM模型的配置类似
至此大模型部署平台GPUStack安装配置完毕
本页由自动化脚本生成，待人工审核补充