GPU利用率不到15%，AI产业最大的浪费正在被这家公司改写｜甲子光年
GPU利用率不到15%，AI产业最大的浪费正在被这家公司改写｜甲子光年
来源类型： 微信公众号文章
日期： 2026-06-02
标签： AI, 办公效率, 网络安全, 编程, 数字化, 自动驾驶, 芯片, 大模型
原文链接： https://mp.weixin.qq.com/s/vCZTUcafBkVnZ3qY-stmEA
摘要
AI算力的VMware时刻：趋动科技与“软件定义GPU”的十年长跑。 作者｜王艺 编辑｜栗子 OpenAI把大模型推向大众市场之后，AI产业的叙事迅速从“能不能做”切换到了“值不值得做”。模型能力还在攀升，企业部署AI应用的热情也在持续高涨：客服、营销、研发、办公、数据分析，几乎每一个数字化场景都在被重新改写。 但热潮的另一面同样明显——应用越多、调用越频繁、账单越厚，越来越多企业开始发现，真正卡住AI落地速度的，不只是模型效果，还有成本结构。 表面上看，贵的是Token；再往下拆，贵的是算力；再往深处看，贵的其实是“没有被有效组织起来的算力”。 从CPU虚拟化催生云计算时...
核心内容
AI算力的VMware时刻：趋动科技与“软件定义GPU”的十年长跑。
作者｜王艺
编辑｜栗子
OpenAI把大模型推向大众市场之后，AI产业的叙事迅速从“能不能做”切换到了“值不值得做”。模型能力还在攀升，企业部署AI应用的热情也在持续高涨：客服、营销、研发、办公、数据分析，几乎每一个数字化场景都在被重新改写。
但热潮的另一面同样明显——应用越多、调用越频繁、账单越厚，越来越多企业开始发现，真正卡住AI落地速度的，不只是模型效果，还有成本结构。
表面上看，贵的是Token；再往下拆，贵的是算力；再往深处看，贵的其实是“没有被有效组织起来的算力”。
从CPU虚拟化催生云计算时代，到GPU虚拟化开启智算新纪元，算力产业的每一次跃迁，本质上都是“软件重新定义硬件”的故事。趋动科技押注的，正是这样一个历史性的结构转折点：当AI从实验室走向千行百业，决定其最终普及速度的，不是谁家的模型更聪明，而是谁能把算力的成本降到足够低、供给做到足够稳。淘金热中最确定的赢家，从来不是挖到最大金块的人，而是那个把铲子卖给所有玩家的人。
在AI产业从“能用”迈向“用得起”的关键转折中，趋动科技正试图成为那把不可或缺的铲子。
1.算力的终局，由软件定义
过去很长一段时间，行业对“算力贵”的理解，更多停留在供给侧：高端GPU太少、芯片太贵、智算中心建设投入太大。但在趋动科技创始人王鲲看来，随着国产GPU持续进步、各地智算中心密集上马，问题已经不只是“有没有卡”，而是“这些卡有没有被真正用起来”。当AI进入应用时代，决定成本曲线的，不再只是名义上的装机量，而是能够被稳定调用的有效算力规模。
**
**
一组数据足以说明问题。AWS曾公开提到过GPU利用率大约在10%—30%；而趋动科技接触到的国内很多客户GPU利用率低于15%，甚至还有不少低于10%。这意味着，今天AI产业里大量最昂贵的基础设施，并没有持续转化成对应的生产力。
**
**
一台华为910C服务器约200万元，一台英伟达B300服务器近期价格也涨到了近600万元；如果算力利用率只有10%，那意味着90%的昂贵资产，长期处于“买了、装了、分了，但没真正高效使用”的状态。可以说，今天的AI产业缺的并不只是算力，更是那些“会流动的算力”。
而这，正是趋动科技想解决的问题。
要理解趋动科技在做的事，需要先理解一个更底层的逻辑。
人类使用算力的方式，最终只有两种：要么直接通过硬件使用算力，要么通过一层软件来使用硬件的算力。前者是“硬件定义算力”，后者是“软件定义算力”。两者的区别，不只在于技术路径，而在于“算力能否被高效复用”。
如果用户直接操作硬件，用户和硬件之间就存在绑定关系：一张卡分给一个人、一个团队、一个业务，即便大部分时间没在用，这张卡也很难被别人拿去复用。
而如果用户不是直接操作物理硬件，而是通过一层软件来使用硬件，那么软件就可以在用户无感知的情况下，对底层硬件进行切分、调度、复用和池化。于是，原本“独占”的算力，才有可能变成“共享”的算力。
“直接使用硬件，意味着用户和硬件之间有绑定关系，”王鲲解释道。“就像酒店的长包房，你在那租六个月901房间，哪怕你三天两头不来，这个房间也是锁着的，酒店少卖了钱。但如果这个901不是一个物理的901，是一个虚拟的901呢？你只要来住，我随便找一间空房，说它是901，你也觉得它是901——这不就成了吗？”
这就是虚拟化的逻辑本质——把硬件从“独占”变成“共享”，把资源从“静态绑定”变成“动态调度”。
**
**
这个逻辑并不新鲜。二十多年前，VMware用完全相同的思路对CPU做了虚拟化——一台物理服务器变成多台虚拟服务器，把企业数据中心的CPU利用率从10%拉到了60%到70%。这一技术直接催生了云计算时代，VMware也因此成长为市值近700亿美元的基础设施巨头，最终被博通以610亿美元收购。
今天，同样的故事正在GPU领域重演。趋动科技正试图在不改变用户体验的前提下，把“独占GPU”变成“共享算力池”。
在趋动科技的方案里，用户感知到的仍然像是一张“自己的卡”，但后台真正运行的已经不是固定的物理GPU，而是一个可统一调度的资源池。用户不用时，这张“虚拟卡”并不占用真实资源；用户真正发起任务时，系统才会在池子里为其即时分配可用算力——换句话说，趋动科技试图把GPU从一个必须被提前买断、长期绑定的硬件资产，变成像票据一样可以被动态领取、即时兑付的资源单元。
这种逻辑听起来像云计算，但做起来比云计算早期的CPU虚拟化更难。
云计算的本质是共享经济。共享经济的前提是多租户对资源的复用，复用的前提是所有硬件都要能被“软件定义”。趋动科技认为，GPU不能继续以硬件独占的粗放方式来使用，而是需要通过软件，进行精细化的管理和使用。
**
**
英伟达自2006年推出CUDA生态以来，在全球高性能计算领域建立了一个从硬件到软件、从开发到部署的完整技术闭环，形成了极高的迁移成本和生态壁垒，拥有高达95%的市占率（2025年Q4数据），这导致AI应用的开发高度依赖英伟达CUDA生态，很多AI应用的本质是“CUDA应用”。
2024Q1-2025Q4美国和中国各大厂拥有的AI芯片 ，图源：Epoch AI
趋动科技要做的，实际上是去模拟并兼容整套CUDA生态，让用户在尽量无感的前提下，继续像调用原生GPU那样调用底层算力。他们把自己类比为“GPU时代的VMware”——“VMware为什么那么强？因为它既做了软件定义CPU，也做了软件定义存储、软件定义网络，是一个全套的方案。”王鲲说，“我们认为，未来的AI智算中心也一定需要这种软件定义化。除非你不希望提高利用率，不希望降低成本——只要你有这个需求，就一定要走多租户复用、共享经济的路子。”
2.算力“超卖”的真正门槛
GPU虚拟化并不是新话题，但大多数方案解决的，其实只是“切分”问题，而不是“池化”问题。
GPU虚拟化技术大致可以分成三层：硬件层、内核层和运行时层。硬件层的代表如NVIDIA MIG，优点是性能损失小，但只能固定比例切分，也只支持部分高端GPU；内核层的代表如vGPU、qGPU、cGPU，虽然更进一步，但本质上仍然更多站在“单张卡”的角度处理问题。它们可以切分，但很难把整个数据中心里分散的GPU真正组织成一个统一资源池，更难做到跨服务器、跨节点调用GPU、动态分配、自动释放与超分超售GPU。
CUDA软件栈架构，图源：中国计算机学会
趋动科技认为，真正有价值的，不是“把一张卡切成几份”，而是“让整个数据中心都变成一个池子”。因为只有池子足够大、调用边界不被单台服务器限制，GPU算力才能被“超卖”，资源的复用才能真正发生。
王鲲本硕博都毕业于中国科学技术大学，先后在IBM，微软和戴尔EMC工作多年，担任过戴尔EMC中国研究院院长。2007年他在IBM开始做CPU虚拟化；2012年开始做FPGA虚
...(内容截断，完整内容请查看原文)
本页由自动化脚本生成，待人工审核补充