无需API Key，不限制使用次数，完全本地化的开源免费AI语音工作室，高达27k stars！
无需API Key，不限制使用次数，完全本地化的开源免费AI语音工作室，高达27k stars！
来源类型： 微信公众号文章
日期： 2026-06-02
标签： AI, 编程, 芯片, 大模型
原文链接： https://mp.weixin.qq.com/s/OZ7XQxwHixX_74LNV5Jc9w
摘要
** ** ## 项目简介 Voicebox 是一个本地优先的 AI 语音工作室 —— 它是 ElevenLabs 和 WisprFlow 的免费开源一体式替代方案。你可以用几秒钟的音频克隆声音，支持 7 个 TTS 引擎和 23 种语言生成语音，通过全局热键在任意文本框中听写，还能让任何支持 MCP 的 AI Agent 使用你克隆的声音说话。 两大云服务巨头分别占据了语音 I/O 循环的两端（ElevenLabs 负责输出，WisprFlow 负责输入）。Voicebox 两者兼顾，并通过捆绑的本地 LLM 实现文本精炼和个性化角色，让整个流程完全在你...
核心内容
**
**
项目简介
Voicebox 是一个本地优先的 AI 语音工作室 —— 它是 ElevenLabs 和 WisprFlow 的免费开源一体式替代方案。你可以用几秒钟的音频克隆声音，支持 7 个 TTS 引擎和 23 种语言生成语音，通过全局热键在任意文本框中听写，还能让任何支持 MCP 的 AI Agent 使用你克隆的声音说话。
两大云服务巨头分别占据了语音 I/O 循环的两端（ElevenLabs 负责输出，WisprFlow 负责输入）。Voicebox 两者兼顾，并通过捆绑的本地 LLM 实现文本精炼和个性化角色，让整个流程完全在你的机器上运行。
核心亮点
- 完全隐私 —— 模型、语音数据和录音永不离开你的设备
- 7 个 TTS 引擎 —— Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA、Kokoro
- 语音克隆与预设声音 —— 零样本克隆（只需参考音频），或通过 Kokoro 和 Qwen CustomVoice 使用 50+ 精选预设声音
- 23 种语言 —— 涵盖英语、阿拉伯语、日语、印地语、斯瓦希里语等
- 后期处理效果 —— 音高偏移、混响、延迟、合唱、压缩、滤波器等
- 富有表现力的语音 —— Chatterbox Turbo 支持 [laugh]、[sigh] 等副语言标签；Qwen CustomVoice 支持自然语言指令控制表达
- 无限长度生成 —— 自动分块 + 交叉淡化，适合脚本、文章和章节
- 故事编辑器 —— 多轨时间线，支持对话、播客和叙事创作
- 语音输入 —— 全局听写热键（按住说话 / 切换模式），macOS 自动粘贴，Whisper STT
- Agent 语音输出 —— 一个工具调用（voicebox.speak）即可让 MCP Agent 用你克隆的声音和你对话
- 语音人格 —— 为每个声音配置文件附加自由形式的人格，通过本地 LLM 实现“以角色身份写作/回应”
- API 优先 —— REST API + 内置 MCP 服务器，方便集成到自己的应用和 Agent 中
- 原生性能 —— 基于 Tauri（Rust）构建，非 Electron
- 跨平台运行 —— macOS（MLX/Metal）、Windows（CUDA）、Linux、AMD ROCm、Intel Arc、Docker
主要特性
多引擎语音克隆
七个 TTS 引擎，各有特色，可在每次生成时切换：
引擎语言优势特点Qwen3-TTS (0.6B / 1.7B)10高质量多语言克隆，支持“慢慢说”、“耳语”等表达指令Qwen CustomVoice109 个精选预设声音，支持自然语言表达控制，无需参考音频LuxTTS英语轻量（~1GB VRAM），48kHz 输出，CPU 上 150 倍实时Chatterbox Multilingual23最广语言覆盖（阿拉伯语、丹麦语、芬兰语、希腊语、希伯来语、印地语等）Chatterbox Turbo英语快速 350M 模型，支持副语言情感/声音标签TADA (1B / 3B)10HumeAI 语音-语言模型，700+ 秒连贯音频Kokoro850 个精选预设声音，82M 极小模型，CPU 快速推理
（后续特性如情绪标签、后期处理效果、无限长度生成、故事编辑器、全局听写、Agent 语音输出、语音人格、模型管理、GPU 支持等详见原文）
关键技术
Voicebox 是一个本地优先（local-first）的 AI 语音工作室，采用客户端-服务器架构，核心目标是实现完整的语音 I/O 循环（TTS + STT + Agent 集成），全部在本地运行，强调隐私、性能和跨平台支持。
1. 整体架构（Client-Server + Tauri Sidecar）
- 桌面应用：使用 Tauri（Rust）构建，原生性能（非 Electron），体积小、内存占用低。
- Rust 侧负责：启动 Python Backend 作为 sidecar 进程、原生文件对话框、系统托盘、自动更新、父进程 watchdog（防止崩溃后孤儿进程）。
- Frontend（React 应用）：通过 HTTP 调用 Backend API（localhost:17493）。
- Backend：Python FastAPI 服务器，提供 REST API + MCP 服务器。
- 开发时独立运行 uvicorn，生产时打包为 PyInstaller 可执行文件作为 Tauri sidecar。
- 通信：Frontend ↔ Backend 通过 HTTP + SSE（Server-Sent Events 用于生成进度）。
2. 前端技术栈
- 框架：React 18 + TypeScript
- 状态管理：Zustand
- 数据获取：React Query（TanStack Query）
- 样式：Tailwind CSS
- 音频处理/波形：WaveSurfer.js
- 构建：Vite（tauri 子目录下）
3. 后端技术栈（核心）
- Web 框架：FastAPI（Python 3.11+），自动生成 OpenAPI 文档。
- 数据库：SQLite + SQLAlchemy（ORM），支持 Profiles、Generations、Versions 等模型。
- 音频处理：
- Pedalboard（Spotify）—— 后期效果（Pitch Shift、Reverb、Delay、Chorus、Compressor 等）。
- librosa、soundfile —— 音频 I/O、trim、resample、crossfade。
- 模型管理：Hugging Face 下载、缓存、本地路径自定义（VOICEBOX_MODELS_DIR）。
4. AI 推理核心（多引擎 + 多后端）
TTS 引擎（7 个，可插拔注册表设计）：
- Qwen3-TTS / Qwen CustomVoice（Alibaba）
- LuxTTS、Chatterbox（Multilingual + Turbo）、HumeAI TADA、Kokoro
STT：OpenAI Whisper（Base/Small/Medium/Large/Turbo）。
本地 LLM（用于 Personality
...(内容截断，完整内容请查看原文)
本页由自动化脚本生成，待人工审核补充