AI 研究助理

基于站内最新资料，回答 AI 前沿问题

回答带出处引用，支持多轮追问，当前页面内容会作为上下文

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告
项目多模态语音克隆开源本地推理多语言

debpalash/VoiceStudio

在 GitHub 查看
AI 解读已生成 · AI 生成，数字以原文为准
AI 全文总结值得深入基于项目 README 1.3 万字 + 2 个源文件 · 完整阅读

VoiceStudio 开源语音克隆/配音/转写，支持 646 种语言

VoiceStudio 定位为本地优先的开源语音工作台，支持 646种语言 的语音克隆、声音设计、视频配音、听写、转录与有声书制作，默认由 k2-fsa/OmniVoice 驱动并允许更换引擎。可经官网一键脚本或 Releases 包安装，硬件覆盖 NVIDIA CUDA、Apple Silicon Metal、CPU 与实验性 Windows on ARM，Intel Mac 仅连远程后端；Electron 是唯一桌面/Web 界面，版本 0.5.7，并提供 Local API、MCP 与手机伴侣预览，agent 可经 npx skills add debpalash/VoiceStudio 自动化安装。后端依赖 torch、transformers、WhisperX/faster-whisper 等，通过 setuptools、pyannote、pedalboard 的版本上限规避 pkg_resources 缺失、新版不兼容与 0.9.21+ SIMD 崩溃，WhisperX 对齐（±10–30ms）改善配音口型同步。应用按 AGPL-3.0-only 发布，模型权重与声音另受许可约束，克隆需授权，Model Manager 仅展示来源与审查缺口、不认证商业使用。

  1. 1一条命令安装 Electron 桌面，支持指定版本与卸载
  2. 2默认引擎本地硬件推理，远程服务需同意才启用
  3. 3依赖 pin 绕开 pkg_resources、pyannote 与 SIMD 故障

为什么重要　对构建 Agent 语音入口或本地视频配音管线的工程师，提供 Local API/MCP 与本地硬件推理适合　做语音克隆、视频配音、本地 TTS 与 Agent 集成的工程与 AI 应用开发者

来源
github.com
发布
2026/10/21
作者
debpalash

语言占比

  • Python 50.8%
  • JavaScript 22.6%
  • TypeScript 21.4%
  • Swift 1.5%
  • Kotlin 1.3%
  • Rust 0.7%
许可证
AGPL-3.0-only
Python 要求
=3.11
包管理
bun@1.4.2
桌面框架
Electron only
646种

语言支持

语音克隆/生成/转录等

OmniVoice

默认引擎

由 k2-fsa 提供

约 5 GB

CPU 磁盘

无独显时装 CPU PyTorch

>=2.4

Torch

后端依赖

注释 · 这些是项目定位与运行底座，决定硬件与集成路径出自 README·开头与安装

  • Python
    50.8%
  • JavaScript
    22.6%
  • TypeScript
    21.4%
  • Swift
    1.5%
  • Kotlin
    1.3%
  • Rust
    0.7%

注释 · 平台统计占比，不反映运行时代码规模出自 平台数据·语言占比

  1. 1
    macOS/Linux 一键安装
    $ curl -fsSL https://voicestudio.sh/install | sh
  2. 2
    安装指定 Electron 发布
    $ curl -fsSL https://voicestudio.sh/install | sh -s -- --version X.Y.Z
  3. 3
    Windows PowerShell 安装
    $ irm https://voicestudio.sh/install | iex
  4. 4
    准备 Python 依赖再启动 Electron
    $ bun run setup:api
  5. 5
    运行隔离打包冒烟测试
    $ bun run smoke-test

中文（AI 翻译）

VoiceStudio 是一个开源、完全本地运行的 ElevenLabs 替代方案。它提供语音克隆、声音设计、视频配音、听写、转录和有声书创作，支持 646 种语言。

原文

VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audiobook creation in 646 languages.

深度总结

1 / 6
依赖版本与 pin 原因· 参数清单

setuptools<80、pyannote<4、术语解释Spotify 的音频处理库，这里因 SIMD 构建问题被 pin<0.9.21 为避免上游不兼容而封顶

setuptools
=75,<80；80+ 移除 pkg_resources 导致 术语解释基于 faster-whisper 的 ASR，带 wav2vec2 词级时间对齐 损坏
术语解释说话人分割库，版本兼容影响 WhisperX
=3.3.2,<4.0；4.x 删除 use_auth_token 破坏 术语解释基于 faster-whisper 的 ASR，带 wav2vec2 词级时间对齐
术语解释Spotify 的音频处理库，这里因 SIMD 构建问题被 pin
=0.9.14,<0.9.21；0.9.21+ Linux x86_64 轮子可能 SIGILL
Pillow
=12.1.0；12.1 新增 get_flattened_data
术语解释基于 faster-whisper 的 ASR，带 wav2vec2 词级时间对齐
=3.1.0；主 ASR，词级对齐 ±10-30 ms
mlx-whisper
=0.2.1；仅 Apple Silicon 加速

注释 · 版本上界都是临时 pin，上游修复后可移除出自 pyproject.toml·dependencies