ai newsFr., 23. Okt.
EilmeldungJetzt auch von Anthropic: Proaktiver KI-Agent für den Arbeitsalltag

VoiceStudio: Open-Source-Alternative zu ElevenLabs laeuft komplett lokal

Das Projekt VoiceStudio bietet Sprachklonen, Dubbing und Unterstuetzung fuer 646 Sprachen ohne Zeichenpreise, Rate Limits oder Datenabfluss an externe Server.

dev.toFreitag 13:37 · 23.10.DE3 Min. Lesezeit
Bild: dev.to

Sie haben ElevenLabs genutzt. Sie kennen die Qualität. Sie kennen aber auch die Rechnung: Preis pro Zeichen, Rate-Limits und Ihre Audiodaten, die Ihren Rechner verlassen.

Was wäre, wenn Sie vergleichbares Voice Cloning, Videodubbing, Transkription und Hörbucherstellung in 646 Sprachen vollständig auf Ihrer eigenen Hardware betreiben könnten, ohne API-Kosten und ohne dass Daten abfließen?

Genau das bietet VoiceStudio (debpalash/VoiceStudio, 82.2k ⭐). Es ist eine Electron-Desktop-App mit einem lokalen Python-Backend, das mehrere hochmoderne offene TTS-Engines bündelt. Sie installieren es einmal. Es läuft offline. Ihre Sprachdaten verlassen niemals Ihren Rechner.

VoiceStudio ist keine dünne Hülle um ein einzelnes Modell. Es ist eine Multi-Engine-Orchestrierungsschicht, mit der Sie die TTS-Backends direkt aus der Benutzeroberfläche wechseln können, wobei jeweils nur eine geladen wird, um den Speicherverbrauch niedrig zu halten:

*OmniVoice-Lizenz: Prüfen Sie die LICENSE in k2-fsa/OmniVoice vor einer kommerziellen Nutzung.

Dazu kommen Whisper large-v3-turbo (etwa 1.6 GB) für die Transkription innerhalb der App (99 Sprachen, Export als.srt/.vtt) sowie M2M-100 und Argos Translate für die Offline-Übersetzung, die das plattformübergreifende Dubbing ermöglicht.

Der Per-Segment-Cache ist ein subtiler, aber entscheidender Punkt: Wird derselbe Text mit derselben Stimme und Konfiguration erneut ausgeführt, wird die zwischengespeicherte WAV-Datei verwendet (die Modelle sind deterministisch). Ein Button namens Regenerate erzwingt eine neue Aufnahme, wenn Sie eine Abwechslung möchten.

┌─────────────────────────────────────────────────────────────┐ │ Electron Frontend (React/TypeScript, Vite) │ │ - UI für alle vier Modi, Stimmenverwaltung, Modellauswahl │ │ - Kommuniziert über lokales HTTP/WebSocket mit dem Backend │ └──────────────────────────┬──────────────────────────────────┘ │ ┌───────────────┼───────────────┐ ▼ ▼ ▼ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ Haupt-Env │ │ Isolierte │ │ Isolierte │ │ (VibeVoice, │ │ Env: │ │ Env: │ │ Kokoro, │ │ Chatterbox │ │ OmniVoice, │ │ Kitten, │ │ │ │ VoxCPM2, │ │ Whisper) │ │ │ │ Qwen3-TTS │ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │ └───────────────┼───────────────┘ ▼ ┌─────────────────────────┐ │ Disk Cache (übersteht │ │ Neustarts, Modellwechsel) │ │ cache/ & cache/ │ │ downloads/ │ └─────────────────────────┘ Enter fullscreen mode Exit fullscreen mode Zentrale Architekturentscheidungen:

Es ist jeweils nur ein schweres Modell geladen. Die Hauptumgebung enthält VibeVoice, Kokoro, Kitten und Whisper; die Engines in isolierten Umgebungen (Chatterbox, OmniVoice, VoxCPM2, Qwen3-TTS) starten bei Bedarf eigene Python-Venvs, laden die Gewichte herunter und beenden sich beim Wechsel. So bleibt der VRAM- und RAM-Verbrauch vorhersagbar.

Der Model Manager übernimmt den gesamten Lebenszyklus, also Installation, Herunterladen der Gewichte, Löschen der Gewichte und Deinstallation, alles direkt aus der Benutzeroberfläche mit einem Live-Fortschrittsprotokoll. Kein manuelles pip install und keine Hugging Face CLI nötig.

Mitgelieferte Stimmen plus eigene Uploads: Legen Sie.wav,.mp3,.flac oder.ogg Dateien in backend/voices/ ab (werden beim Start erkannt) oder laden Sie Mono-Clips von 1 bis 60 Sekunden über die Benutzeroberfläche hoch, inklusive Metadaten zu Name, Geschlecht und Sprache. Gespeichert werden sie in backend/uploads/.

Referenztranskripte für ultimatives Cloning: VoxCPMs ultimate cloning nutzt ein referenztranskript pro Stimme (editierbar über das Stiftsymbol neben jeder Stimme) für höhere Treue zum Original.

Speicherplatzbedarf (Modelle werden bei der ersten Nutzung automatisch heruntergeladen):

# Neueste Electron-Version curl -fsSL https://voicestudio.sh/install | sh # Bestimmte Version curl -fsSL https://voicestudio.sh/install | sh -s -- --version X.Y.Z # Aktuellen main-Zweig bauen und installieren curl -fsSL https://voicestudio.sh/install | sh -s -- --main # Deinstallation (Daten bleiben erhalten) curl -fsSL https://voicestudio.sh/install | sh -s -- --uninstall Enter fullscreen mode Exit fullscreen mode Unter Windows: irm https://voicestudio.sh/install | iex in PowerShell.

Alternativ steht der Download über Releases zur Verfügung (macOS.dmg, Windows.exe, Linux.AppImage und.deb, Docker).

Lokale API und MCP für Agenten: VoiceStudio stellt eine lokale REST-API und einen MCP-Server bereit, damit Ihre KI-Agenten TTS- und STT-Werkzeuge aufrufen können, ohne Ihren Rechner zu verlassen. Dieselben Stimmen, dieselbe Garantie von keinen Kosten und keinem Datenabfluss.

Die Anwendung steht unter der AGPL-3.0 (kommerzielle Nutzung ist unter ihren Bedingungen erlaubt). Modellgewichte, Tokenizer, Stimmen und die Bedingungen für generierte Ausgaben sind davon getrennt zu betrachten, eine bezahlte App-Lizenz verleiht diese Rechte nicht. Klonen Sie Stimmen nur mit Erlaubnis.

Der Model Manager zeigt inzwischen versionierte Modellquellen-Hinweise, Beleglinks und ungelöste Prüflücken aus einem gemeinsamen Inventar. Eine optionale Vorschau geprüfter Dateien existiert, erzwingt aber weder normale Downloads noch bescheinigt sie eine kommerzielle Nutzungserlaubnis.

VoiceStudio beweist, dass Sprach-KI auf ElevenLabs-Niveau keine Cloud-Subskription erfordert. Die Modelle existieren. Die Orchestrierung existiert. Die Desktop-App existiert. Es fehlte nur noch ein einheitliches, ausgereiftes Multi-Engine-Paket, das Ihre Hardware und Ihre Daten respektiert.

VoiceStudio ist dieses Paket. 82.2k Stars stimmen dem zu.

Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.

Original (Englisch) anzeigen

You've used ElevenLabs. You know the quality. You also know the bill: per-character pricing, rate limits, and your audio data leaving your machine.

What if you could get comparable voice cloning, video dubbing, transcription, and audiobook creation — across 646 languages — running entirely on your own hardware, with zero API costs and zero data egress?

VoiceStudio (debpalash/VoiceStudio, 82.2k ⭐) is exactly that. It's an Electron desktop app backed by a local Python backend that bundles multiple state-of-the-art open TTS engines. You install it once. It runs offline. Your voice data never leaves your machine.

VoiceStudio isn't a thin wrapper around one model. It's a multi-engine orchestration layer that lets you switch TTS backends from the UI — only one loads at a time to keep memory low:

*OmniVoice license: verify the LICENSE in k2-fsa/OmniVoice before commercial use.

Plus Whisper large-v3-turbo (~1.6 GB) for in-process transcription (99 languages,.srt/.vtt export) and M2M-100 / Argos Translate for offline translation powering cross-language dubbing.

The per-segment cache is a subtle but critical detail: re-running the same text + voice + config uses the cached WAV (models are deterministic). A "Regenerate" button forces a fresh take when you want variation.

┌─────────────────────────────────────────────────────────────┐ │ Electron Frontend (React/TypeScript, Vite) │ │ - UI for all four modes, voice management, model picker │ │ - Communicates with backend via local HTTP/WebSocket │ └──────────────────────────┬──────────────────────────────────┘ │ ┌───────────────┼───────────────┐ ▼ ▼ ▼ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ Main env │ │ Isolated │ │ Isolated │ │ (VibeVoice, │ │ env: │ │ env: │ │ Kokoro, │ │ Chatterbox │ │ OmniVoice, │ │ Kitten, │ │ │ │ VoxCPM2, │ │ Whisper) │ │ │ │ Qwen3-TTS │ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │ └───────────────┼───────────────┘ ▼ ┌─────────────────────────┐ │ Disk Cache (survives │ │ restarts, model swaps) │ │ cache/ & cache/ │ │ downloads/ │ └─────────────────────────┘ Enter fullscreen mode Exit fullscreen mode Key architectural decisions:

Only one heavy model loads at a time — the main environment holds VibeVoice/Kokoro/Kitten/Whisper; the "isolated-environment" engines (Chatterbox, OmniVoice, VoxCPM2, Qwen3-TTS) spin up their own Python venvs on demand, download weights, and shut down when you switch. This keeps VRAM/RAM usage predictable.

Model Manager handles the lifecycle — install / download weights / delete weights / uninstall — all from the UI with a live progress log. No manual pip install or Hugging Face CLI needed.

Built-in voices + custom uploads — drop.wav/.mp3/.flac/.ogg files into backend/voices/ (picked up on boot) or upload 1–60s mono clips from the UI with name/gender/language metadata. Stored in backend/uploads/.

Reference transcripts for ultimate cloning — VoxCPM's "ultimate cloning" uses a per-voice reference transcript (editable via the pencil icon next to any voice) for higher fidelity.

Disk budget (models auto-download on first use):

# Latest Electron release curl -fsSL https://voicestudio.sh/install | sh # Specific version curl -fsSL https://voicestudio.sh/install | sh -s -- --version X.Y.Z # Build current main and install curl -fsSL https://voicestudio.sh/install | sh -s -- --main # Uninstall (keeps your data) curl -fsSL https://voicestudio.sh/install | sh -s -- --uninstall Enter fullscreen mode Exit fullscreen mode Windows: irm https://voicestudio.sh/install | iex in PowerShell.

Or download from Releases (macOS.dmg, Windows.exe, Linux.AppImage /.deb, Docker).

Local API & MCP for agents — VoiceStudio exposes a local REST API and MCP server so your AI agents can call TTS/STT tools without leaving your machine. The same voices, the same zero-cost, zero-egress guarantee.

The application is AGPL-3.0 (covers commercial use under its conditions). Model weights, tokenizers, voices, and generated-output conditions are separate — a paid app license does not grant those rights. Clone voices only with permission.

The Model Manager now shows versioned model-source notices, evidence links, and unresolved review gaps from a shared inventory. An optional reviewed-file preview exists but does not enforce ordinary downloads or certify commercial permission.

VoiceStudio proves that "ElevenLabs-grade" voice AI doesn't require a cloud subscription. The models exist. The orchestration exists. The desktop app exists. The only thing missing was a unified, polished, multi-engine package that respects your hardware and your data.

VoiceStudio is that package. 82.2k stars agree.

Originaltitel: VoiceStudio: The 82k-Star Open-Source ElevenLabs Alternative That Runs Fully LocalQuelle: dev.to (dev.to). Original öffnen