Qwen3-TTS — 2026年最新開源語音複製模型

在 2024–2026 年的開源語音複製領域，有兩個專案特別值得關注：

• GPT-SoVITS 在 2024 年以「1 分鐘訓練數據即可複製」的革命性功能引爆社群，累積超過 5 萬 GitHub Stars
• Qwen3-TTS 則在 2026 年 1 月橫空出世，以更強的性能和更簡單的使用方式挑戰王者地位

目前開源語音複製領域，中國團隊開發的模型依然是最強的。Qwen3-TTS 其實不只包含聲音複製技術（Voice Clone），還有語音設計（Voice Design）以及自訂語音（Custom Voice）功能，不過本文主要探討的是聲音複製模型和使用心得。

GPT-SoVITS: 2024 年的王者

講到語音複製功能，先來介紹一下過去很強的 GPT-SoVITS 吧。

如果有嘗試過的人會發現，要完整執行 GPT-SoVITS 需要以下步驟：

完整工作流程

1. 數據準備 準備 1–30 分鐘高品質音訊（越少越好，重質不重量）、音訊處理：去噪、切片、分離人聲
2. 自動標註 使用 Faster-Whisper（英日）或達摩 ASR（中文）自動轉錄、手動校對文本確保準確性
3. 訓練 提取 BERT 語義特徵、提取聲學特徵（音色、韻律、音高）、生成語義 token、訓練 GPT 模型和 SoVITS 模型
4. 推理 Zero-shot：提供 5 秒參考音訊即可 Fine-tuned：使用訓練好的模型，效果更佳

跑過這個流程後，會發現幾個問題：

1. 流程有點複雜，需要花一些心力才能搞懂
2. 如果只用 zero-shot，的確只需要幾秒鐘的參考音檔，但相似度明顯差了一點
3. Few-shot fine-tuned 的相似度確實有提升，但為了聲音複製，執行成本相對高了不少

Qwen3-TTS

Qwen3-TTS 由阿里巴巴 Qwen 團隊開發，採用完全不同的技術路線：

• 端到端離散架構：直接載入模型 → 提供參考音訊 → 生成（除了 import 外，只需要 3 行代碼）

import torch
import soundfile as sf
from qwen_tts import Qwen3TTSModel

# 載入模型
model = Qwen3TTSModel.from_pretrained(
    "Qwen/Qwen3-TTS-12Hz-1.7B-Base",
    device_map="cuda:0",
    dtype=torch.bfloat16,
)

# 語音克隆 - 就這麼簡單!
wavs, sr = model.generate_voice_clone(
    text="想要合成的任何文字",
    language="Chinese",
    ref_audio="reference.wav",  # 3-10 秒參考音訊
    ref_text="參考音訊的文字內容",
)
sf.write("output.wav", wavs[0], sr)

幾個明顯的優勢：

• 零門檻：無需訓練，即開即用
• 超輕量：0.6B/1.7B 參數，8–12GB RAM 即可運行
• 超低延遲：97ms 端到端延遲
• 極高相似度：95% 說話者相似度
• 頂尖性能：WER（越低越好）0.77%（中文）、1.24%（英文）

佈署與Live Demo

官方 Hugging Face Space 可以試試看怎麼複製聲音，效果很不錯。

我也提供了我自己寫的版本，這個版本是 CPU 版本，完全不需要額外硬體（速度較慢，但可以免費部署）。Live Demo (CPU) 在 Hugging Face Spaces 上，可以參照 GitHub 連結透過 Docker 進行部署。

實做心得

2025 年底開始嘗試多個聲音複製模型後，常常發現只要遇到中英混雜的情況，就會怪怪的（有種中斷感）。今年 Qwen3-TTS 剛出來時，原本對 zero-shot 的複製沒有太多期待，但試過之後發現這個語音模型對於聲音複製的效果，比近期的各種模型都還要好。

其中 Qwen3-TTS 的聲音相似度，讓我覺得人已經越來越難辨別到底是真人，還是模型生成的聲音了。

1.7B 的模型也足夠小，即使採用CPU執行也勉強可執行，未來應該有越來越多有趣的應用可以做了。