ChatTTS

O nástroji

ChatTTS je model pro převod textu na mluvenou řeč (text-to-speech), který je navržený speciálně pro dialogové scénáře, například pro asistenty založené na velkých jazykových modelech (LLM). Model podporuje více mluvčích a umožňuje jemné řízení prozodických prvků řeči, včetně smíchu, pauz a citoslovcí, díky čemuž generovaná řeč zní přirozeněji a expresivněji než u většiny open-source TTS modelů. Hlavní model byl natrénován na více než 100 000 hodinách čínského a anglického zvukového obsahu. Na Hugging Face je k dispozici open-source verze natrénovaná na 40 000 hodinách dat bez dodatečného ladění (SFT). Kód je publikován pod licencí AGPLv3+, samotný model pod licencí CC BY-NC 4.0, která povoluje pouze vzdělávací a výzkumné využití, nikoli komerční nasazení. Nástroj se instaluje přes GitHub repozitář pomocí Pythonu (s knihovnami Torch a Torchaudio) nebo lze použít balíček ChatTTS. Komunita vytvořila i FastAPI rozhraní kompatibilní s OpenAI API pro převod textu na řeč a konverzi audio formátů. Aktuálně podporuje angličtinu a čínštinu, další jazyky jsou plánované.

Kategorie