SenseVoice

O nástroji

SenseVoice je součástí projektu FunAudioLLM (Alibaba/Tongyi Speech Team) a jde o základní řečový model kombinující automatické rozpoznávání řeči (ASR), identifikaci jazyka (LID), rozpoznávání emocí v řeči (SER) a detekci zvukových událostí (AED), jako je hudba na pozadí, potlesk, smích, pláč, kašel nebo kýchání. Vydaná verze SenseVoice-Small podporuje mandarínštinu, kantonštinu, angličtinu, japonštinu a korejštinu, zatímco větší model SenseVoice-Large zvládá přes 50 jazyků. Model vyniká rychlostí inference – latence rozpoznávání pod 80 ms, což je podle uváděných údajů více než 5× rychleji než Whisper-Small a 15× rychleji než Whisper-large. Projekt zahrnuje i CosyVoice pro syntézu přirozené řeči a je určen především vývojářům a firmám budujícím hlasové aplikace propojené s velkými jazykovými modely. Modely SenseVoice i CosyVoice jsou open-source, dostupné na Modelscope a Huggingface, včetně tréninkového, inferenčního a fine-tuning kódu na GitHubu. K dispozici jsou skripty pro fine-tuning a nasazení služby s podporou souběžných požadavků a klientské knihovny pro Python, C++, HTML, Java a C#. Informace o ceně nejsou v dostupných materiálech uvedeny.

Klíčové vlastnosti

• Automatické rozpoznání řeči ve více jazycích
• Detekce emocí v hlase (SER)
• Rozpoznávání zvukových událostí jako smích či pláč
• Latence rozpoznávání pod 80 ms
• Podpora přes 50 jazyků u SenseVoice-Large
• Open-source kód pro trénink i fine-tuning

Časté dotazy

Kategorie