Přeskočit na obsah
ejaj.cz

YuE2

NeuvedenoHudba

YuE2 je výzkumný model pro generování celých písní z textu a stylu – nejprve vytvoří editovatelnou notovou partituru, teprve pak audio se zpěvem.

map-yue2.github.io
Náhled nástroje YuE2

O nástroji

YuE2 kombinuje symbolické plánování hudby (noty, akordy, text) s generováním audia – ze zadaných textů a stylového promptu nejdřív vytvoří editovatelnou notovou osnovu (ABC notaci) a teprve z ní vygeneruje plnohodnotnou píseň se zpěvem a doprovodem ve 48 kHz stereu. Hotovou skladbu lze zpětně upravovat formou konverzace (tzv. agentic editace) – měnit melodii, text, tempo i aranžmá. Model YuE2-3B má podle dostupných údajů cca 3–3,58 miliardy parametrů, kombinuje autoregresivní a neautoregresivní část a je dostatečně malý na běh na jednom spotřebitelském GPU (jiný zdroj uvádí požadavek 24GB NVIDIA GPU). Na benchmarku WildSongBench (192 promptů) dosahuje varianta YuE2 best-of-8 skóre 6,9632 na SongBench, což je nejvyšší naměřená hodnota mezi 17 testovanými nastaveními – pro srovnání Suno v5 dosáhlo 6,8721 a Suno v6 6,5562. Součástí projektu jsou i doprovodné modely: MERT2 pro hudební reprezentace (SOTA na 14 z 15 metrik MARBLE) a SheetSage2, který z nahrávky zpětně vytvoří notový zápis (beat, akordy, melodii, strukturu skladby). Model byl trénován na 346 000 hodinách hudby, převážně nahrávkách s licencí CC0 a syntetických datech. Kód, agentní skill i dokumentace jsou pod licencí Apache 2.0, váhy modelu jsou pod licencí CC BY-NC 4.0 (nekomerční použití). Stránka je prezentační a výzkumná, celá v angličtině – nabízí poslechové ukázky, porovnání skóre a odkazy na technické PDF, ale nejde o běžnou uživatelskou aplikaci s jedním tlačítkem „vygenerovat píseň“. Hodí se tak především vývojářům a výzkumníkům ochotným stáhnout a spustit model lokálně, nikoli lidem hledajícím okamžité online řešení.

Klíčové vlastnosti

  • Vytváří editovatelnou notovou osnovu v ABC notaci před audiem
  • Generuje plnohodnotnou píseň se zpěvem a doprovodem ve 48kHz stereu
  • Agentní editace písně formou konverzace – melodie, text, tempo, aranžmá
  • Model má cca 3,58 miliardy parametrů, běží na jednom spotřebitelském GPU

Časté dotazy

Co YuE2 přesně umí?

Ze zadaného textu a stylového promptu nejprve vytvoří editovatelnou notovou partituru (ABC notaci) a z ní pak vygeneruje plnohodnotnou píseň se zpěvem a doprovodem ve 48 kHz stereu. Hotovou skladbu lze dál upravovat formou konverzace – měnit melodii, text, tempo i aranžmá.

Kolik YuE2 stojí a jak se dá používat?

Jde o výzkumný projekt s kódem pod licencí Apache 2.0 a váhami modelu pod CC BY-NC 4.0 (pouze nekomerční použití) – cenový model pro komerční nasazení není zveřejněn.

Pro koho je YuE2 vhodný a jak začít?

Je určen především vývojářům a výzkumníkům ochotným stáhnout a spustit model lokálně na GPU (uvádí se požadavek cca 24GB NVIDIA GPU), nikoli běžným uživatelům hledajícím jednoduchou online aplikaci.

Kategorie

AI novinky do e-mailu

Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI – přehledně, česky a bez balastu.

Jeden z nejstarších pravidelných českých AI newsletterů.

Jednou týdně, v pátek. Žádný spam – odhlásíte se jedním klikem.

Podobné nástroje

Hledáte alternativu k YuE2? Tady je 6 podobných nástrojů z kategorie Hudba.

Zobrazit všechny alternativy v kategorii Hudba

Další nástroje v kategorii Hudba

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Hudba, které stojí za prohlédnutí.