ModelScope Text-To-Video

O nástroji

ModelScope Text-To-Video je text-to-video diffúzní model s přibližně 1,7 miliardy parametrů, dostupný jako Hugging Face Space od ali-vilab (dříve damo-vilab). Model se skládá ze tří podsítí: extrakce textových příznaků, difúzní síť (architektura Unet3D) převádějící text do latentního prostoru videa a dekodér, který latentní reprezentaci převede do výsledného videa pomocí iterativního odšumování z gaussovského šumu. Trénován byl na veřejných datasetech typu WebVid, přijímá pouze anglický vstup. Provoz vyžaduje GPU – demo potřebuje přibližně 16 GB CPU RAM a 16 GB GPU RAM, inference na CPU není podporována. Model zatím nedosahuje filmové kvality obrazu, neumí vygenerovat čitelný text ve videu a má potíže se složitějšími kompozičními zadáními. Jde o open source projekt, který lze kromě Hugging Face Space a ModelScope Studia spustit i lokálně přes Docker nebo nasadit přes Colab, je rovněž dostupný v knihovně Diffusers pod označením damo-vilab/text-to-video-ms-1.7b. Samotný Hugging Face Space je zdarma, komerční hostingové služby (např. Replicate) jej nabízejí za poplatek.

Klíčové vlastnosti

• Generuje krátké video z anglického textového popisu
• Architektura Unet3D s difúzní sítí v latentním prostoru
• Model s přibližně 1,7 miliardy parametrů
• Trénováno na datasetu WebVid

Časté dotazy

Kategorie

Další nástroje v kategorii Video generátor

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Video generátor, které stojí za prohlédnutí.

• 
  MojoMake - AI Image to Video Generator

  Freemium
  40 %
• 
  Mootion

  Freemium
  44 %
• 
  Motion Transfer

  Freemium
  1 %
• 
  Movmi

  Freemium
  84 %
• 
  MuseMate

  Kreditový systém: standardní scéna 30 kreditů, Performance scéna 1 060 kreditů; ceny plánů neuvedeny.
  33 %