RobustVideoMatting

O nástroji

RobustVideoMatting (RVM) je specializovaný model pro robustní video matting lidských postav. Na rozdíl od klasických neuronových sítí, které zpracovávají snímky jako nezávislé obrázky, RVM využívá rekurentní neuronovou síť s temporální pamětí a dokáže provádět matting v reálném čase bez dodatečných vstupů, jako je trimapa nebo předem nasnímané pozadí. Na Nvidia GTX 1080 Ti dosahuje výkonu 4K při 76FPS a HD při 104FPS. Nástroj je určen vývojářům a výzkumníkům, kteří potřebují real-time odstranění pozadí ve video aplikacích, například pro videokonference nebo tvorbu obsahu. K dispozici jsou webová webcam demo s vizualizací rekurentních stavů a Colab demo s bezplatným GPU pro testování na vlastních videích. Doporučeny jsou modely MobileNetV3 pro většinu použití, varianty ResNet50 nabízejí mírně lepší výkon za cenu větší velikosti. Model je dostupný v PyTorch, TensorFlow, TensorFlow.js, ONNX i CoreML (CoreML vyžaduje iOS 13+) a lze jej načíst přes torch.hub.load s jednoduchým converter API pro konverzi videí. Zdrojový kód a předtrénované modely byly publikovány 25. srpna 2021 pod licencí GPL-3.0, doprovodný paper byl přijat na konferenci WACV 2022.

Klíčové vlastnosti

• Real-time matting bez trimapy či referenčního pozadí
• Rekurentní síť s temporální pamětí pro stabilní výsledky
• 4K při 76FPS a HD při 104FPS na GTX 1080 Ti
• Podpora PyTorch, TensorFlow, TensorFlow.js, ONNX a CoreML
• Webcam demo a Colab demo s bezplatným GPU
• Modely MobileNetV3 i ResNet50 podle nároků na výkon

Časté dotazy

Kategorie

Další nástroje v kategorii Úprava videa

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Úprava videa, které stojí za prohlédnutí.

• 
  Roll

  49 $ / měs.
  63 %
• 
  Runwayml

  Placené
  89 %
• 
  Scrollsequence

  Freemium
  40 %
• 
  Shuffll

  Freemium
  96 %
• 
  Supercreator

  Freemium
  68 %