RobustVideoMatting

O nástroji

RobustVideoMatting (RVM) je specializovaný model pro robustní video matting lidských postav. Na rozdíl od klasických neuronových sítí, které zpracovávají snímky jako nezávislé obrázky, RVM využívá rekurentní neuronovou síť s temporální pamětí a dokáže provádět matting v reálném čase bez dodatečných vstupů, jako je trimapa nebo předem nasnímané pozadí. Na Nvidia GTX 1080 Ti dosahuje výkonu 4K při 76FPS a HD při 104FPS. Nástroj je určen vývojářům a výzkumníkům, kteří potřebují real-time odstranění pozadí ve video aplikacích, například pro videokonference nebo tvorbu obsahu. K dispozici jsou webová webcam demo s vizualizací rekurentních stavů a Colab demo s bezplatným GPU pro testování na vlastních videích. Doporučeny jsou modely MobileNetV3 pro většinu použití, varianty ResNet50 nabízejí mírně lepší výkon za cenu větší velikosti. Model je dostupný v PyTorch, TensorFlow, TensorFlow.js, ONNX i CoreML (CoreML vyžaduje iOS 13+) a lze jej načíst přes torch.hub.load s jednoduchým converter API pro konverzi videí. Zdrojový kód a předtrénované modely byly publikovány 25. srpna 2021 pod licencí GPL-3.0, doprovodný paper byl přijat na konferenci WACV 2022.

Kategorie