magika

O nástroji

Magika je nástroj pro detekci typu souboru poháněný hlubokým učením, vyvinutý týmem Google. Používá vlastní, vysoce optimalizovaný model o velikosti pouhých několika MB, který dokáže identifikovat soubor během milisekund, a to i na jediném CPU. Model byl natrénován a vyhodnocen na datasetu čítajícím zhruba 100 milionů vzorků napříč více než 200 typy obsahu (binárními i textovými formáty), přičemž dosahuje průměrné přesnosti kolem 99 %. Nástroj je dostupný jako příkazová řádka napsaná v Rustu, jako Python API a dále nabízí vazby pro Rust, JavaScript/TypeScript (včetně experimentálního npm balíčku pohánějícího webové demo) a GoLang (ve vývoji). Doba inference po načtení modelu činí přibližně 5 ms na soubor, přičemž je téměř konstantní bez ohledu na velikost souboru, protože Magika využívá jen omezenou část jeho obsahu. Podporuje hromadné zpracování tisíců souborů najednou i rekurzivní procházení adresářů. Magika je nasazena ve velkém měřítku u Googlu, kde pomáhá směrovat soubory ze služeb Gmail, Drive a Safe Browsing na příslušné bezpečnostní a obsahové skenery, a to v objemu stovek miliard vzorků týdně. Je také integrována s VirusTotal a abuse.ch. Klient i vazby jsou open source a lze si je vyzkoušet přímo v prohlížeči pomocí webového dema bez instalace.

Kategorie