magika

O nástroji

Magika je nástroj pro detekci typu souboru poháněný hlubokým učením, vyvinutý týmem Google. Používá vlastní, vysoce optimalizovaný model o velikosti pouhých několika MB, který dokáže identifikovat soubor během milisekund, a to i na jediném CPU. Model byl natrénován a vyhodnocen na datasetu čítajícím zhruba 100 milionů vzorků napříč více než 200 typy obsahu (binárními i textovými formáty), přičemž dosahuje průměrné přesnosti kolem 99 %. Nástroj je dostupný jako příkazová řádka napsaná v Rustu, jako Python API a dále nabízí vazby pro Rust, JavaScript/TypeScript (včetně experimentálního npm balíčku pohánějícího webové demo) a GoLang (ve vývoji). Doba inference po načtení modelu činí přibližně 5 ms na soubor, přičemž je téměř konstantní bez ohledu na velikost souboru, protože Magika využívá jen omezenou část jeho obsahu. Podporuje hromadné zpracování tisíců souborů najednou i rekurzivní procházení adresářů. Magika je nasazena ve velkém měřítku u Googlu, kde pomáhá směrovat soubory ze služeb Gmail, Drive a Safe Browsing na příslušné bezpečnostní a obsahové skenery, a to v objemu stovek miliard vzorků týdně. Je také integrována s VirusTotal a abuse.ch. Klient i vazby jsou open source a lze si je vyzkoušet přímo v prohlížeči pomocí webového dema bez instalace.

Klíčové vlastnosti

• Detekce 200+ typů souborů s ~99% přesností
• Model o velikosti pouze několika MB
• Inference kolem 5 ms na soubor i na CPU
• Hromadné zpracování tisíců souborů najednou
• Rekurzivní procházení adresářů pomocí -r
• Rozhraní CLI v Rustu, Python API, vazby pro JS/TS a Go

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  Make-it

  Neuvedeno
  1 %
• 
  MakerSuite

  Zdarma
  55 %
• 
  manifold

  Neuvedeno
  54 %
• 
  Maritime

  Placené
  1 %
• 
  MarsAi

  Zdarma
  98 %