Needle2

O nástroji

Needle 2 od Cactus je kompaktní agentní model navržený pro nasazení na levných zařízeních bez GPU – od Raspberry Pi přes mikrokontroléry ESP32-S3 až po telefony do 200 USD. Celý model je jeden binární soubor o velikosti 14 MB, který běží v pouhých 28 MB operační paměti. Na Raspberry Pi 5 dosahuje rychlosti přes 500 tokenů za sekundu při dekódování a přes 800 tokenů za sekundu při prefill fázi. Na VR zařízeních jako Meta Quest 3S nebo Apple Vision Pro zvládne 400–1 500 tokenů za sekundu. Model je komprimován vlastní metodou CQ2-bit (Cactus Quants), přičemž kvantizace probíhá již od předtrénování – nikoli dodatečně. Needle 2 tak dosahuje srovnatelných výsledků s modely 5× až 70× většími (FunctionGemma 270M, LFM2.5 230M, Apple FM) na benchmarcích volání nástrojů a ovládání mobilních zařízení. Součástí je i gramatický kompilátor zabraňující vzniku neplatného JSON při strukturované extrakci, a každá odpověď nese naučené skóre spolehlivosti pro rozhodnutí o eskalaci do cloudu. Needle 2 je označován jako „open“ model s dostupným repozitářem a Python balíčkem pro doladění na vlastním počítači; přímé open-source licencování však z dostupných podkladů jednoznačně nevyplývá. Cena je v podkladech uvedena jako 200 USD, bližší struktura tarifu není doložena. Nástroj je produkčně nasazen například v aplikaci Pebble Index 01, kde zpracovává hlasové příkazy zcela offline.

Kategorie

Další nástroje v kategorii Produktivita

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Produktivita, které stojí za prohlédnutí.

• 
  netdata

  Neuvedeno
  52 %
• 
  NeuroSpell

  Zdarma
  93 %
• 
  next-ai-draw-io

  Placené
  41 %
• 
  NextThreeBooks

  Zdarma
  85 %
• 
  Nexus - Clay

  20 $ / měs.
  58 %