nexa-sdk

O nástroji

Nexa SDK je vývojářský toolkit, který umožňuje spouštět libovolné AI modely přímo na zařízení – lokálně na NPU, GPU i CPU – díky vlastnímu enginu NexaML optimalizovanému pro maximální výkon na daném hardwaru. Je určen především vývojářům, kteří budují on-device AI aplikace (mobilní, desktopové, IoT), včetně řešení pro citlivá odvětví jako zdravotnictví nebo finance, kde je zpracování dat výhradně na zařízení klíčové z hlediska ochrany soukromí. Mezi klíčové funkce patří Day-0 podpora nových architektur modelů (LLM, VLM, CV, Embedding, Rerank, ASR, TTS) a podpora tří formátů modelů – GGUF, MLX a vlastního formátu .nexa. Nástroj nabízí multiplatformní pokrytí – desktop (Python/C++), mobil (Android a iOS) i Linux/IoT (Arm64 a x86 Docker) – a umožňuje spouštění vlastního multimodálního modelu OmniNeural-4B nativně na laptopech s Qualcomm Snapdragon X Elite. K dispozici je také OpenAI-kompatibilní API server s podporou function calling a streamingu. Nexa SDK je open source, kód je veřejně dostupný na GitHubu (NexaAI/nexa-sdk). Licencování je duální: pro osobní použití platí Apache License 2.0 zdarma s licenčním klíčem z Nexa AI Model Hub, pro komerční nasazení je nutné kontaktovat výrobce na [email protected] kvůli licenčním podmínkám.

Klíčové vlastnosti

• Spouštění LLM, VLM, ASR i TTS modelů lokálně na zařízení
• Podpora NPU, GPU i CPU díky enginu NexaML
• Day-0 podpora nových architektur modelů
• Podpora formátů GGUF, MLX a vlastního .nexa
• Multiplatformní nasazení – desktop, mobil, Linux/IoT
• OpenAI-kompatibilní API server s function calling a streamingem

Časté dotazy

Kategorie