Jinfer

O nástroji

Jinfer je součástí projektu Quixotic AI a funguje jako inferenční engine pro JVM – umožňuje spouštět chat modely, vision, embeddings a text-to-speech přímo v Javě, bez nutnosti spouštět Python runtime, ONNX bridge nebo Docker sidecary. Nabízí integrace se Spring AI a LangChain4j, takže se dá zapojit do existujících Java backendů bez přidávání dalšího jazyka do stacku. Nástroj umí číst a zapisovat modely ve formátech GGUF (llama.cpp) a Safetensors (HuggingFace), a je doplněn vlastními tokenizéry kompatibilními s TikToken. Díky podpoře GraalVM Native Image lze aplikaci zabalit do jediného spustitelného binárku s rychlým startem a malou pamětovou stopou, bez nutnosti mít na cílovém stroji JVM. Projekt je open-source (dostupný na GitHubu) a obsahuje benchmarky srovnávající výkon jinfer-bench proti llama-bench na CPU. Je určen primárně pro vývojáře, kteří chtějí lokální AI bez závislosti na Python ekosystému a cizích procesech, a plánuje podporu více výpočetních backendů (CUDA, HIP, Metal, OpenCL, Mojo) přes jednotné tensor API.

Klíčové vlastnosti

• Spouští LLM, vision, embeddings a TTS přímo v JVM
• Integrace se Spring AI a LangChain4j
• Podpora formátů GGUF a Safetensors
• Vlastní tokenizéry kompatibilní s TikToken

Časté dotazy

Kategorie

Další nástroje v kategorii Vývojářské nástroje

Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Vývojářské nástroje, které stojí za prohlédnutí.

• 
  judge0

  Freemium
  51 %
• 
  Juice

  Freemium
  90 %
• 
  julep

  Neuvedeno
  48 %
• 
  Jungle AI

  Freemium
  1 %
• 
  Jungle AI

  Freemium
  86 %