inference

O nástroji

Xinference (Xorbits Inference) je open-source platforma, která umožňuje spouštět inferenci širokého spektra open-source modelů – jazykových (LLM), embedding, multimodálních, audio i video – buď na vlastní infrastruktuře, nebo v cloudu. Nástroj poskytuje jednotné API a Python klienta, přes který lze volat chat s LLM, generování obrázků z textu, vytváření textových embeddingů, přepis řeči na text, rerank výsledků nebo generování videa z textu. Vývojáři mohou modely spouštět lokálně (např. přes lokální server na portu 9997) nebo registrovat vlastní váhy modelů a vystavit je jako API pomocí funkce Custom Models. Dokumentace popisuje instalaci na Linuxu, Windows i macOS, podporu vestavěných modelů (Builtin Models) a experimentální podporu tradičních ML modelů. Projekt je dostupný na GitHubu a komunita se sdružuje na Discordu, Telegramu a Twitteru, kde lze získávat podporu, hlásit problémy nebo přispívat pull requesty. Ceník ani placené tarify nejsou v dokumentaci zmíněny – jde o open-source projekt určený primárně pro self-hosting.

Kategorie