inference
Open-source platforma pro nasazení a provoz open-source LLM, embedding a multimodálních modelů lokálně i v cloudu.
O nástroji
Xinference (Xorbits Inference) je open-source platforma, která umožňuje spouštět inferenci širokého spektra open-source modelů – jazykových (LLM), embedding, multimodálních, audio i video – buď na vlastní infrastruktuře, nebo v cloudu. Nástroj poskytuje jednotné API a Python klienta, přes který lze volat chat s LLM, generování obrázků z textu, vytváření textových embeddingů, přepis řeči na text, rerank výsledků nebo generování videa z textu. Vývojáři mohou modely spouštět lokálně (např. přes lokální server na portu 9997) nebo registrovat vlastní váhy modelů a vystavit je jako API pomocí funkce Custom Models. Dokumentace popisuje instalaci na Linuxu, Windows i macOS, podporu vestavěných modelů (Builtin Models) a experimentální podporu tradičních ML modelů. Projekt je dostupný na GitHubu a komunita se sdružuje na Discordu, Telegramu a Twitteru, kde lze získávat podporu, hlásit problémy nebo přispívat pull requesty. Ceník ani placené tarify nejsou v dokumentaci zmíněny – jde o open-source projekt určený primárně pro self-hosting.
Klíčové vlastnosti
- Jednotné API pro LLM, embedding, image, audio i video modely
- Chat s jazykovými i multimodálními (VL) modely
- Generování obrázků a videa z textu
- Přepis řeči na text (transcriptions)
- Rerank výsledků vyhledávání
- Registrace vlastních modelů přes Custom Models
Časté dotazy
Co Xinference umí?
Umožňuje spouštět inferenci open-source LLM, embedding, multimodálních, audio i video modelů přes jednotné API a Python klienta – chat, generování obrázků, embeddingy, přepis řeči, rerank i generování videa.
Kolik Xinference stojí?
Jde o open-source projekt určený pro self-hosting, ceník ani placené tarify nejsou v dokumentaci uvedeny.
Jak s Xinference začít?
Nainstalujete ji na Linux, Windows nebo macOS, spustíte lokální server (např. na portu 9997) a přes Python klienta se připojíte k modelu, případně zaregistrujete vlastní váhy modelu jako API.
Kategorie
AI novinky do e-mailu
Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI – přehledně, česky a bez balastu.
Jeden z nejstarších pravidelných českých AI newsletterů.
Podobné nástroje
Hledáte alternativu k inference? Tady je 6 podobných nástrojů z kategorie Chatboti / asistenti.
ChatGPT Prompt Generator
ZdarmaGeneruje strukturované prompty pro ChatGPT na základě zadané role, úkolu a formátu výstupu.
MidJourney Prompt Helper
ZdarmaGeneruje prompty pro Midjourney pomocí vizuálního průvodce parametry a styly.
AIPRM
FreemiumRozšíření prohlížeče AIPRM přidává do ChatGPT knihovnu kurátorovaných šablon promptů pro SEO, ma...
StealthGPT
FreemiumNáš vlastní filtr umožňuje uživatelům zasílat podněty a získávat od GPT3 odpovědi zpět jedinečný...
Orquesta AI Prompts
FreemiumOrq.ai je platforma pro vývoj, nasazení a škálování generativních AI aplikací, která týmům umožň...
Promptitude.io
FreemiumPromptitude.io je platforma pro správu, testování a nasazování GPT promptů, která umožňuje integ...
Další nástroje v kategorii Chatboti / asistenti
Nezůstávejte jen u nejoblíbenějších – tohle jsou další nástroje z kategorie Chatboti / asistenti, které stojí za prohlédnutí.
