txtai

O nástroji

txtai je all-in-one open-source AI framework pro sémantické vyhledávání, orchestraci LLM a jazykové workflow. Jeho základem je embeddings databáze kombinující vektorové indexy (sparse i dense), grafové sítě a relační databáze, což umožňuje vektorové vyhledávání a zároveň slouží jako znalostní zdroj pro aplikace s velkými jazykovými modely (LLM). Nástroj podporuje tvorbu embeddingů pro text, dokumenty, audio, obrázky i video, a nabízí pipeline poháněné jazykovými modely pro spouštění LLM promptů, question-answering, značkování, přepis, překlad či sumarizaci. Pomocí workflow lze jednotlivé pipeline propojit a agregovat business logiku, přičemž vzniklé procesy mohou fungovat jako jednoduché mikroslužby nebo komplexní multi-model workflow. txtai umožňuje také budovat autonomní agenty, kteří propojují embeddingy, pipeline, workflow a další agenty pro řešení komplexních úkolů. Je postaven na Pythonu 3.10+, Hugging Face Transformers, Sentence Transformers a FastAPI, disponuje Web a Model Context Protocol (MCP) API a bindingy pro JavaScript, Java, Rust a Go. Nástroj je distribuován pod licencí Apache 2.0 a lze jej provozovat lokálně nebo škálovat pomocí kontejnerové orchestrace; firma NeuML navíc vyvíjí hostovanou verzi txtai.cloud.

Kategorie