FlagEmbedding

O nástroji

FlagEmbedding je sada embedding modelů BGE (BAAI General Embedding) vyvinutá Beijing Academy of Artificial Intelligence. Nástroj dokáže převést libovolný text na nízkodimenzionální hustý vektor využitelný pro vyhledávání, klasifikaci, shlukování nebo sémantické vyhledávání, a je tak vhodný i pro nasazení ve vektorových databázích pro LLM. Mezi klíčové funkce patří podpora hustého, multi-vektorového i sparse vyhledávání, práce s více než 100 jazyky a zpracování textů od krátkých vět až po dlouhé dokumenty o délce až 8192 tokenů. Vysoko-úrovňová třída FlagAutoModel sjednocuje inferenci embedding modelů a kromě řady BGE podporuje i další open-source modely jako E5, GTE nebo SFR. Nástroj dále nabízí reranker modely postavené na lehkém cross-encoderu s vícejazyčnou podporou a rychlou inferencí, LLM-based embedding modely s in-context learning schopnostmi a integraci s LangChain přes HuggingFaceBgeEmbeddings, včetně podpory dávkování, GPU a paralelizace pro velké datové sady. Instalace probíhá přes git clone a pip install -e . nebo přímo pip install -U FlagEmbedding, použití je řešeno přes Python třídu FlagModel. Nástroj má k dispozici API a je dostupný na GitHubu, PyPI i Hugging Face. Informace o ceně nejsou v dostupných podkladech uvedeny.

Klíčové vlastnosti

• Hustý, multi-vektorový i sparse embedding text
• Podpora více než 100 jazyků
• Zpracování dokumentů až do 8192 tokenů
• Sjednocená třída FlagAutoModel pro BGE, E5, GTE i SFR
• Reranker modely s cross-encoderem a rychlou inferencí
• Integrace s LangChain přes HuggingFaceBgeEmbeddings

Časté dotazy

Kategorie