semantic-router

O nástroji

Semantic Router je rozhodovací vrstva pro LLM a AI agenty, která místo pomalé a nespolehlivé generace pomocí LLM využívá sémantický vektorový prostor. Uživatelský dotaz se porovnává s předdefinovanými příklady vět (tzv. utterances) přiřazenými k jednotlivým routám, a na základě podobnosti se určí další krok, aniž by bylo nutné volat samotný jazykový model. Podle uvedených údajů zvládá nástroj typickou dobu rozhodování snížit z přibližně 5000 ms (při použití gpt-3.5-turbo) na přibližně 100 ms. Je navržený tak, aby škáloval na tisíce nástrojů či rout, aniž by bylo nutné cpát jejich popisy do omezeného kontextového okna modelu. Podporuje běh lokálně (Llama.cpp, Hugging Face) i přes proprietární API, jako je OpenAI, a lze jej propojit s vektorovými databázemi typu Pinecone nebo Qdrant. Jde o open-source projekt s licencí MIT, dostupný na GitHubu (aurelio-labs/semantic-router) a instalovatelný přes pip. Samotná knihovna je tedy zdarma, konkrétní cenový model pro případné doplňkové služby nebo konzultace není v podkladech uveden.

Klíčové vlastnosti

• Sémantické rozhodování bez volání LLM (~100 ms místo ~5000 ms)
• Škáluje na tisíce nástrojů či rout bez zahlcení kontextového okna
• Podpora lokálního běhu přes Llama.cpp nebo Hugging Face
• Propojení s vektorovými databázemi Pinecone a Qdrant
• Definice rout pomocí předdefinovaných vzorových vět (utterances)
• Open-source knihovna s licencí MIT, instalace přes pip

Časté dotazy

Kategorie