gateway

O nástroji

Portkey AI Gateway je nástroj určený vývojářům, enterprise AI týmům a platform inženýrům, kteří provozují multi-provider LLM workloady a potřebují observabilitu, compliance a spolehlivost v produkci. Slouží jako lehká proxy vrstva mezi aplikací a poskytovateli jazykových modelů, integraci je podle výrobce možné provést ve třech řádcích kódu bez zásahu do stávajícího stacku. Mezi klíčové vlastnosti patří rychlost pod 1 ms latence při velikosti pouhých 122 kB, zpracování přes 10 miliard tokenů denně a mechanismy pro prevenci výpadků – automatické fallbacky, load balancing, conditional routing, retry logiku a circuit breakery. Součástí je také observability sada s detailními logy, tracingem, analytikou a sledováním nákladů pro každý požadavek, semantic a simple caching pro optimalizaci výkonu a podpora MCP (Model Context Protocol) gateway pro centralizovanou správu MCP serverů. Nástroj je open-source a enterprise-ready, na vyšším tieru drží certifikace SOC2 Type 2, ISO 27001, GDPR a HIPAA. Konkrétní ceník ani informace o bezplatné variantě nebyly v podkladech uvedeny.

Klíčové vlastnosti

• Směrování na 1600+ AI modelů přes jednotné API
• Latence pod 1 ms při velikosti 122 kB
• Automatické fallbacky, load balancing a retry logika
• Circuit breakery a conditional routing proti výpadkům
• Observabilita s logy, tracingem a sledováním nákladů
• Semantic i simple caching a MCP gateway pro správu serverů

Časté dotazy

Kategorie