Přeskočit na obsah
ejaj.cz
Nástroje
stojí za pozornost

AWS ukazuje, jak ušetřit až 40 % u vlastních LLM

NástrojeOficiální zdroj: informace pochází přímo od toho, koho se zpráva týká – z firemního blogu, tiskové zprávy nebo oficiálního dokumentu.Text vytvořila umělá inteligence z uvedených zdrojů.

Distribuovaná KV cache s Amazon ElastiCache podle AWS sníží náklady na inferenci až o 40 procent a čas do prvního tokenu až o 80 procent. AWS zároveň uvedla Textract Insights a aktualizace AWS Quick.

Self-hosting LLM na GPU znamená platit za opakovaný přepočet stejného kontextu při každém kroku konverzace. AWS popisuje distribuované KV cachování s Amazon ElastiCache, které má snížit náklady na inferenci až o 40 procent a time to first token až o 80 procent.

AWS také oznámila obecnou dostupnost Amazon Textract Insights, kde popíšete potřebná pole přirozeným jazykem a dostanete strukturovaný výstup z dokumentu. AWS Quick dostal lepší flows a agenty, kteří spolupracují.

Proč by vás to mělo zajímat

Firmy provozující vlastní modely mohou výrazně snížit účet za GPU. Porovnejte vlastní náklady s uváděnými čísly, než začnete s implementací.

🌅 Podobné novinky každé ráno v 7:00 do mailu

Zdarma, odhlášení jedním klikem v každém e-mailu.

Vyzkoušejte k tomu – z katalogu ejaj.cz

Další novinky

Zpět na přehled AI novinek.