Distribuovaná KV cache s Amazon ElastiCache podle AWS sníží náklady na inferenci až o 40 procent a čas do prvního tokenu až o 80 procent. AWS zároveň uvedla Textract Insights a aktualizace AWS Quick.
Self-hosting LLM na GPU znamená platit za opakovaný přepočet stejného kontextu při každém kroku konverzace. AWS popisuje distribuované KV cachování s Amazon ElastiCache, které má snížit náklady na inferenci až o 40 procent a time to first token až o 80 procent.
AWS také oznámila obecnou dostupnost Amazon Textract Insights, kde popíšete potřebná pole přirozeným jazykem a dostanete strukturovaný výstup z dokumentu. AWS Quick dostal lepší flows a agenty, kteří spolupracují.
Proč by vás to mělo zajímat
Firmy provozující vlastní modely mohou výrazně snížit účet za GPU. Porovnejte vlastní náklady s uváděnými čísly, než začnete s implementací.



