Dostanete od kolegy padesátistránkovou smlouvu, studii nebo přepis dvouhodinové schůzky a potřebujete vědět, co je v ní podstatné – ideálně za pět minut. AI shrnutí slibuje přesně tohle. Problém je, že výsledek vypadá hotově, i když něco podstatného chybí nebo tam přibylo něco, co v originále vůbec nebylo.
Proč „shrňte mi to“ nestačí
Prompt „shrnout tento dokument“ a prompt „shrnout tento dokument v pěti větách pro právníka, který se rozhoduje, jestli smlouvu podepsat, se zaměřením na výpovědní podmínky“ dají ze stejného textu úplně jiný výstup. Podle doporučení ke psaní promptů je nedostatečná specifikace nejčastější chybou při zadávání – vágní instrukce prostě produkují vágní výsledky.
Model totiž nezná kontext, který máte v hlavě vy. Neví, jestli čtete smlouvu kvůli podpisu, nebo kvůli kontrole, co se změnilo oproti minulé verzi. Neví, jestli vás zajímá přehled celého textu, nebo jen jedna kapitola. Tohle všechno musíte říct – a čím konkrétněji, tím míň prostoru zbyde na domýšlení.
Jak zadat prompt, aby shrnutí bylo k něčemu
Funkční zadání má tři části. Nejdřív řeknete, pro koho shrnutí je a k čemu poslouží – jestli má sloužit jako rychlý přehled, nebo jako podklad pro konkrétní rozhodnutí. To je zásadní rozdíl: přehled smí vynechat detaily, podklad pro rozhodnutí ne.
Shrň mi následující text jako podklad pro rozhodnutí, jestli smlouvu podepsat. Potřebuju vědět o výpovědních lhůtách, pokutách a povinnostech, které mi vzniknou. Napiš to jako odrážky, u každé uveď, ve kterém odstavci nebo sekci originálu to najdu. Na konci přidej seznam toho, co jsi z textu vynechal jako nepodstatné, ať to můžu zkontrolovat. Text je mezi značkami „document“. „document“ [sem vlož text] „/document“
Druhá část je formát – odrážky místo souvislého textu se čtou rychleji a dají se procházet po jedné. Třetí část je ukotvení v originálu: požádejte o odkaz na odstavec, stránku nebo sekci u každého tvrzení. OpenAI ve své dokumentaci doporučuje dávat instrukci na začátek promptu a oddělit ji od obsahu, třeba pomocí ### nebo uvozovek. Anthropic jde podobnou cestou a doporučuje obalit samotný dokument do značek jako [document], aby model jasně věděl, co má shrnout a co je instrukce.
Čtvrtý krok se v návodech často vynechává, přitom je nejužitečnější: nechte si vypsat, co model vynechal. Sumarizace je ze své podstaty ztrátová – něco musí zmizet. Otázka je, jestli zmizelo to nepodstatné, nebo klíčová podmínka ve třetím odstavci.
Kde AI shrnutí nejčastěji selže
Ne všechny texty se shrnují stejně dobře. Dlouhé dokumenty mají svůj vlastní problém: podle studie Liu et al. je výkon modelu nejvyšší, když je relevantní informace na začátku nebo na konci textu, a výrazně klesá, když je informace uprostřed dlouhého kontextu. Podle dalšího rozboru se tenhle jev objevuje i u modelů, které zvládnou zpracovat velmi dlouhý text najednou – velikost kontextu problém sama o sobě neřeší. V praxi to znamená, že klauzule schovaná uprostřed třicetistránkové smlouvy má větší šanci propadnout sítem než ta na první nebo poslední straně.
Tabulky jsou druhý slabý bod. Výzkum extrakce dat z výročních zpráv zjistil, že modely mají výrazně horší výsledky u tabulkových dat než u souvislého textu ve stejném dokumentu. Mergované buňky a vnořená záhlaví situaci ještě zhoršují – podle jedné analýzy kvůli nim model špatně přiřadí hodnotu ke správnému řádku nebo sloupci.
Naskenované dokumenty jsou třetí riziko. Když je sken nekvalitní, extrakce textu z něj bývá podle rozboru zcela nepřesná – model si dovypráví, co nerozpozná. A čísla? Ta mají problém sama o sobě: podle patentového dokumentu popisujícího tuhle chybu model dokáže špatně porovnat dvě čísla, špatně vyjádřit vztah mezi nimi, nebo si číslo prostě vymyslet. Benchmark numerických schopností LLM to vysvětluje tím, že model zpracovává čísla jako tokeny, ne jako spojitou veličinu – „třicet pět procent“ je pro něj kus textu, ne matematická hodnota.
Právní text s výjimkami je poslední a možná nejzákeřnější případ, protože výjimka ve výjimce se snadno ztratí. Jedna případová studie popisuje konkrétní selhání: nástroj použitý ke zkrácení právního dokumentu si vymyslel právní termíny, které v originále nebyly, a zároveň vynechal klíčové náležitosti – výsledný souhrn text zkresloval oběma směry najednou.
Vynechání, nebo výmysl? Obě chyby bolí jinak
Lidé si pod „halucinací“ představí hlavně fakt, který v textu vůbec nebyl. Ale rozsáhlá studie na 100 záznamech z pohotovosti (UCSF) ukázala, že druhá chyba je stejně častá, ne-li horší: 42 % shrnutí obsahovalo vymyšlenou informaci, ale 47 % naopak vynechalo klinicky důležitý údaj. Chyby se navíc nerozkládají náhodně – nepřesnosti se soustředily do sekce plánu léčby, zatímco vynechané informace se nejčastěji ztrácely v popisu anamnézy a fyzikálního vyšetření.
Jiný rozsáhlý rozbor na téměř 13 tisících anotovaných větách zjistil, že vynechání jsou v absolutních číslech častější než vymyšlené údaje (3,45 % vět oproti 1,47 %). Vymyšlený údaj ale byl skoro třikrát pravděpodobněji označený jako závažná chyba než vynechání. Jinými slovy: model spíš něco zapomene, ale když si něco vymyslí, bolí to víc.
V právním prostředí je obraz ještě drsnější. Studie Stanfordu a Yale testovala specializované AI nástroje pro právní výzkum a zjistila, že halucinovaly mezi 17 a 33 procenty případů – a to jde o nástroje stavěné přímo na práci s právními dokumenty. Obecné jazykové modely dopadly podle navazujícího výzkumu hůř, s mírou halucinace mezi 58 a 82 procenty na právních dotazech. Pro shrnutí smlouvy nebo rozsudku je to varování samo o sobě: čím specializovanější nástroj, tím nižší riziko, ale nulové riziko to není nikdy.
Jak shrnutí ověřit, než ho pošlete dál
Nejrychlejší kontrola je prostá: vezměte tři tvrzení ze shrnutí a dohledejte je v originále. Pokud jste požádali o odkazy na odstavce nebo sekce, jde to za minutu. Hledejte hlavně čísla, data a cokoliv, co zní jako výjimka z pravidla – přesně tahle místa dělají modelům největší problém.
- Vyberte tři tvrzení, ideálně taková, která by vás nejvíc mrzela, kdyby byla špatně.
- Otevřete originál na místě, které shrnutí uvádí jako zdroj.
- Porovnejte formulaci – nejde jen o to, jestli fakt existuje, ale jestli ho shrnutí nezkreslilo („může“ se v shrnutí snadno změní na „musí“).
- Projděte seznam vynechaného, který jste si nechali vypsat, a zkontrolujte, jestli tam není něco, co jste čekali v hlavním shrnutí.
Tahle namátková kontrola nenahradí přečtení celého dokumentu. Ale u textu, který byste stejně nestihli pročíst celý, je lepší než nic – a u krátkého e-mailu nebo článku vám během chvíle potvrdí, že se shrnutí drží originálu.
Souvisí s tím širší téma: proč si AI vůbec něco vymýšlí a jak tenhle sklon funguje obecně, popisuje článek o halucinacích. A pokud chystáte nahrát do AI nástroje firemní smlouvu nebo citlivá data, stojí za přečtení i návod, co do AI nenahrávat.
Výběr nástroje
Obecný chatbot zvládne shrnutí kratšího textu bez problémů, stačí mu dobře zadaný prompt. Pro delší dokumenty nebo pravidelnou sumarizaci se víc hodí nástroj stavěný přímo na tohle – třeba TLDR this, který zkracuje články a weby, nebo Any Summary, určený na delší dokumenty a nahrávané soubory. Přehled dalších možností najdete v kategorii Shrnutí textu.
Jak dlouhý text zvládne AI shrnout najednou?
Záleží na nástroji a na tom, jak má nastavený limit pro vstup. U opravdu dlouhých dokumentů (stovky stran) se vyplatí rozdělit text na části a shrnout je postupně – jednak kvůli limitům, jednak proto, že informace uprostřed dlouhého textu mají tendenci modelu unikat.
Pozná se z AI shrnutí, že něco chybí?
Ne automaticky. Proto má smysl si nechat vypsat, co model označil za nepodstatné a vynechal – a tenhle seznam zkontrolovat stejně pečlivě jako samotné shrnutí.
Je bezpečné nahrát do AI nástroje smlouvu s osobními údaji?
Ne vždy – závisí na nástroji a na tom, jak nakládá s daty. Než nahrajete citlivý dokument, přečtěte si návod, co do AI nenahrávat.
Proč shrnutí tabulky vypadá jinak než text vedle ní?
Protože modely mají s tabulkovými daty prokazatelně horší výsledky než se souvislým textem, zvlášť u tabulek se spojenými buňkami nebo vícevrstvými záhlavími. U čísel ve větším množství se vyplatí ověřit je ručně, ne spoléhat na shrnutí.