RAG (retrieval-augmented generation) je AI, která odpovídá z vašich dokumentů: nejdřív vyhledá relevantní pasáže a teprve z nich sestaví odpověď. Jestli funguje, nezjistíte z ukázky na třech otázkách. Zjistíte to ze zlaté sady otázek, na které změříte vyhledávání i odpovědi.
Takhle jsem měřil Construction Graph RAG, soukromou AI nad dokumenty stavební firmy, která běží na jednom počítači se 4B modelem.
Co je zlatá sada otázek?
Zlatá sada je seznam otázek, u kterých znáte správný dokument, stranu i odpověď. V mém projektu má 128 otázek nad 12 propojenými dokumenty ve slovenštině a angličtině1: Korpus je syntetický, ale záměrně náročný: dva projekty s podobnými čísly a stejní subdodavatelé napříč smlouvami. Všechny firmy a osoby jsou vymyšlené.. Jsou v ní jednoduché faktické otázky, otázky na tabulky, otázky napříč dokumenty i otázky, na které dokumenty odpověď nemají.
Poslední skupina je důležitější, než vypadá. RAG pro firmy musí umět říct „v dokumentech to není“, jinak si odpověď vymyslí.
Co měřím?
- MRR (mean reciprocal rank): jak vysoko je správná pasáž mezi nalezenými výsledky.
- Přesná fakta v odpovědi: jestli odpověď obsahuje očekávaná čísla, jména a data.
- Platné citace: jestli citovaný zdroj opravdu obsahuje to, co odpověď tvrdí.
- Odmítnutí: jestli AI odmítne otázky bez odpovědi a neodmítá ty, na které odpověď existuje.
Co pomohlo
Začal jsem u hybridního vyhledávání (vektory + BM25) s MRR 76,1 %. Dvě změny přinesly skoro celé zlepšení:
- Contextual retrieval. Ke každé části dokumentu při indexování přidám jednu větu kontextu. Při dotazu to nic nestojí a MRR stouplo ze 76 na 85 %.
- Reranker. Model, který znovu seřadí 20 kandidátů, zvýšil MRR z 85 na 96,5 % za přibližně 0,8 sekundy na otázku.
Výsledná sestava má 99,2 % odpovědí s přesně očekávanými fakty, 100 % platných citací a 90 % otázek bez odpovědi správně odmítne.
Co uškodilo
Knowledge graph u každé otázky výsledky zhoršil: MRR kleslo ze 76,1 na 54,8 %, protože kandidáti z grafu přehlasovali ostatní vyhledávání. Graf pomáhá jen u otázek na vztahy mezi dokumenty, proto běží jen u nich.
Bez měření bych graf nechal zapnutý, protože „dává smysl“. Číslo ukázalo opak.
Proč AI nesmí počítat čísla
Malé modely si vymýšlejí čísla, časy a data. V projektu proto model žádné číslo nevlastní: částky a termíny počítá kód a každá hodnota, kterou model přečte z dokumentu, se ověří proti zdroji. Pokud nesedí, zahodí se.
Stejně jsem otestoval ochranu proti prompt injection, tedy pokynům podstrčeným v dokumentech. Bez ochrany uspělo 16,7 % útoků, s ochranou 0 %.
Jak začít u vás
Pokud řešíte, jestli místo RAG nepoužít dotrénovaný model, přečtěte si RAG vs. fine-tuning.
Stačí 30 až 50 reálných otázek, které vaši lidé kladou, a dokumenty, ze kterých mají odpovědi pocházet. Na nich postavíte prototyp a změříte ho dřív, než do něj investujete víc. Pokud chcete, pomůžu vám s tím.