RAG (retrieval-augmented generation) je AI, ktorá odpovedá z vašich dokumentov: najprv vyhľadá relevantné pasáže a až z nich zostaví odpoveď. Či funguje, nezistíte z ukážky na troch otázkach. Zistíte to zo zlatej sady otázok, na ktorej zmeriate vyhľadávanie aj odpovede.
Takto som meral Construction Graph RAG, súkromnú AI nad dokumentmi stavebnej firmy, ktorá beží na jednom počítači so 4B modelom.
Čo je zlatá sada otázok?
Zlatá sada je zoznam otázok, pri ktorých viete správny dokument, stranu aj odpoveď. V mojom projekte má 128 otázok nad 12 prepojenými dokumentmi v slovenčine a angličtine1: Korpus je syntetický, ale zámerne náročný: dva projekty s podobnými číslami a tí istí subdodávatelia naprieč zmluvami. Všetky firmy a osoby sú vymyslené.. Sú v nej jednoduché faktické otázky, otázky na tabuľky, otázky naprieč dokumentmi aj otázky, na ktoré dokumenty odpoveď nemajú.
Posledná skupina je dôležitejšia, než vyzerá. RAG pre firmy musí vedieť povedať „v dokumentoch to nie je“, inak si odpoveď vymyslí.
Čo meriam?
- MRR (mean reciprocal rank): ako vysoko je správna pasáž medzi nájdenými výsledkami.
- Presné fakty v odpovedi: či odpoveď obsahuje očakávané čísla, mená a dátumy.
- Platné citácie: či citovaný zdroj naozaj obsahuje to, čo odpoveď tvrdí.
- Odmietnutia: či AI odmietne otázky bez odpovede a neodmieta tie, na ktoré odpoveď existuje.
Čo pomohlo
Začal som pri hybridnom vyhľadávaní (vektory + BM25) s MRR 76,1 %. Dve zmeny priniesli takmer celé zlepšenie:
- Contextual retrieval. Ku každej časti dokumentu pri indexovaní pridám jednu vetu kontextu. Nič to nestojí pri otázke a MRR stúplo zo 76 na 85 %.
- Reranker. Model, ktorý znova zoradí 20 kandidátov, zvýšil MRR z 85 na 96,5 % za približne 0,8 sekundy na otázku.
Výsledná zostava má 99,2 % odpovedí s presne očakávanými faktami, 100 % platných citácií a 90 % otázok bez odpovede správne odmietne.
Čo uškodilo
Knowledge graph pri každej otázke výsledky zhoršil: MRR kleslo zo 76,1 na 54,8 %, lebo kandidáti z grafu prehlasovali ostatné vyhľadávanie. Graf pomáha len pri otázkach na vzťahy medzi dokumentmi, preto beží len pri nich.
Bez merania by som graf nechal zapnutý, lebo „dáva zmysel“. Číslo ukázalo opak.
Prečo AI nesmie počítať čísla
Malé modely si vymýšľajú čísla, časy a dátumy. V projekte preto model žiadne číslo nevlastní: sumy a termíny počíta kód a každá hodnota, ktorú model prečíta z dokumentu, sa overí voči zdroju. Ak nesedí, zahodí sa.
Rovnako som otestoval ochranu pred prompt injection, teda pokynmi podstrčenými v dokumentoch. Bez ochrany uspelo 16,7 % útokov, s ochranou 0 %.
Ako začať u vás
Ak riešite, či namiesto RAG nepoužiť dotrénovaný model, prečítajte si RAG vs. fine-tuning.
Stačí 30 až 50 reálnych otázok, ktoré vaši ľudia kladú, a dokumenty, z ktorých majú odpovede pochádzať. Na nich postavíte prototyp a zmeriate ho skôr, než doň investujete viac. Ak chcete, pomôžem vám s tým.