RAG (retrieval-augmented generation) je AI, která odpovídá z vašich dokumentů: nejdřív vyhledá relevantní pasáže a teprve z nich sestaví odpověď. Jestli funguje, nezjistíte z ukázky na třech otázkách. Zjistíte to ze zlaté sady otázek, na které změříte vyhledávání i odpovědi.

Takhle jsem měřil Construction Graph RAG, soukromou AI nad dokumenty stavební firmy, která běží na jednom počítači se 4B modelem.

Co je zlatá sada otázek?

Zlatá sada je seznam otázek, u kterých znáte správný dokument, stranu i odpověď. V mém projektu má 128 otázek nad 12 propojenými dokumenty ve slovenštině a angličtině1: Korpus je syntetický, ale záměrně náročný: dva projekty s podobnými čísly a stejní subdodavatelé napříč smlouvami. Všechny firmy a osoby jsou vymyšlené.. Jsou v ní jednoduché faktické otázky, otázky na tabulky, otázky napříč dokumenty i otázky, na které dokumenty odpověď nemají.

Poslední skupina je důležitější, než vypadá. RAG pro firmy musí umět říct „v dokumentech to není“, jinak si odpověď vymyslí.

Co měřím?

  • MRR (mean reciprocal rank): jak vysoko je správná pasáž mezi nalezenými výsledky.
  • Přesná fakta v odpovědi: jestli odpověď obsahuje očekávaná čísla, jména a data.
  • Platné citace: jestli citovaný zdroj opravdu obsahuje to, co odpověď tvrdí.
  • Odmítnutí: jestli AI odmítne otázky bez odpovědi a neodmítá ty, na které odpověď existuje.

Co pomohlo

Začal jsem u hybridního vyhledávání (vektory + BM25) s MRR 76,1 %. Dvě změny přinesly skoro celé zlepšení:

  1. Contextual retrieval. Ke každé části dokumentu při indexování přidám jednu větu kontextu. Při dotazu to nic nestojí a MRR stouplo ze 76 na 85 %.
  2. Reranker. Model, který znovu seřadí 20 kandidátů, zvýšil MRR z 85 na 96,5 % za přibližně 0,8 sekundy na otázku.

Výsledná sestava má 99,2 % odpovědí s přesně očekávanými fakty, 100 % platných citací a 90 % otázek bez odpovědi správně odmítne.

Co uškodilo

Knowledge graph u každé otázky výsledky zhoršil: MRR kleslo ze 76,1 na 54,8 %, protože kandidáti z grafu přehlasovali ostatní vyhledávání. Graf pomáhá jen u otázek na vztahy mezi dokumenty, proto běží jen u nich.

Bez měření bych graf nechal zapnutý, protože „dává smysl“. Číslo ukázalo opak.

Proč AI nesmí počítat čísla

Malé modely si vymýšlejí čísla, časy a data. V projektu proto model žádné číslo nevlastní: částky a termíny počítá kód a každá hodnota, kterou model přečte z dokumentu, se ověří proti zdroji. Pokud nesedí, zahodí se.

Stejně jsem otestoval ochranu proti prompt injection, tedy pokynům podstrčeným v dokumentech. Bez ochrany uspělo 16,7 % útoků, s ochranou 0 %.

Jak začít u vás

Pokud řešíte, jestli místo RAG nepoužít dotrénovaný model, přečtěte si RAG vs. fine-tuning.

Stačí 30 až 50 reálných otázek, které vaši lidé kladou, a dokumenty, ze kterých mají odpovědi pocházet. Na nich postavíte prototyp a změříte ho dřív, než do něj investujete víc. Pokud chcete, pomůžu vám s tím.

Související