Postavil som súkromnú AI nad dokumentmi stavebnej firmy, ktorá beží na jednom počítači s lokálnym 4B modelom. Na 128 testovacích otázkach obsahuje 99,2 % odpovedí presne očakávané fakty a každá citácia otvorí pasáž v PDF.
Open-source projekt (licencia MIT) nad syntetickým, ale zámerne náročným korpusom: 12 prepojených dokumentov stavebnej firmy v slovenčine a angličtine, dva projekty s podobnými číslami a tí istí subdodávatelia naprieč zmluvami. Všetky firmy a osoby sú vymyslené.
Problém
Malá stavebná firma má odpovede rozptýlené v zmluvách, rozpočtoch, stavebných denníkoch a manuáloch. Dáta nesmú odísť do cloudu a AI si nesmie vymýšľať čísla ani termíny.
Riešenie
Hybridné vyhľadávanie (vektory + BM25), contextual retrieval, knowledge graph len pre otázky na vzťahy medzi dokumentmi a reranker. Model nikdy nevlastní číslo, čas ani dátum: počíta ich kód a hodnoty z textu sa overujú voči zdroju. Pred odpoveďou beží ochrana proti prompt injection.
Výsledky
- Presnosť vyhľadávania (MRR) 76,1 → 96,5 %, nDCG@10 80,0 → 96,9 %
- 99,2 % odpovedí s presne očakávanými faktami, 100 % platných citácií
- 90 % otázok bez odpovede AI správne odmietne, 0,9 % zbytočných odmietnutí
- Úspešnosť prompt injection 16,7 → 0 %, red-team 21 z 21 prípadov bez úniku
Stack
- Python, Ollama, Qwen3 4B
- Hybridné vyhľadávanie: dense + BM25 (RRF) a reranker
- Knowledge graph naprieč dokumentmi
- Evaluácia: 128 otázok so zlatou odpoveďou, brána na metriky v CI
Čo som sa naučil
Graf pri každej otázke výsledky zhoršil (MRR 76,1 → 54,8), preto beží len pri otázkach na vzťahy. Najlacnejšie veľké zlepšenie priniesol contextual retrieval: jedna veta kontextu ku každej časti dokumentu zvýšila MRR zo 76 na 85. Čísla sú z malých syntetických sád, berte ich ako inžiniersky dôkaz, nie benchmark.
GitHub: construction-graph-rag