Postavil som súkromnú AI nad dokumentmi stavebnej firmy, ktorá beží na jednom počítači s lokálnym 4B modelom. Na 128 testovacích otázkach obsahuje 99,2 % odpovedí presne očakávané fakty a každá citácia otvorí pasáž v PDF.

Open-source projekt (licencia MIT) nad syntetickým, ale zámerne náročným korpusom: 12 prepojených dokumentov stavebnej firmy v slovenčine a angličtine, dva projekty s podobnými číslami a tí istí subdodávatelia naprieč zmluvami. Všetky firmy a osoby sú vymyslené.

Problém

Malá stavebná firma má odpovede rozptýlené v zmluvách, rozpočtoch, stavebných denníkoch a manuáloch. Dáta nesmú odísť do cloudu a AI si nesmie vymýšľať čísla ani termíny.

Riešenie

Hybridné vyhľadávanie (vektory + BM25), contextual retrieval, knowledge graph len pre otázky na vzťahy medzi dokumentmi a reranker. Model nikdy nevlastní číslo, čas ani dátum: počíta ich kód a hodnoty z textu sa overujú voči zdroju. Pred odpoveďou beží ochrana proti prompt injection.

Výsledky

  • Presnosť vyhľadávania (MRR) 76,1 → 96,5 %, nDCG@10 80,0 → 96,9 %
  • 99,2 % odpovedí s presne očakávanými faktami, 100 % platných citácií
  • 90 % otázok bez odpovede AI správne odmietne, 0,9 % zbytočných odmietnutí
  • Úspešnosť prompt injection 16,7 → 0 %, red-team 21 z 21 prípadov bez úniku

Stack

  • Python, Ollama, Qwen3 4B
  • Hybridné vyhľadávanie: dense + BM25 (RRF) a reranker
  • Knowledge graph naprieč dokumentmi
  • Evaluácia: 128 otázok so zlatou odpoveďou, brána na metriky v CI

Čo som sa naučil

Graf pri každej otázke výsledky zhoršil (MRR 76,1 → 54,8), preto beží len pri otázkach na vzťahy. Najlacnejšie veľké zlepšenie priniesol contextual retrieval: jedna veta kontextu ku každej časti dokumentu zvýšila MRR zo 76 na 85. Čísla sú z malých syntetických sád, berte ich ako inžiniersky dôkaz, nie benchmark.

GitHub: construction-graph-rag

Súvisiace