Postavil jsem soukromou AI nad dokumenty stavební firmy, která běží na jednom počítači s lokálním 4B modelem. Na 128 testovacích otázkách obsahuje 99,2 % odpovědí přesně očekávaná fakta a každá citace otevře pasáž v PDF.
Open-source projekt (licence MIT) nad syntetickým, ale záměrně náročným korpusem: 12 propojených dokumentů stavební firmy ve slovenštině a angličtině, dva projekty s podobnými čísly a stejní subdodavatelé napříč smlouvami. Všechny firmy a osoby jsou smyšlené.
Problém
Malá stavební firma má odpovědi rozptýlené ve smlouvách, rozpočtech, stavebních denících a manuálech. Data nesmí odejít do cloudu a AI si nesmí vymýšlet čísla ani termíny.
Řešení
Hybridní vyhledávání (vektory + BM25), contextual retrieval, knowledge graph jen pro otázky na vztahy mezi dokumenty a reranker. Model nikdy nevytváří číslo, čas ani datum: počítá je kód a hodnoty z textu se ověřují proti zdroji. Před odpovědí běží ochrana proti prompt injection.
Výsledky
- Přesnost vyhledávání (MRR) 76,1 → 96,5 %, nDCG@10 80,0 → 96,9 %
- 99,2 % odpovědí s přesně očekávanými fakty, 100 % platných citací
- 90 % otázek bez odpovědi AI správně odmítne, 0,9 % zbytečných odmítnutí
- Úspěšnost prompt injection 16,7 → 0 %, red-team 21 z 21 případů bez úniku
Stack
- Python, Ollama, Qwen3 4B
- Hybridní vyhledávání: dense + BM25 (RRF) a reranker
- Knowledge graph napříč dokumenty
- Evaluace: 128 otázek se zlatou odpovědí, brána na metriky v CI
Co jsem se naučil
Graf u každé otázky výsledky zhoršil (MRR 76,1 → 54,8), proto běží jen u otázek na vztahy. Nejlevnější velké zlepšení přinesl contextual retrieval: jedna věta kontextu ke každé části dokumentu zvýšila MRR ze 76 na 85. Čísla jsou z malých syntetických sad, berte je jako inženýrský důkaz, ne benchmark.
GitHub: construction-graph-rag