RAG (retrieval-augmented generation) dodá modelu u každé otázky relevantní pasáže z vašich dokumentů, takže odpovídá z aktuálních faktů a cituje zdroj. Fine-tuning dotrénuje samotný model, takže mění jeho chování: formát, styl nebo dovednost v úzké úloze. Na otázky nad firemními dokumenty skoro vždy potřebujete RAG. Fine-tuning dává smysl, když model fakta má, ale úlohu dělá nespolehlivě.
Obě věci jsem měřil na slovenských datech. Tady jsou čísla.
Jaký je rozdíl mezi RAG a fine-tuningem?
| RAG | Fine-tuning | |
|---|---|---|
| Co mění | co model ví při odpovědi | jak se model chová |
| Nová nebo změněná fakta | stačí přidat dokument | je třeba znovu trénovat |
| Citace zdroje | ano, přesná pasáž | ne |
| Kde je chyba, když nastane | dá se dohledat v nalezených pasážích | je skrytá ve vahách modelu |
| Nejlepší na | otázky nad smlouvami, manuály, směrnicemi | stálý formát, extrakce údajů, úzká úloha ve velkém objemu |
Jednoduché pravidlo: fakta patří do dokumentů, chování do vah.
Kdy zvolit RAG?
Když model potřebuje fakta, která jsou soukromá nebo se mění: ceníky, smlouvy, interní postupy, pojistné podmínky.
Na slovenských pojistných podmínkách jsem měřil, jak často model odpoví správně. Samotný jazykový model bez vyhledávání odpověděl správně na 26 % ze 77 testovacích otázek. S vyhledáváním a rerankerem na 83,1 %. Stejný model, jen dostal správné pasáže. Rozhodující byl reranker, který zvýšil přesnost vyhledávání (MRR@10) z 0,511 na 0,776. Dělení dokumentů ani doplňování otázek nepohnuly čísly víc, než je jejich vlastní šum.
RAG má ještě jednu výhodu, kterou fine-tuning nemá: umí říct „v dokumentech to není“. Ve stejném projektu po nastavení prahu odmítnutí systém neodpověděl na žádnou otázku, kterou pojistka nepokrývala.
Podobně to vyšlo v Construction Graph RAG: 99,2 % odpovědí s přesnými fakty na lokálním 4B modelu, bez jakéhokoli dotrénování.
Kdy zvolit fine-tuning?
Když model úlohu v principu zvládá, ale dělá ji nespolehlivě: vrátí špatný formát, nedodrží konvence nebo je při velkém objemu pomalý.
V kroku 13 mého repozitáře jsem učil malý 1,7B model vytahovat údaje ze slovenských hlášení pojistných událostí do JSON1: Hlášení jsou syntetická, takže čísla měří metodu, ne produkt. Na reálných textech s překlepy a přílohami je třeba čekat horší výsledky.. Všechny odpovědi byly přímo v textu hlášení, chyba byla v chování:
- Platný JSON: 24 % bez příkladů → 100 % po fine-tuningu
- Shoda polí (F1): 0,812 bez příkladů, 0,885 se třemi příklady v zadání, 0,968 po fine-tuningu
- Rychlost: 0,83 s na hlášení oproti 1,02 s, při stejné kvantizaci
Typické chyby před fine-tuningem: částka vrácená jako text "1950" místo čísla, město ve špatném pádě. Přesně takové věci se váhy naučí dobře. Fine-tuning a vlastní modely dělám v rámci služby ML engineering.
Kolik dat a peněz fine-tuning potřebuje?
Méně, než se obvykle tvrdí. Už 25 příkladů porazilo nejlepší zadání s ukázkami (0,916 oproti 0,885) a křivka se vyrovnala kolem 400 příkladů. Celý trénink běžel lokálně na Macu mini, bez nákladů na cloud.
Pomáhá LoRA: místo celého modelu se trénuje jen malá doplňková matice. Na jedné vrstvě velkého modelu (4096 × 4096) je to 0,39 % parametrů. V kroku 09 jsem změřil, proč to stačí: LoRA s rankem 8 dosáhla 95,9 % oproti 96,9 % u plného fine-tuningu s třikrát více trénovanými parametry.
Co fine-tuning nevyřeší
Nové znalosti. Ve stejném experimentu bylo nejslabším polem město: města, která model viděl při tréninku, trefil v 97 z 99 případů, nová města jen ve 22 z 36. Část zlepšení byla zapamatovaná, ne naučená. Kdybyste fine-tuningem učili model váš ceník, změna ceníku znamená nový trénink a model stejně neřekne, odkud odpověď vzal.
Ladění preferencí na úloze s jednou správnou odpovědí. Další krok, DPO, nepřidal nic měřitelného (0,964 oproti 0,968). Model po fine-tuningu dělal tak málo chyb, že nebylo z čeho se učit.
Dají se kombinovat?
Ano, a u větších projektů to dává smysl. RAG dodá fakta z dokumentů a malý dotrénovaný model je zpracuje do přesného formátu, například pro CRM nebo účetnictví. Začněte ale RAG. Fine-tuning přidejte, až když naměříte, že formát nebo rychlost jsou problém.
Jak se rozhodnout
- Nejdřív zadání a pár ukázek. Nestojí nic a změní se za minutu.
- Chybí modelu fakta, která jsou soukromá nebo se mění? Přidejte RAG.
- Má model fakta, ale úlohu dělá nespolehlivě a ve velkém objemu? Zvažte fine-tuning, nejdřív s pár desítkami příkladů.
Každý krok změřte na sadě reálných otázek, ne na třech ukázkách. Jak na to, píšu v článku Jak změřit kvalitu RAG.