RAG (retrieval-augmented generation) dodá modelu u každé otázky relevantní pasáže z vašich dokumentů, takže odpovídá z aktuálních faktů a cituje zdroj. Fine-tuning dotrénuje samotný model, takže mění jeho chování: formát, styl nebo dovednost v úzké úloze. Na otázky nad firemními dokumenty skoro vždy potřebujete RAG. Fine-tuning dává smysl, když model fakta má, ale úlohu dělá nespolehlivě.

Obě věci jsem měřil na slovenských datech. Tady jsou čísla.

Jaký je rozdíl mezi RAG a fine-tuningem?

RAGFine-tuning
Co měníco model ví při odpovědijak se model chová
Nová nebo změněná faktastačí přidat dokumentje třeba znovu trénovat
Citace zdrojeano, přesná pasážne
Kde je chyba, když nastanedá se dohledat v nalezených pasážíchje skrytá ve vahách modelu
Nejlepší naotázky nad smlouvami, manuály, směrnicemistálý formát, extrakce údajů, úzká úloha ve velkém objemu

Jednoduché pravidlo: fakta patří do dokumentů, chování do vah.

Kdy zvolit RAG?

Když model potřebuje fakta, která jsou soukromá nebo se mění: ceníky, smlouvy, interní postupy, pojistné podmínky.

Na slovenských pojistných podmínkách jsem měřil, jak často model odpoví správně. Samotný jazykový model bez vyhledávání odpověděl správně na 26 % ze 77 testovacích otázek. S vyhledáváním a rerankerem na 83,1 %. Stejný model, jen dostal správné pasáže. Rozhodující byl reranker, který zvýšil přesnost vyhledávání (MRR@10) z 0,511 na 0,776. Dělení dokumentů ani doplňování otázek nepohnuly čísly víc, než je jejich vlastní šum.

RAG má ještě jednu výhodu, kterou fine-tuning nemá: umí říct „v dokumentech to není“. Ve stejném projektu po nastavení prahu odmítnutí systém neodpověděl na žádnou otázku, kterou pojistka nepokrývala.

Podobně to vyšlo v Construction Graph RAG: 99,2 % odpovědí s přesnými fakty na lokálním 4B modelu, bez jakéhokoli dotrénování.

Kdy zvolit fine-tuning?

Když model úlohu v principu zvládá, ale dělá ji nespolehlivě: vrátí špatný formát, nedodrží konvence nebo je při velkém objemu pomalý.

V kroku 13 mého repozitáře jsem učil malý 1,7B model vytahovat údaje ze slovenských hlášení pojistných událostí do JSON1: Hlášení jsou syntetická, takže čísla měří metodu, ne produkt. Na reálných textech s překlepy a přílohami je třeba čekat horší výsledky.. Všechny odpovědi byly přímo v textu hlášení, chyba byla v chování:

  • Platný JSON: 24 % bez příkladů → 100 % po fine-tuningu
  • Shoda polí (F1): 0,812 bez příkladů, 0,885 se třemi příklady v zadání, 0,968 po fine-tuningu
  • Rychlost: 0,83 s na hlášení oproti 1,02 s, při stejné kvantizaci

Typické chyby před fine-tuningem: částka vrácená jako text "1950" místo čísla, město ve špatném pádě. Přesně takové věci se váhy naučí dobře. Fine-tuning a vlastní modely dělám v rámci služby ML engineering.

Kolik dat a peněz fine-tuning potřebuje?

Méně, než se obvykle tvrdí. Už 25 příkladů porazilo nejlepší zadání s ukázkami (0,916 oproti 0,885) a křivka se vyrovnala kolem 400 příkladů. Celý trénink běžel lokálně na Macu mini, bez nákladů na cloud.

Pomáhá LoRA: místo celého modelu se trénuje jen malá doplňková matice. Na jedné vrstvě velkého modelu (4096 × 4096) je to 0,39 % parametrů. V kroku 09 jsem změřil, proč to stačí: LoRA s rankem 8 dosáhla 95,9 % oproti 96,9 % u plného fine-tuningu s třikrát více trénovanými parametry.

Co fine-tuning nevyřeší

Nové znalosti. Ve stejném experimentu bylo nejslabším polem město: města, která model viděl při tréninku, trefil v 97 z 99 případů, nová města jen ve 22 z 36. Část zlepšení byla zapamatovaná, ne naučená. Kdybyste fine-tuningem učili model váš ceník, změna ceníku znamená nový trénink a model stejně neřekne, odkud odpověď vzal.

Ladění preferencí na úloze s jednou správnou odpovědí. Další krok, DPO, nepřidal nic měřitelného (0,964 oproti 0,968). Model po fine-tuningu dělal tak málo chyb, že nebylo z čeho se učit.

Dají se kombinovat?

Ano, a u větších projektů to dává smysl. RAG dodá fakta z dokumentů a malý dotrénovaný model je zpracuje do přesného formátu, například pro CRM nebo účetnictví. Začněte ale RAG. Fine-tuning přidejte, až když naměříte, že formát nebo rychlost jsou problém.

Jak se rozhodnout

  1. Nejdřív zadání a pár ukázek. Nestojí nic a změní se za minutu.
  2. Chybí modelu fakta, která jsou soukromá nebo se mění? Přidejte RAG.
  3. Má model fakta, ale úlohu dělá nespolehlivě a ve velkém objemu? Zvažte fine-tuning, nejdřív s pár desítkami příkladů.

Každý krok změřte na sadě reálných otázek, ne na třech ukázkách. Jak na to, píšu v článku Jak změřit kvalitu RAG.

Související