RAG (retrieval-augmented generation) dodá modelu pri každej otázke relevantné pasáže z vašich dokumentov, takže odpovedá z aktuálnych faktov a cituje zdroj. Fine-tuning dotrénuje samotný model, takže mení jeho správanie: formát, štýl alebo zručnosť v úzkej úlohe. Na otázky nad firemnými dokumentmi takmer vždy potrebujete RAG. Fine-tuning dáva zmysel, keď model fakty má, ale úlohu robí nespoľahlivo.
Obe veci som meral na slovenských dátach. Tu sú čísla.
Aký je rozdiel medzi RAG a fine-tuningom?
| RAG | Fine-tuning | |
|---|---|---|
| Čo mení | čo model vie pri odpovedi | ako sa model správa |
| Nové alebo zmenené fakty | stačí pridať dokument | treba znova trénovať |
| Citácia zdroja | áno, presná pasáž | nie |
| Kde je chyba, keď nastane | dá sa dohľadať v nájdených pasážach | je skrytá vo váhach modelu |
| Najlepšie na | otázky nad zmluvami, manuálmi, smernicami | stály formát, extrakcia údajov, úzka úloha vo veľkom objeme |
Jednoduché pravidlo: fakty patria do dokumentov, správanie do váh.
Kedy zvoliť RAG?
Keď model potrebuje fakty, ktoré sú súkromné alebo sa menia: cenníky, zmluvy, interné postupy, poistné podmienky.
Na slovenských poistných podmienkach som meral, ako často model odpovie správne. Samotný jazykový model bez vyhľadávania odpovedal správne na 26 % zo 77 testovacích otázok. S vyhľadávaním a rerankerom na 83,1 %. Ten istý model, len dostal správne pasáže. Rozhodujúci bol reranker, ktorý zvýšil presnosť vyhľadávania (MRR@10) z 0,511 na 0,776. Delenie dokumentov ani dopĺňanie otázok nepohli číslami viac, než je ich vlastný šum.
RAG má ešte jednu výhodu, ktorú fine-tuning nemá: vie povedať „v dokumentoch to nie je“. V tom istom projekte po nastavení prahu odmietnutia systém neodpovedal na žiadnu otázku, ktorú poistka nepokrývala.
Podobne to vyšlo v Construction Graph RAG: 99,2 % odpovedí s presnými faktami na lokálnom 4B modeli, bez akéhokoľvek dotrénovania.
Kedy zvoliť fine-tuning?
Keď model úlohu v princípe zvláda, ale robí ju nespoľahlivo: vráti zlý formát, nedodrží konvencie alebo je pri veľkom objeme pomalý.
V kroku 13 môjho repozitára som učil malý 1,7B model vyťahovať údaje zo slovenských hlásení poistných udalostí do JSON1: Hlásenia sú syntetické, takže čísla merajú metódu, nie produkt. Na reálnych textoch s preklepmi a prílohami treba čakať horšie výsledky.. Všetky odpovede boli priamo v texte hlásenia, chyba bola v správaní:
- Platný JSON: 24 % bez príkladov → 100 % po fine-tuningu
- Zhoda polí (F1): 0,812 bez príkladov, 0,885 s tromi príkladmi v zadaní, 0,968 po fine-tuningu
- Rýchlosť: 0,83 s na hlásenie oproti 1,02 s, pri rovnakej kvantizácii
Typické chyby pred fine-tuningom: suma vrátená ako text "1950" namiesto čísla, mesto v zlom páde. Presne takéto veci sa váhy naučia dobre. Fine-tuning a vlastné modely robím v rámci služby ML engineering.
Koľko dát a peňazí fine-tuning potrebuje?
Menej, než sa zvykne tvrdiť. Už 25 príkladov porazilo najlepšie zadanie s ukážkami (0,916 oproti 0,885) a krivka sa vyrovnala okolo 400 príkladov. Celý tréning bežal lokálne na Mac mini, bez nákladov na cloud.
Pomáha LoRA: namiesto celého modelu sa trénuje len malá doplnková matica. Na jednej vrstve veľkého modelu (4096 × 4096) je to 0,39 % parametrov. V kroku 09 som zmeral, prečo to stačí: LoRA s rankom 8 dosiahla 95,9 % oproti 96,9 % pri plnom fine-tuningu s trikrát viac trénovanými parametrami.
Čo fine-tuning nevyrieši
Nové znalosti. V tom istom experimente bolo najslabším poľom mesto: mestá, ktoré model videl pri tréningu, trafil v 97 z 99 prípadov, nové mestá len v 22 z 36. Časť zlepšenia bola zapamätaná, nie naučená. Ak by ste fine-tuningom učili model váš cenník, zmena cenníka znamená nový tréning a model aj tak nepovie, odkiaľ odpoveď vzal.
Ladenie preferencií na úlohe s jednou správnou odpoveďou. Ďalší krok, DPO, nepridal nič merateľné (0,964 oproti 0,968). Model po fine-tuningu robil tak málo chýb, že nebolo z čoho sa učiť.
Dajú sa kombinovať?
Áno, a pri väčších projektoch to dáva zmysel. RAG dodá fakty z dokumentov a malý dotrénovaný model ich spracuje do presného formátu, napríklad pre CRM alebo účtovníctvo. Začnite ale RAG-om. Fine-tuning pridajte, až keď nameriate, že formát alebo rýchlosť sú problém.
Ako sa rozhodnúť
- Najprv zadanie a pár ukážok. Nestojí nič a zmení sa za minútu.
- Chýbajú modelu fakty, ktoré sú súkromné alebo sa menia? Pridajte RAG.
- Má model fakty, ale úlohu robí nespoľahlivo a vo veľkom objeme? Zvážte fine-tuning, najprv s pár desiatkami príkladov.
Každý krok zmerajte na sade reálnych otázok, nie na troch ukážkach. Ako na to, píšem v článku Ako zmerať kvalitu RAG.