Evaluácia LLM znamená zmerať, či vaša AI odpovedá správne, a merať to pri každej zmene promptu alebo modelu. Zostavím testovaciu sadu, automatické meranie a sledovanie kvality a nákladov v prevádzke, aj pre AI, ktorú postavil niekto iný.
Bez testovacej sady je každá zmena promptu len pocit. S ňou je to číslo.
Pre koho to je
- Firmy, ktoré už AI používajú, ale nevedia, ako dobre funguje
- Tímy, ktorým sa po zmene modelu alebo promptu niečo potichu pokazilo
- Firmy, ktoré musia kvalitu AI doložiť vedeniu alebo audítorovi
Ako to funguje
- Zozbieram reálne otázky a prípady a so správnymi odpoveďami z nich zostavím testovaciu sadu.
- Nastavím metriky: presnosť, citácie, odmietnutia, rýchlosť a cenu.
- Zapojím meranie do vývoja, aby sa spustilo pri každej zmene.
- Nastavím sledovanie v prevádzke a mesačný report.
Čo dostanete
Testovacia sada
Reálne otázky a prípady so správnymi odpoveďami, ktoré vám ostanú.
Metriky
Presnosť, citácie, odmietnutia, rýchlosť a cena za odpoveď.
Brána pri zmene
Zmena promptu alebo modelu, ktorá zhorší čísla, neprejde.
Test zneužitia
Pokusy o podstrčené pokyny a únik údajov, merané rovnako ako kvalita.
Monitoring v prevádzke
Kvalita a náklady v čase a upozornenie, keď klesnú.
Z praxe
Construction Graph RAG má 128 otázok so zlatou odpoveďou a bránu na metriky v CI. Vďaka nej som videl, že knowledge graph presnosť zhoršil (MRR 76,1 → 54,8), a úspešnosť prompt injection klesla zo 16,7 na 0 %. ClaimPilot sa meria na 40 vývojových a 20 testovacích udalostiach.
Čo sa vo firme zmení
O zmene modelu alebo promptu rozhoduje číslo, nie dojem. Problém uvidíte v reporte skôr, než ho nahlási zákazník.
Technológie a bezpečnosť dát
Testovacia sada môže obsahovať anonymizované dáta. Meranie beží u vás alebo v regióne EÚ.
Cena
900–2 160 €, 1–3 týždne. Priebežný monitoring od 190 € mesačne. Cenník
Časté otázky
Čo je evaluácia LLM?
Meranie kvality jazykového modelu na sade otázok so správnymi odpoveďami. Ukáže presnosť, citácie, odmietnutia a cenu, a to pri každej zmene rovnako.
Viete zmerať AI, ktorú postavil niekto iný?
Áno. Stačí mi prístup k jej vstupom a výstupom, kód meniť nemusím.
Koľko otázok treba?
Na začiatok 50 až 150 reálnych otázok. Construction Graph RAG mal 128.
Koľko to stojí?
900–2 160 € za testovaciu sadu a meranie, 1–3 týždne. Monitoring v prevádzke od 190 € mesačne.
Súvisiace
- Služby
- RAG pre firmy
AI, ktorá odpovedá z vašich dokumentov a cituje zdroj.
- AI agenti
Agent pripraví návrh, človek ho schváli.
- AI infraštruktúra
Jedno miesto pre modely, náklady a záznamy.