Evaluace LLM znamená změřit, jestli vaše AI odpovídá správně, a měřit to při každé změně promptu nebo modelu. Sestavím testovací sadu, automatické měření a sledování kvality a nákladů v provozu, i pro AI, kterou postavil někdo jiný.
Bez testovací sady je každá změna promptu jen pocit. S ní je to číslo.
Pro koho to je
- Firmy, které už AI používají, ale nevědí, jak dobře funguje
- Týmy, kterým se po změně modelu nebo promptu něco potichu rozbilo
- Firmy, které musí kvalitu AI doložit vedení nebo auditorovi
Jak to funguje
- Sesbírám reálné otázky a případy a se správnými odpověďmi z nich sestavím testovací sadu.
- Nastavím metriky: přesnost, citace, odmítnutí, rychlost a cenu.
- Zapojím měření do vývoje, aby se spustilo při každé změně.
- Nastavím sledování v provozu a měsíční report.
Co dostanete
Testovací sada
Reálné otázky a případy se správnými odpověďmi, které vám zůstanou.
Metriky
Přesnost, citace, odmítnutí, rychlost a cena za odpověď.
Brána při změně
Změna promptu nebo modelu, která zhorší čísla, neprojde.
Test zneužití
Pokusy o podstrčené pokyny a únik údajů, měřené stejně jako kvalita.
Monitoring v provozu
Kvalita a náklady v čase a upozornění, když klesnou.
Z praxe
Construction Graph RAG má 128 otázek se zlatou odpovědí a bránu na metriky v CI. Díky ní jsem viděl, že knowledge graph přesnost zhoršil (MRR 76,1 → 54,8), a úspěšnost prompt injection klesla z 16,7 na 0 %. ClaimPilot se měří na 40 vývojových a 20 testovacích událostech.
Co se ve firmě změní
O změně modelu nebo promptu rozhoduje číslo, ne dojem. Problém uvidíte v reportu dřív, než ho nahlásí zákazník.
Technologie a bezpečnost dat
Testovací sada může obsahovat anonymizovaná data. Měření běží u vás nebo v regionu EU.
Cena
22 500–54 000 Kč, 1–3 týdny. Průběžný monitoring od 4 800 Kč měsíčně. Ceník
Časté otázky
Co je evaluace LLM?
Měření kvality jazykového modelu na sadě otázek se správnými odpověďmi. Ukáže přesnost, citace, odmítnutí a cenu, a to při každé změně stejně.
Umíte změřit AI, kterou postavil někdo jiný?
Ano. Stačí mi přístup k jejím vstupům a výstupům, kód měnit nemusím.
Kolik otázek je potřeba?
Na začátek 50 až 150 reálných otázek. Construction Graph RAG měl 128.
Kolik to stojí?
22 500–54 000 Kč za testovací sadu a měření, 1–3 týdny. Monitoring v provozu od 4 800 Kč měsíčně.
Související
- Služby
- RAG pro firmy
AI, která odpovídá z vašich dokumentů a cituje zdroj.
- AI agenti
Agent připraví návrh, člověk ho schválí.
- AI infrastruktura
Jedno místo pro modely, náklady a záznamy.