Evaluace LLM znamená změřit, jestli vaše AI odpovídá správně, a měřit to při každé změně promptu nebo modelu. Sestavím testovací sadu, automatické měření a sledování kvality a nákladů v provozu, i pro AI, kterou postavil někdo jiný.

Bez testovací sady je každá změna promptu jen pocit. S ní je to číslo.

Pro koho to je

  • Firmy, které už AI používají, ale nevědí, jak dobře funguje
  • Týmy, kterým se po změně modelu nebo promptu něco potichu rozbilo
  • Firmy, které musí kvalitu AI doložit vedení nebo auditorovi

Jak to funguje

  1. Sesbírám reálné otázky a případy a se správnými odpověďmi z nich sestavím testovací sadu.
  2. Nastavím metriky: přesnost, citace, odmítnutí, rychlost a cenu.
  3. Zapojím měření do vývoje, aby se spustilo při každé změně.
  4. Nastavím sledování v provozu a měsíční report.

Co dostanete

Testovací sada

Reálné otázky a případy se správnými odpověďmi, které vám zůstanou.

Metriky

Přesnost, citace, odmítnutí, rychlost a cena za odpověď.

Brána při změně

Změna promptu nebo modelu, která zhorší čísla, neprojde.

Test zneužití

Pokusy o podstrčené pokyny a únik údajů, měřené stejně jako kvalita.

Monitoring v provozu

Kvalita a náklady v čase a upozornění, když klesnou.

Z praxe

Construction Graph RAG má 128 otázek se zlatou odpovědí a bránu na metriky v CI. Díky ní jsem viděl, že knowledge graph přesnost zhoršil (MRR 76,1 → 54,8), a úspěšnost prompt injection klesla z 16,7 na 0 %. ClaimPilot se měří na 40 vývojových a 20 testovacích událostech.

Co se ve firmě změní

O změně modelu nebo promptu rozhoduje číslo, ne dojem. Problém uvidíte v reportu dřív, než ho nahlásí zákazník.

Technologie a bezpečnost dat

Testovací sada může obsahovat anonymizovaná data. Měření běží u vás nebo v regionu EU.

Cena

22 500–54 000 Kč, 1–3 týdny. Průběžný monitoring od 4 800 Kč měsíčně. Ceník

Časté otázky

Co je evaluace LLM?

Měření kvality jazykového modelu na sadě otázek se správnými odpověďmi. Ukáže přesnost, citace, odmítnutí a cenu, a to při každé změně stejně.

Umíte změřit AI, kterou postavil někdo jiný?

Ano. Stačí mi přístup k jejím vstupům a výstupům, kód měnit nemusím.

Kolik otázek je potřeba?

Na začátek 50 až 150 reálných otázek. Construction Graph RAG měl 128.

Kolik to stojí?

22 500–54 000 Kč za testovací sadu a měření, 1–3 týdny. Monitoring v provozu od 4 800 Kč měsíčně.

Související