Lokální LLM je jazykový model, který běží na vašem vlastním počítači nebo serveru, takže firemní data nikdy neopustí firmu. Nasazuji open-source modely přes Ollama pro firmy, které potřebují AI bez cloudu.
Lokální model nasazuji, když data nesmí ven nebo se to vyplatí. Ne proto, že zní bezpečněji.
Pro koho to je
- Firmy s citlivými daty: zdravotnictví, pojišťovnictví, právo, výroba
- Firmy, které nesmí posílat data třetím stranám kvůli GDPR nebo smlouvám
- Týmy, které chtějí předvídatelné náklady bez platby za každý token
Pokud potřebujete nejsilnější model na náročné uvažování a data nejsou citlivá, cloudové API vyjde levněji a lépe.
Jak to funguje
- Zmapujeme úlohy a data a vybereme velikost modelu podle hardwaru.
- Otestuji několik modelů na vašich úlohách a porovnám přesnost a rychlost.
- Nasadím model s API, logováním a přístupovými právy.
- Nastavím měření kvality a postup při výměně modelu.
Co dostanete
Porovnání modelů
Několik open-source modelů otestovaných na vašich úlohách: přesnost, rychlost a nároky na paměť.
Doporučení hardwaru
Konkrétní sestava podle velikosti modelu a počtu uživatelů.
Nasazený model s API
Model běží na vašem serveru, s logováním a přístupovými právy.
Postup výměny modelu
Když vyjde lepší model, otestujete ho na stejné sadě a vyměníte bez přestavby.
Z praxe
Construction Graph RAG běží celý na jednom počítači se 4B modelem. ClaimPilot zpracovává pojistné události jen s lokálními modely: větší model Qwen3 30B-A3B dosáhl stejné přesnosti jako 14B model a byl 2,4krát rychlejší.
- Construction Graph RAG
99,2 % přesných odpovědí na lokálním modelu.
- ClaimPilot
Pojistné události: 99,3 % kritických údajů správně.
Co se ve firmě změní
AI pracuje s citlivými daty, aniž by opustila firmu, a náklady nerostou s každým dotazem.
Technologie a bezpečnost dat
Data zůstávají na vašem hardwaru. Osobní údaje umím před zpracováním nahradit tokeny, jako v projektu ClaimPilot.
Cena
33 800–78 800 Kč za nasazení, 2–4 týdny. Hardware se platí zvlášť. Ceník
Časté otázky
Jaký hardware potřebuji?
Menší modely běží na běžném počítači, větší potřebují výkonnou grafickou kartu nebo Mac s Apple Silicon. Konkrétní sestavu doporučím podle vašich úloh.
Je lokální model stejně dobrý jako ChatGPT?
Na úzké úlohy jako vyhledávání v dokumentech nebo extrakce údajů často ano. U obecného uvažování jsou největší cloudové modely stále silnější, proto vždy měřím na vašich úlohách.
Je lokální LLM v souladu s GDPR?
Lokální model neposílá data třetí straně, což GDPR výrazně zjednodušuje. Pořád je potřeba vyřešit přístupová práva a logování, které nastavuji v rámci nasazení.
Kolik stojí AI projekt?
Soukromá AI nad dokumenty začíná od 12 300 Kč, AI audit stojí 13 500–27 000 Kč, automatizace jednoho procesu 20 000–60 000 Kč a RAG v provozu nebo prototyp agenta 90 000–135 000 Kč. Hodinová sazba je 875–1 125 Kč, úvodní 30minutový hovor je zdarma.
Související
- Služby
- RAG pro firmy
AI, která odpovídá z vašich dokumentů a cituje zdroj.
- AI audit
Kde se vám AI vyplatí a kolik bude stát.
- ML engineering
Vlastní modely, fine-tuning a evaluace.