AI infraštruktúra je vrstva, na ktorej stoja všetky AI funkcie vo firme: jeden prístup k cloudovým aj lokálnym modelom, kontrola nákladov, záznam každého volania a anonymizácia dát pred modelom. Staviam ju tak, aby výmena modelu bola nastavenie, nie prestavba.
Výber modelu má byť nastavenie, nie architektonický záväzok na roky.
Pre koho to je
- Firmy s viacerými AI funkciami, kde každá volá model inak
- Firmy, ktoré nevedia, koľko ich AI stojí a kto ju používa
- Firmy, ktoré chcú kombinovať cloudové a lokálne modely
Ak máte jednu AI funkciu a jedného poskytovateľa, infraštruktúru zatiaľ nepotrebujete.
Ako to funguje
- Zmapujem, kde a ako dnes voláte modely, čo to stojí a aké dáta tam idú.
- Navrhnem jednu vrstvu pre prístup k modelom, záznamy a limity.
- Postavím ju a postupne na ňu prepojím existujúce funkcie.
- Nastavím prehľad nákladov a kvality a postup pri výmene modelu.
Čo dostanete
Jeden prístup k modelom
OpenAI, Anthropic aj lokálne modely cez Ollama za jedným rozhraním.
Kontrola nákladov
Limity a prehľad nákladov podľa funkcie a tímu.
Záznam volaní
Čo išlo do modelu, čo sa vrátilo a koľko to stálo.
Anonymizácia
Mená, rodné čísla a IBAN sa pred modelom nahradia tokenmi.
Fronty a spracovanie na pozadí
Dlhé úlohy bežia na pozadí a po výpadku pokračujú.
Z praxe
AGL Assistant beží ako NestJS worker na pozadí s PostgreSQL a Redis a spracúva poštu zo všetkých schránok. ClaimPilot pred každým volaním modelu nahradí osobné údaje tokenmi a beží celý na lokálnych modeloch, kde voľbu modelu rozhodlo meranie.
Čo sa vo firme zmení
Viete, koľko AI stojí a kto ju používa. Nový model vyskúšate a nasadíte bez prepisovania aplikácií.
Technológie a bezpečnosť dát
Dáta môžu ostať na vašom serveri, osobné údaje sa pred modelom anonymizujú a každé volanie sa zaznamenáva.
Cena
1 800–4 500 €, 2–6 týždňov. Cenník
Časté otázky
Čo je AI infraštruktúra?
Spoločná vrstva pre všetky AI funkcie: prístup k modelom, náklady, záznamy, anonymizácia a fronty. Funkcie nad ňou nemusia riešiť každá zvlášť, ktorý model a ako volajú.
Potrebujeme ju, keď máme jeden chatbot?
Zvyčajne nie. Oplatí sa, keď máte viac AI funkcií alebo chcete kombinovať cloudové a lokálne modely.
Viete použiť lokálne aj cloudové modely naraz?
Áno. Citlivé dáta môžu ísť na lokálny model a zvyšok cez API v regióne EÚ.
Koľko to stojí?
1 800–4 500 € podľa počtu napojených funkcií, 2–6 týždňov.
Súvisiace
- Služby
- Lokálne LLM
AI na vašom serveri, dáta neopustia firmu.
- Evaluácia a monitoring LLM
Testovacia sada a čísla, či vaša AI naozaj funguje.
- AI agenti
Agent pripraví návrh, človek ho schváli.