AI platforma

Co konkrétně děláme

1. 01

   Zmapování a návrh

   Začínáme tím, co ve firmě už běží. Výstupem je cílová architektura a katalog povolených služeb a dat. Mapujeme:

   • AI nástroje, které lidé už používají, a jejich API klíče
   • kam odcházejí firemní data a za jakých podmínek se zpracují
   • kdo potřebuje jaké modely a funkce
   • které procesy se vyplatí automatizovat jako první
   • náklady na AI podle týmů a aplikací
2. 02

   Firemní chat

   Zaměstnanci pracují s AI v jednom schváleném chatu, do kterého se přihlásí firemním účtem.

   Technicky

   • rozhraní například LibreChat nebo Open WebUI
   • přihlášení firemním účtem (Google Workspace, Microsoft Entra ID)
   • nabídku schválených modelů a funkcí podle role
   • klíče k modelům uložené na serveru, ne u uživatelů
   • pravidla pro historii konverzací, soubory a sdílené odkazy
   • řízené přidávání nástrojů a MCP serverů
   • odebrání přístupu včetně běžících relací v dohodnuté lhůtě
3. 03

   Společná brána k modelům

   Všechny aplikace přistupují k AI přes jednu bránu, s limity a rozpočtem pro každý tým.

   Technicky

   • brána k modelům (LLM gateway) pro chat, aplikace i agenty, například LiteLLM nebo AI gateway v Azure API Management
   • katalog schválených nasazení modelů: poskytovatel, přístupový bod (endpoint), povolené použití a datové podmínky
   • vlastní identitu a omezení pro každou aplikaci
   • limit počtu požadavků (rate limit), limit spotřeby tokenů a rozpočty pro týmy
   • záložní model při výpadku, jen v prostředí se stejnými pravidly pro data
   • otestované chování limitů, ne neurčitý slib finančního stropu
4. 04

   Dohled nad agenty s Langfuse

   U každé automatizace vidíte, co udělala, z čeho vycházela, kolik stála a jestli byl výsledek správný.

   Technicky

   • Langfuse, který propojí volání modelů, práci s nástroji, časy, spotřebu a výsledek do jednoho záznamu; provozujeme ho u nás, nebo na vaší infrastruktuře
   • záznam celého běhu agenta včetně verze aplikace a promptu
   • náklady vztažené ke skutečně užitečnému výsledku
   • hodnocení výsledků lidmi i automatickými kontrolami
   • testovací sady, na kterých se ověří každá změna modelu nebo promptu
   • maskování citlivých údajů v záznamech
   • upozornění při růstu nákladů nebo poklesu kvality
5. 05

   Bezpečnost agentů

   Agent smí jen to, co mu dovolí systém, a citlivé kroky schvaluje člověk.

   Technicky

   • oprávnění agentů vynucuje aplikace a navazující nástroje, ne instrukce v promptu
   • oddělené nástroje pro čtení a pro zápis
   • schválení citlivých akcí člověkem
   • limity času, počtu kroků a opakování
   • ochranu proti dvojímu zápisu při opakování úkolu
   • oddělené prostředí a přístupy pro vývojové agenty
6. 06

   Kde modely běží

   Určíme, kde se vaše data zpracují a jak dlouho se uchovají, a podle toho vybereme, kde modely poběží.

   Technicky

   • síťová cesta, místo zpracování, doba uchování dat a zákaz trénování jsou čtyři různé věci; žádná nezaručuje ostatní
   • spravované modely v Azure nebo Google Cloud s doloženými podmínkami zpracování
   • soukromé připojení (private endpoint) tam, kde ho služba podporuje
   • region a umístění dat (data residency) podle zvoleného modelu a funkce
   • vlastní modelový server (například vLLM) pro data, která nesmějí do externího API
   • pravidla pro odchozí provoz agentů
7. 07

   Předání a provoz

   Platformu předáváme s výsledky testů, ne jen se seznamem nainstalovaných produktů. Pak se o ni staráme: aktualizace, monitoring, zálohy, pravidelná obměna klíčů a přístupů a pravidelný přehled spotřeby. Ověřujeme:

   • odebraný uživatel ztratí přístup i přes běžící relaci
   • nepovolený model nebo přímý přístup aplikace brána odmítne
   • limit jednoho týmu nevyčerpá kapacitu druhého
   • u pilotního úkolu jde propojit uživatele, volání modelu, nástroj a výsledek
   • citlivé údaje se neobjeví tam, kde mají být odstraněné
   • konfigurace regionu, uchování dat a záloh odpovídá dokumentaci