Multi-model strategie dává smysl až po srovnávacím testu

Třídění ticketů a příprava smluvního textu mají při chybě jiný dopad. Před výběrem modelů určete, které výsledky mohou pokračovat automaticky a které musí schválit člověk.

Routing přidává další rozhodnutí a místo pro chybu. Úspora musí obstát i po započítání této práce.

Kandidáti se liší cenou, odezvou a úspěšností úloh. Jeden model může stačit. Více modelů má smysl, pokud test prokáže přínos i po započítání routingu a kontroly.

Rozdělte úlohy podle rizika, ne podle názvu modelu

Začněte seznamem opakovaných úloh. U každé zapište vstup, očekávaný výstup, škodu při chybě a člověka, který výsledek schvaluje. Třídění ticketů s jasnou cestou na manuální kontrolu má jiný profil než smlouva, která může ovlivnit závazky firmy.

U méně rizikových úloh zkuste kandidáta s nízkou odezvou a nákladem. U úloh s právním, finančním nebo bezpečnostním dopadem otestujte více kandidátů na stejných anonymizovaných vstupech a vyžadujte lidské schválení. U kódu měřte relevantní testy, nálezy v review a čas opravy, ne počet vygenerovaných řádků.

Jak si vybrat model

Začněte testovací sadou, potom posuďte výsledek i chování při chybě.

Krok 1: Vytvořte reprezentativní testovací sadu

Vyberte reálné případy včetně neúplných vstupů, hraničních stavů a případů, které musí posoudit člověk. Před testem určete kritéria kvality a minimální podíl správných výsledků.

Krok 2: Otestujte fallback a limity

Workflow potřebuje cestu k odmítnutí nebo předání člověku. Nespoléhejte jen na to, že model sám pozná vlastní chybu. Měřte podíl eskalací, chybné odpovědi, p50 a p95 odezvu, opakování a celkové náklady. Nastavte limit výdajů, počet pokusů a bezpečný stav při selhání.

Krok 3: Strukturované výstupy a validace

Multi-model pipeline funguje jen tehdy, když modely komunikují v předvídatelném formátu. To znamená:

• JSON schémata pro vstupy i výstupy (ne volný text)
• Validace výstupů před posláním dalšímu modelu
• Logika opakování s exponenciálním backoffem (retry)
• Logging každého kroku pro debugging

Rozhraní poskytovatelů podporují strukturované výstupy podle své aktuální dokumentace. JSON schéma i výsledek ověřte ve vlastní aplikaci před dalším krokem.

Ověřujte možnosti podle aktuální dokumentace

Před výběrem zkontrolujte podporované funkce, limity, zpracování dat a podmínky konkrétního účtu. Dokumentace se mění, proto do návrhu zapište datum kontroly a odkaz na OpenAI API, Anthropic API, Gemini API a GitHub Copilot.

Název modelu sám o sobě není rozhodnutí. Vyberte kandidáta, který na testovací sadě splní dohodnutou kvalitu, odezvu, přístupové požadavky a nákladový limit.

Náklad porovnávejte v celém workflow

Náklad není jen cena jednoho volání. Započítejte vstupy, výstupy, opakování, cache, nástroje, lidskou kontrolu a chyby, které je potřeba opravit. U každého kandidáta sledujte celkový náklad na správně dokončený úkol.

Pilot neukončujte, dokud neobsahuje dost reprezentativních případů. Rozhodnutí zdokumentujte spolu s limitem rozpočtu, maximální odezvou a stavem, do kterého se workflow přepne při výpadku poskytovatele.

Modelový návrh multi-model pipeline

Jednoduchý návrh používá úspornější model na třídění požadavků. Jednoduché dotazy dostanou odpověď od rychlého modelu, komplexní se přesměrují na výkonnější model. Úsporu, kvalitu a latenci si porovnejte na reprezentativním testovacím souboru. Bez něj je konkrétní procento jen tvrzení, ne důkaz.

Confidence threshold začněte nastavovat konzervativně a upravte ho podle chyb a eskalací v měřeném pilotu. Pipeline má používat strukturované výstupy s validací v každém kroku.

Oprávnění a schvalování rozebírá governance checklist pro AI agenta. Číselný confidence threshold ověřte na označených případech, ne jen na sebehodnocení modelu.

Závěr

Začněte jedním modelem. Routing přidejte až poté, co levnější kandidát zvládne ohraničenou část úloh a test ověří i nesprávné směrování a předání člověku. Confidence threshold je rozhodovací pravidlo, jehož účinnost je nutné změřit, ne záruka kvality.

Pokud chcete navrhnout multi-model architekturu pro svou firmu, ozvěte se nám. Připravíme srovnávací test a podmínky pro rozhodnutí.