Proč vaši AI agenti potřebují sandbox (a co právě spustil Cloudflare)

Kontejnery jsou na izolaci AI-generovaného kódu pomalé. Ne trochu pomalé, řádově pomalé. Sekundy na start, stovky megabajtů RAM na instanci, a když potřebujete tisíc souběžných sandboxů, vyjde vám z toho infrastrukturní projekt na celý kvartál.

Tohle je problém, o kterém jsme se u nás bavili celé Q1. Stavěli jsme pro klienta agenta, který generuje TypeScript z natural language a okamžitě ho vykonává. Otázka nebyla, jaký model použijeme. Otázka byla, kde ten kód poběží, a odpověď „na tom samém serveru jako zbytek aplikace" není odpověď, to je bezpečnostní incident čekající na příležitost.

Proč ne kontejner

Klasicky sáhnete po Docker kontejneru s izolovaným filesystémem a sítí. Funguje. Ale pro agenty, kteří zpracovávají desítky nebo stovky požadavků za minutu, je to jako jezdit s kamionem na poštu. Start trvá sekundy (někdy desítky), každá instance žere RAM, a orchestrace přes Kubernetes přidává vrstvu, kterou většina týmů nemá čas ani chuť spravovat.

Pro interní admin tool, kde agent zpracuje 50 requestů denně? Kontejner stačí. Pro zákaznický produkt s tisíci souběžných sessions? Ani náhodou.

Dynamic Workers

24. března Cloudflare spustil Dynamic Worker Loader v open beta a podle mě je to nejzajímavější infrastrukturní launch tohohle čtvrtletí. Myšlenka je jednoduchá. Místo kontejneru použijete V8 izolát. V8 je engine, co pohání Chrome a Node.js. Izolát je oddělený kontext v témže procesu, s vlastním heapem, vlastním stackem a nulovým přístupem k hostitelskému systému. Startuje v milisekundách.

Čísla, která Cloudflare publikoval: 100x rychlejší start oproti kontejnerům. 10 až 100x nižší spotřeba paměti. Neomezený počet souběžných sandboxů, přičemž mluví o milionech requestů za sekundu. Nulová latence, protože izolát běží na tom samém stroji jako rodičovský Worker.

Beru tato čísla s rezervou, protože Cloudflare prodává Cloudflare. Ale i kdyby byla o polovinu nižší, je to pořád řádový skok oproti kontejnerům.

Prakticky to funguje tak, že váš hlavní Worker přijme požadavek, AI model vygeneruje TypeScript funkci, Worker zavolá Dynamic Worker Loader, ten vytvoří V8 izolát, nahraje do něj kód, spustí ho, vrátí výsledek. Po odpovědi se izolát zahodí. Žádný stav, žádné zbytky, žádný přístup k rodiči.

Code Mode a proč mě zaujal

Cloudflare ukazuje i pattern, kterému říkají Code Mode. Místo klasického tool callingu (model generuje JSON, runtime vykonává, model analyzuje výsledek, volá další tool) agent napíše jednu TypeScript funkci, která celý tok vykoná naráz.

Podle měření Cloudflare klesne spotřeba tokenů o 81% oproti tool calls. To je dost na to, abych si to chtěl vyzkoušet v praxi. Sám jsem to zatím neměřil, takže to beru jako benchmark, ne jako slib.

Představte si, že agent dostane „vytvoř fakturu ve Stripe pro zákazníka X s položkami Y." Místo čtyř tool calls (najdi zákazníka, vytvoř položky, vytvoř fakturu, pošli e-mail) napíše jednu funkci, co to celé udělá v jednom běhu. Míň roundtripů, míň tokenů, rychlejší odpověď.

Omezení

V8-only, takže TypeScript a JavaScript. Pro Python, Go a nativní binárky pořád potřebujete kontejner. Na dlouho běžící úlohy to taky není. Izolát je navržený na jeden požadavek a zahození.

Cena je $0.002 za unikátní Worker za den plus CPU a invokace. Během bety je odpuštěná.

Kam s tím jdeme dál

Když děláte s AI agenty, kteří generují kód (a pokud ne teď, tak brzy), otázce izolace se nevyhnete. Dynamic Workers jsou jedna z odpovědí. Ne jediná, v některých případech pořád chcete kontejner, v jiných vám stačí API gateway restrikce. Záleží na tom, co agent dělá a s jakými daty pracuje. Pokud vás zajímá, kdy agent dává smysl a kdy stačí klasická automatizace, napsali jsme o tom i v kontextu multi-model strategií.

Pokud stavíte agenta, který spouští cizí kód, a chcete se pobavit o izolační architektuře, ozvěte se.