Prečo Vaši AI agenti potrebujú sandbox (a čo práve spustil Cloudflare)

Kontajnery sú na izoláciu AI-generovaného kódu pomalé. Nie trochu pomalé, rádovo pomalé. Sekundy na štart, stovky megabajtov RAM na inštanciu, a keď potrebujete tisíc súbežných sandboxov, tak Vám z toho vyjde infraštruktúrny projekt na kvartál.

Toto je problém, o ktorom sme sa u nás bavili celé Q1. Stavali sme pre klienta agenta, ktorý generuje TypeScript z natural language a okamžite ho vykonáva. Otázka nebola, aký model použijeme. Otázka bola, kde ten kód pobeží, a odpoveď „na tom istom serveri ako zvyšok aplikácie" nie je odpoveď, to je bezpečnostný incident čakajúci na príležitosť.

Prečo nie kontajner

Klasicky sa siahne po Docker kontajneri s izolovaným filesystémom a sieťou. Funguje. Ale pre agentov, ktorí spracúvajú desiatky alebo stovky požiadaviek za minútu, je to ako jazdiť kamiónom na poštu. Štart trvá sekundy (niekedy desiatky), každá inštancia žerie RAM, a orchestrácia cez Kubernetes pridáva vrstvu, ktorú väčšina tímov nemá čas ani chuť spravovať.

Pre interný admin tool, kde agent spracuje 50 requestov denne? Kontajner stačí. Pre zákaznícky produkt s tisíckami súbežných sessions? Ani náhodou.

Dynamic Workers

24. marca Cloudflare spustil Dynamic Worker Loader v open beta a podľa mňa je to najzaujímavejší infraštruktúrny launch tohto štvrťroka. Myšlienka je jednoduchá. Namiesto kontajnera použijete V8 izolát. V8 je engine, čo poháňa Chrome a Node.js. Izolát je oddelený kontext v tom istom procese, s vlastným heapom, vlastným stackom a nulovým prístupom k hostiteľskému systému. Štartuje v milisekundách.

Čísla, ktoré Cloudflare publikoval: 100x rýchlejší štart oproti kontajnerom. 10 až 100x nižšia spotreba pamäte. Neobmedzený počet súbežných sandboxov, pričom hovoria o miliónoch requestov za sekundu. Nulová latencia, lebo izolát beží na tom istom stroji ako rodičovský Worker.

Beriem tieto čísla s rezervou, lebo Cloudflare predáva Cloudflare. Ale aj keby boli o polovicu nižšie, je to stále rádový skok oproti kontajnerom.

Prakticky to funguje tak, že Váš hlavný Worker príjme požiadavku, AI model vygeneruje TypeScript funkciu, Worker zavolá Dynamic Worker Loader, ten vytvorí V8 izolát, nahrá doň kód, spustí ho, vráti výsledok. Po odpovedi sa izolát zahodí. Žiadny stav, žiadne zvyšky, žiadny prístup k rodičovi.

Code Mode a prečo ma zaujal

Cloudflare ukazuje aj pattern, ktorý volajú Code Mode. Namiesto klasického tool callingu (model generuje JSON, runtime vykonáva, model analyzuje výsledok, volá ďalší tool) agent napíše jednu TypeScript funkciu, ktorá celý tok vykoná naraz.

Podľa merania Cloudflare klesne spotreba tokenov o 81% oproti tool calls. To je dosť na to, aby som si to chcel vyskúšať v praxi. Sám som to zatiaľ nemeral, takže to beriem ako benchmark, nie ako sľub.

Predstavte si, že agent dostane „vytvor faktúru v Stripe pre zákazníka X s položkami Y." Namiesto štyroch tool calls (nájdi zákazníka, vytvor položky, vytvor faktúru, pošli email) napíše jednu funkciu, čo to celé spraví v jednom behu. Menej roundtripov, menej tokenov, rýchlejšia odpoveď.

Obmedzenia

V8-only, takže TypeScript a JavaScript. Pre Python, Go a natívne binárky stále potrebujete kontajner. Na dlho bežiace úlohy to tiež nie je. Izolát je navrhnutý na jednu požiadavku a zahodenie.

Cena je $0.002 za unikátny Worker za deň plus CPU a invokácie. Počas bety je odpustená.

Kam ideme s tým ďalej

Ak robíte s AI agentmi, ktorí generujú kód (a ak nie teraz, tak onedlho), otázka izolácie sa nedá obísť. Dynamic Workers sú jedna z odpovedí. Nie jediná, v niektorých prípadoch stále chcete kontajner, v iných Vám stačí API gateway reštrikcia. Záleží na tom, čo agent robí a s akými dátami pracuje. Ak Vás zaujíma, kedy agent dáva zmysel a kedy stačí klasická automatizácia, napísali sme o tom aj v kontexte multi-model stratégií.

Ak staviate agenta, ktorý spúšťa cudzí kód, a chcete sa porozprávať o izolačnej architektúre, ozvite sa.