A prompt engineering vége? A Stanford 8 szavas megoldása

Az elmúlt néhány évben a "prompt engineeringet" a jövő szakmájaként ünnepelték. Összetett gondolatláncokat, perszóna-definíciókat és kidolgozott megkötéseket építettünk, csak azért, hogy rávegyük a nagy nyelvi modelleket (LLM-eket) arra, amit szeretnénk.

A Stanford Egyetem egy vírusként terjedő új tanulmánya azonban arra utal, hogy talán túlbonyolítottuk a dolgot.

A "verbalizált mintavételezés" technikája

A tanulmány egy verbalizált mintavételezésnek (Verbalized Sampling) nevezett koncepciót mutat be. Ahelyett, hogy a tökéletes prompt megalkotásával próbálnánk a modellt egy adott útra terelni, a kutatók azt találták, hogy ha egyszerűen arra kérjük a modellt, hogy fedezze fel a saját valószínűségi terét, az lényegesen jobb és kreatívabb eredményeket hoz.

A varázsmondat?

"Generálj 5 választ a hozzájuk tartozó valószínűségekkel."

Miért működik

Az LLM-ek úgy működnek, hogy valószínűség alapján megjósolják a következő tokent. Amikor egyetlen választ kér, a modell általában a legvalószínűbb utat választja, ami egyben a legunalmasabb és a legbiztonságosabb is.

Ha kifejezetten több választ és azok valószínűségét kéri, azzal a keresési tér kiszélesítésére kényszeríti a modellt. Olyan befejezéseket kell mérlegelnie, amelyeket egyébként elvetne. A trükk másik fele az önértékelés. A valószínűség hozzárendelése egyfajta önvizsgálat, és éppen ekkor kerülnek felszínre a kiváló minőségű, de kisebb valószínűségű kreatív gyöngyszemek.

Következmények a fejlesztők számára

Ez a felfedezés megkérdőjelezi a masszív, összetett promptkönyvtárak építésének jelenlegi trendjét. Az egyszerűség győz. Az 50 soros rendszerpromptok helyett próbáljon meg változatosságot és önértékelést kérni.

Kreativitás igény szerint. A technika különösen hatékony a kreatív írásnál, az ötletelésnél és az olyan problémamegoldó feladatoknál, ahol nincs "egyetlen helyes válasz". Ott éppen a válaszok szórása az, amit keres, nem az átlag.

Költséghatékonyság. Az 5 válasz generálása több tokent használ fel. Az iteratív finomításnál megspórolt idő és a kimenet minősége azonban gyakran felülmúlja a nyers tokenköltséget.

Halott a prompt engineering?

Nem egészen. A feladatát továbbra is világosan meg kell határoznia. De a titokzatos varázsigékkel az MI-nek való "suttogás" korszaka talán a végéhez közeledik. Az interakció jövője, úgy tűnik, kevésbé a modell irányításáról, sokkal inkább a valószínűségi természetével való együttműködésről szól.