Az elmúlt néhány évben a "prompt engineeringet" a jövő szakmájaként ünnepelték. Összetett gondolatláncokat, perszóna-definíciókat és kidolgozott megkötéseket építettünk, csak azért, hogy rávegyük a nagy nyelvi modelleket (LLM-eket) arra, amit szeretnénk.
A Stanford Egyetem egy vírusként terjedő új tanulmánya azonban arra utal, hogy talán túlbonyolítottuk a dolgot.
A "verbalizált mintavételezés" technikája
A tanulmány egy verbalizált mintavételezésnek (Verbalized Sampling) nevezett koncepciót mutat be. Ahelyett, hogy a tökéletes prompt megalkotásával próbálnánk a modellt egy adott útra terelni, a kutatók azt találták, hogy ha egyszerűen arra kérjük a modellt, hogy fedezze fel a saját valószínűségi terét, az lényegesen jobb és kreatívabb eredményeket hoz.
A varázsmondat?
"Generálj 5 választ a hozzájuk tartozó valószínűségekkel."
Miért működik
Az LLM-ek úgy működnek, hogy valószínűség alapján megjósolják a következő tokent. Amikor egyetlen választ kér, a modell általában a legvalószínűbb utat választja, ami egyben a legunalmasabb és a legbiztonságosabb is.
Ha kifejezetten több választ és azok valószínűségét kéri, azzal a keresési tér kiszélesítésére kényszeríti a modellt. Olyan befejezéseket kell mérlegelnie, amelyeket egyébként elvetne. A trükk másik fele az önértékelés. A valószínűség hozzárendelése egyfajta önvizsgálat, és éppen ekkor kerülnek felszínre a kiváló minőségű, de kisebb valószínűségű kreatív gyöngyszemek.
Következmények a fejlesztők számára
Ez a felfedezés megkérdőjelezi a masszív, összetett promptkönyvtárak építésének jelenlegi trendjét. Az egyszerűség győz. Az 50 soros rendszerpromptok helyett próbáljon meg változatosságot és önértékelést kérni.
Kreativitás igény szerint. A technika különösen hatékony a kreatív írásnál, az ötletelésnél és az olyan problémamegoldó feladatoknál, ahol nincs "egyetlen helyes válasz". Ott éppen a válaszok szórása az, amit keres, nem az átlag.
Költséghatékonyság. Az 5 válasz generálása több tokent használ fel. Az iteratív finomításnál megspórolt idő és a kimenet minősége azonban gyakran felülmúlja a nyers tokenköltséget.
Halott a prompt engineering?
Nem egészen. A feladatát továbbra is világosan meg kell határoznia. De a titokzatos varázsigékkel az MI-nek való "suttogás" korszaka talán a végéhez közeledik. Az interakció jövője, úgy tűnik, kevésbé a modell irányításáról, sokkal inkább a valószínűségi természetével való együttműködésről szól.