Koniec prompt engineeringu? 8 slov zo Stanfordu, ktoré menia hru

Posledných pár rokov bol "Prompt Engineering" oslavovaný ako práca budúcnosti. Písali sme zložité myšlienkové reťazce a definície persón. K tomu obmedzenia, len aby sme veľké jazykové modely (LLM) prinútili robiť to, čo chceme.

Ale virálna nová štúdia zo Stanfordskej univerzity naznačuje, že sme to možno príliš komplikovali.

Technika "Verbalizovaného vzorkovania"

Štúdia predstavuje koncept nazvaný Verbalizované vzorkovanie (Verbalized Sampling). Namiesto snahy o vytvorenie dokonalého promptu, ktorý by model naviedol na konkrétnu cestu, výskumníci zistili, že jednoduchá požiadavka, aby model preskúmal svoj vlastný pravdepodobnostný priestor, prináša výrazne lepšie výsledky. Aj kreatívnejšie.

Tá magická fráza?

"Vygeneruj 5 odpovedí s ich pravdepodobnosťami."

Prečo to funguje

LLM fungujú na princípe predpovedania nasledujúceho tokenu na základe pravdepodobnosti. Keď požiadate o jednu odpoveď, model sa zvyčajne uchýli k najpravdepodobnejšej ceste. Býva zároveň tá najnudnejšia.

Tým, že explicitne požiadate o viacero odpovedí a ich pravdepodobnosti, prinútite model rozšíriť vyhľadávací priestor. Musí zvážiť dokončenia, ktoré by normálne zahodil. Druhá polovica triku je sebahodnotenie. Priradiť odpovediam pravdepodobnosť je forma introspekcie a práve pri nej vyplávajú na povrch vysoko kvalitné, ale menej pravdepodobné kreatívne klenoty.

Dôsledky pre vývojárov

Toto zistenie spochybňuje súčasný trend budovania masívnych, zložitých knižníc promptov. Jednoduchosť vyhráva. Namiesto 50-riadkových systémových promptov skúste požiadať o variabilitu a sebahodnotenie.

Kreativita na požiadanie. Technika je obzvlášť silná pri kreatívnom písaní, pri brainstormingu a všade tam, kde neexistuje "jedna správna odpoveď". Práve tam je rozptyl odpovedí to, čo hľadáte, nie priemer.

Nákladová efektivita. Generovanie 5 odpovedí spotrebuje viac tokenov. Ušetrený čas pri iteratívnom vylepšovaní a kvalita výstupu však často prevážia nad hrubými nákladmi na tokeny.

Je Prompt Engineering mŕtvy?

Nie celkom. Stále musíte jasne definovať svoju úlohu. Ale éra "šepkania" AI pomocou tajomných zaklínadiel sa možno chýli ku koncu. Budúcnosť interakcie sa zdá byť menej o ovládaní modelu a viac o spolupráci s jeho pravdepodobnostnou povahou.