Konec prompt engineeringu? 8 slov ze Stanfordu, která mění hru

Posledních pár let byl "Prompt Engineering" oslavován jako práce budoucnosti. Vytvářeli jsme složité myšlenkové řetězce, definice person a propracovaná omezení, jen abychom donutili velké jazykové modely (LLM) dělat to, co chceme.

Ale virální nová studie ze Stanfordovy univerzity naznačuje, že jsme to možná příliš komplikovali.

Technika "Verbalizovaného vzorkování"

Studie představuje koncept nazvaný Verbalizované vzorkování (Verbalized Sampling). Místo snahy o vytvoření dokonalého promptu, který by model navedl na konkrétní cestu, výzkumníci zjistili, že jednoduchý požadavek, aby model prozkoumal svůj vlastní pravděpodobnostní prostor, přináší výrazně lepší a kreativnější výsledky.

Ta magická fráze?

"Vygeneruj 5 odpovědí s jejich pravděpodobnostmi."

Proč to funguje

LLM fungují na principu předpovídání následujícího tokenu na základě pravděpodobnosti. Když požádáte o jednu odpověď, model se obvykle uchýlí k nejpravděpodobnější cestě, která bývá zároveň ta nejnudnější a nejbezpečnější.

Tím, že explicitně požádáte o více odpovědí a jejich pravděpodobnosti, donutíte model rozšířit vyhledávací prostor. Musí zvážit dokončení, která by normálně zahodil. Druhá polovina triku je sebehodnocení. Přiřadit odpovědím pravděpodobnost je forma introspekce a právě při ní vyplavou na povrch vysoce kvalitní, ale méně pravděpodobné kreativní klenoty.

Důsledky pro vývojáře

Toto zjištění zpochybňuje současný trend budování masivních, složitých knihoven promptů. Jednoduchost vyhrává. Místo 50řádkových systémových promptů zkuste požádat o variabilitu a sebehodnocení.

Kreativita na požádání. Technika je obzvlášť silná při kreativním psaní, brainstormingu a řešení problémů, kde neexistuje "jedna správná odpověď". Právě tam je rozptyl odpovědí to, co hledáte, ne průměr.

Nákladová efektivita. Generování 5 odpovědí spotřebuje více tokenů. Ušetřený čas při iterativním vylepšování a kvalita výstupu ale často převáží nad hrubými náklady na tokeny.

Je Prompt Engineering mrtvý?

Ne tak úplně. Stále musíte jasně definovat svůj úkol. Ale éra "šeptání" AI pomocí tajemných zaklínadel se možná chýlí ke konci. Budoucnost interakce se zdá být méně o ovládání modelu a více o spolupráci s jeho pravděpodobnostní povahou.