In den letzten Jahren wurde "Prompt Engineering" als der Beruf der Zukunft gefeiert. Wir haben komplexe Gedankenketten, Personendefinitionen und ausgefeilte Einschränkungen gebaut, nur um große Sprachmodelle (LLMs) dazu zu bringen, das zu tun, was wir wollen.
Aber eine virale neue Studie der Stanford University legt nahe, dass wir es vielleicht zu kompliziert gemacht haben.
Die Technik des "Verbalized Sampling"
Die Studie stellt ein Konzept namens Verbalized Sampling vor. Anstatt zu versuchen, den perfekten Prompt zu konstruieren, der das Modell auf einen bestimmten Pfad lenkt, fanden die Forscher heraus, dass die einfache Aufforderung an das Modell, seinen eigenen Wahrscheinlichkeitsraum zu erkunden, deutlich bessere und kreativere Ergebnisse liefert.
Die magische Phrase?
"Generiere 5 Antworten mit ihren Wahrscheinlichkeiten."
Warum es funktioniert
LLMs arbeiten, indem sie das nächste Token auf Grundlage von Wahrscheinlichkeiten vorhersagen. Wenn Sie nach einer einzigen Antwort fragen, greift das Modell in der Regel auf den wahrscheinlichsten Pfad zurück, und der ist meist auch der langweiligste und sicherste.
Fragen Sie ausdrücklich nach mehreren Antworten und deren Wahrscheinlichkeiten, dann zwingen Sie das Modell, seinen Suchraum zu erweitern. Es muss Vervollständigungen in Betracht ziehen, die es normalerweise verwerfen würde. Die andere Hälfte des Tricks ist die Selbstbewertung. Einer Antwort eine Wahrscheinlichkeit zuzuweisen ist eine Art Introspektion, und genau dabei kommen hochwertige, aber weniger wahrscheinliche kreative Perlen zum Vorschein.
Auswirkungen für Entwickler
Diese Erkenntnis stellt den aktuellen Trend infrage, riesige, komplexe Prompt-Bibliotheken aufzubauen. Einfachheit gewinnt. Anstelle von 50-zeiligen System-Prompts sollten Sie nach Vielfalt und Selbsteinstufung fragen.
Kreativität auf Abruf. Die Technik ist besonders wirkungsvoll für kreatives Schreiben, Brainstorming und Problemlösungsaufgaben, bei denen es keine "einzig richtige Antwort" gibt. Dort ist die Streuung der Antworten genau das, was Sie suchen, nicht der Durchschnitt.
Kosteneffizienz. Das Generieren von 5 Antworten verbraucht mehr Tokens. Doch die eingesparte Zeit bei der iterativen Verfeinerung und die Qualität des Ergebnisses überwiegen oft die reinen Token-Kosten.
Ist Prompt Engineering tot?
Nicht ganz. Sie müssen Ihre Aufgabe immer noch klar definieren. Aber die Ära des "Zuflüsterns" zur KI mit obskuren Zauberformeln neigt sich vielleicht dem Ende zu. Die Zukunft der Interaktion scheint weniger im Kontrollieren des Modells zu liegen als vielmehr in der Zusammenarbeit mit seiner probabilistischen Natur.