Verbalized Sampling rozšíří návrhy, nenahradí zadání

Při hledání nápadů často potřebujete několik odlišných návrhů. Jedna uhlazená odpověď nemusí stačit. Studie Verbalized Sampling zkoumá postup, který model žádá o více odpovědí spolu s jejich pravděpodobnostmi.

Návrhy porovnávejte podle zadání

Příklad jednoduchého pokynu:

"Vygeneruj 5 odpovědí s jejich pravděpodobnostmi."

Jde o modelový příklad, nikoli doslovnou citaci ze studie. Doplňte skutečné zadání a čtenáře, například úvod článku pro majitele malé firmy.

Autoři zkoumají rozmanitost při tvůrčím psaní a dalších otevřených úlohách. Výsledek jejich experimentů nezaručuje stejný přínos na vašem modelu a textu. Pravděpodobnost napsaná v odpovědi navíc nepotvrzuje její pravdivost.

U úvodu článku rozhoduje, zda čtenář rychle pozná svou situaci a pochopí, co mu text nabídne. Nejvyšší číslo toto rozhodnutí neudělá za vás.

Podmínky úlohy zůstávají potřebné

Rozmanitost je užitečná při hledání titulků. Faktura, právní text nebo úprava kódu však vyžadují především správnost a dodržení konkrétních omezení. Studie není důvodem zahodit pravidla pro citace či požadavky na formát.

Při vlastním testu nechte stejný model zpracovat totožné zadání oběma postupy. Sledujte použitelnost návrhů i čas potřebný k výběru. Více odpovědí může přinést více čtení a vyšší náklady.

Při návrhu AI automatizace volíme postup podle úlohy. Opakovanou kontrolu vůči konkrétní referenci popisujeme v článku o Gauntlet Loop.