Saj je samo samodejno dokončevanje

Učenci in študenti, učenec, učenka, dijak, dijakinja, študent, študentka, univerza, fakulteta, študij, Učitelji, učitelj, učiteljica, profesor, profesorica, vzgojitelj, vzgojiteljica, šola, izobraževanje

Tudi: samo samodejno dokončevanje, izboljšano dokončevanje, just autocomplete, napovedovanje naslednjega žetona

Prepričanje, da so klepetalniki le večja različica predlogov besed na tvojem telefonu, zato ni razloga za skrb.

Nekaj resnice je v tem. Prvi in največji korak pri učenju jezikovnega modela je napovedovanje naslednje besede: prebere ogromno besedil in se uči uganiti, kaj sledi, podobno kot predlogi na tipkovnici telefona. In ko odgovarja, piše po en košček besede naenkrat.

A »samo« prikrije tri stvari. Prvič, današnji klepetalniki niso naučeni le napovedovanja besedila. Nato se učijo s človeškimi povratnimi informacijami (RLHF), da postanejo koristni pomočniki, od leta 2024 pa se novejši »sklepajoči« modeli, kot je o1 podjetja OpenAI, učijo z obsežnim spodbujevalnim učenjem, da probleme pred odgovorom rešujejo korak za korakom. Drugič, zelo dobro napovedovanje naslednje besede lahko zahteva veliko: raziskovalci, ki pogledajo v notranjost modelov, so našli notranje predstavitve sveta, Anthropic pa je ugotovil, da Claude načrtuje vnaprej in izbere rimo, preden napiše verz, ki se z njo konča. Kot je zapisal Anthropic, so modeli »naučeni izpisovati po eno besedo naenkrat«, a »pri tem morda razmišljajo v veliko daljšem obzorju«. Tretjič, »samo« ne pove ničesar o tem, kaj sistem zmore. Zmožnosti so rasle z velikostjo, pogosto na načine, ki jih nihče ni napovedal.

Nič od tega ne pomeni, da ti sistemi razmišljajo kot ljudje, in še vedno delajo preproste napake. A »to je samodejno dokončevanje« opisuje, kako nastane izhod, ne pa, kako zmogljiv ali varen je sistem. To je treba preizkusiti, ne predpostaviti.