To je samo automatsko dovršavanje

Učenici i studenti, učenik, učenica, student, studentica, sveučilište, fakultet, studij, Učitelji, učitelj, učiteljica, nastavnik, nastavnica, profesor, profesorica, škola, obrazovanje

Također: samo automatsko dovršavanje, napredno dovršavanje, just autocomplete, predviđanje sljedećeg tokena

Ideja da su chatbotovi samo veća verzija prijedloga riječi na tvom mobitelu, pa nema razloga za brigu.

U tome ima nešto istine. Prvi i najveći korak treniranja jezičnog modela jest predviđanje sljedeće riječi: čita golemu količinu teksta i uči pogađati što slijedi, slično prijedlozima na tipkovnici mobitela. A kad odgovara, piše po jedan komadić riječi.

Ali „samo” skriva tri stvari. Prvo, današnji chatbotovi nisu trenirani samo za predviđanje teksta. Zatim se treniraju uz ljudske povratne informacije (RLHF) da budu korisni asistenti, a od 2024. noviji modeli „zaključivanja”, poput OpenAI-jeva o1, treniraju se podržanim učenjem u velikim razmjerima kako bi probleme prije odgovora rješavali korak po korak. Drugo, vrlo dobro predviđanje sljedeće riječi može zahtijevati mnogo: istraživači koji zaviruju u modele pronašli su unutarnje prikaze svijeta, a Anthropic je otkrio da Claude planira unaprijed i bira riječ za rimu prije nego što napiše stih koji njome završava. Kako je Anthropic rekao, modeli su „trenirani da ispisuju jednu po jednu riječ”, ali „pritom možda razmišljaju u mnogo duljim horizontima”. Treće, „samo” ništa ne govori o tome što sustav može. Sposobnosti su rasle s veličinom, često na načine koje nitko nije predvidio.

Ništa od toga ne znači da ti sustavi razmišljaju kao ljudi, a i dalje čine jednostavne pogreške. Ali „to je automatsko dovršavanje” opisuje kako nastaje izlaz, a ne koliko je sustav sposoban ili siguran. To treba testirati, a ne pretpostaviti.