Tā ir tikai automātiskā pabeigšana

Skolēni un studenti, skolēns, skolniece, students, studente, universitāte, augstskola, studijas, Skolotāji, skolotājs, skolotāja, pedagogs, pasniedzējs, pasniedzēja, skola, izglītība

Arī: tikai automātiskā pabeigšana, uzlabota automātiskā pabeigšana, just autocomplete, nākamā marķiera paredzēšana

Ideja, ka tērzēšanas roboti ir tikai lielāka tava telefona vārdu ieteikumu versija, tāpēc nav par ko uztraukties.

Tajā ir kaut kas patiess. Valodas modeļa pirmais un lielākais apmācības solis ir nākamā vārda paredzēšana: tas izlasa milzīgu daudzumu teksta un iemācās uzminēt, kas sekos, līdzīgi kā telefona tastatūras ieteikumi. Un, atbildot, tas raksta pa vienam vārda gabaliņam.

Taču “tikai” noklusē trīs lietas. Pirmkārt, mūsdienu tērzēšanas robotus neapmāca tikai paredzēt tekstu. Pēc tam tos apmāca ar cilvēku atgriezenisko saiti (RLHF), lai tie kļūtu par izpalīdzīgiem asistentiem, un kopš 2024. gada jaunākus “spriešanas” modeļus, piemēram, OpenAI o1, apmāca ar plaša mēroga stimulētu mācīšanos risināt problēmas soli pa solim, pirms tie atbild. Otrkārt, ļoti labi paredzēt nākamo vārdu var prasīt daudz: pētnieki, kas ielūkojušies modeļos, atraduši tajos iekšējus pasaules attēlojumus, un Anthropic atklāja, ka Claude plāno uz priekšu un izvēlas atskaņu, pirms uzraksta rindu, kas ar to beidzas. Kā to izteica Anthropic, modeļi ir “apmācīti izvadīt pa vienam vārdam”, taču “lai to izdarītu, tie var domāt daudz ilgākā perspektīvā”. Treškārt, “tikai” neko nepasaka par to, ko sistēma spēj. Spējas ir augušas līdz ar izmēru, bieži vien veidos, ko neviens neparedzēja.

Nekas no tā nenozīmē, ka šīs sistēmas domā kā cilvēki, un tās joprojām pieļauj vienkāršas kļūdas. Taču “tā ir automātiskā pabeigšana” apraksta, kā rodas izvade, nevis to, cik spējīga vai droša ir sistēma. Tas ir jāpārbauda, nevis jāpieņem.