AIdea
Tai tik automatinis užbaigimas
Ar DI tik nuspėja kitą žodį?
- Mokiniai ir studentai
- Mokytojai
Taip pat: tik automatinis užbaigimas, patobulintas automatinis užbaigimas, just autocomplete, kito žetono numatymas
Idėja, kad pokalbių robotai tėra didesnė tavo telefono žodžių pasiūlymų versija, todėl nėra dėl ko nerimauti.
Tame yra tiesos. Pirmas ir didžiausias kalbos modelio mokymo žingsnis yra kito žodžio numatymas: jis perskaito milžiniškus kiekius teksto ir išmoksta spėti, kas bus toliau, panašiai kaip telefono klaviatūros pasiūlymai. O atsakydamas jis rašo po vieną žodžio dalį.
Tačiau „tik“ nuslepia tris dalykus. Pirma, šiandieniniai pokalbių robotai mokomi ne vien numatyti tekstą. Vėliau jie mokomi naudojant žmonių grįžtamąjį ryšį (RLHF), kad taptų paslaugiais asistentais, o nuo 2024 m. naujesni „samprotaujantys“ modeliai, tokie kaip OpenAI o1, mokomi didelio masto skatinamuoju mokymusi spręsti problemas žingsnis po žingsnio prieš atsakant. Antra, labai gerai numatyti kitą žodį gali reikėti daug ko: tyrėjai, pažvelgę į modelių vidų, rado vidinių pasaulio vaizdinių, o Anthropic nustatė, kad Claude planuoja iš anksto ir pasirenka rimą prieš parašydamas eilutę, kuri juo baigiasi. Kaip sakė Anthropic, modeliai „mokomi išvesti po vieną žodį“, tačiau „tam jie gali mąstyti daug ilgesniu horizontu“. Trečia, „tik“ nieko nepasako apie tai, ką sistema gali. Gebėjimai augo kartu su dydžiu, dažnai taip, kaip niekas nenumatė.
Visa tai nereiškia, kad šios sistemos mąsto kaip žmonės, ir jos vis dar daro paprastų klaidų. Tačiau „tai automatinis užbaigimas“ apibūdina, kaip atsiranda rezultatas, o ne tai, kiek sistema pajėgi ar saugi. Tai reikia tikrinti, o ne prielaidas daryti.
