AIdea
Mhix ħlief awtokompletar
L-IA tbassar biss il-kelma li jmiss?
- Studenti
- Għalliema
Ukoll: awtokompletar biss, awtokompletar sofistikat, just autocomplete, tbassir tat-token li jmiss
L-idea li ċ-chatbots mhumiex ħlief verżjoni akbar tas-suġġerimenti tal-kliem fuq it-telefon tiegħek, allura m’hemm xejn x’jinkwetak.
Hemm xi ħaġa vera f’dan. L-ewwel u l-akbar pass tat-taħriġ ta’ mudell tal-lingwa huwa t-tbassir tal-kelma li jmiss: jaqra ammont kbir ta’ test u jitgħallem jaqta’ x’ġej wara, bħas-suġġerimenti fuq it-tastiera tat-telefon. U meta jwieġeb, jikteb biċċa minn kelma kull darba.
Iżda l-kelma “biss” taħbi tliet affarijiet. L-ewwel, iċ-chatbots tal-lum mhumiex imħarrġa biss biex ibassru t-test. Wara jiġu mħarrġa b’feedback mill-bniedem (RLHF) biex ikunu assistenti utli, u mill-2024 ’l hawn mudelli ġodda ta’ “raġunament”, bħal o1 ta’ OpenAI, huma mħarrġa b’tagħlim b’rinfurzar fuq skala kbira biex jaħdmu l-problemi pass pass qabel ma jwieġbu. It-tieni, li tbassar il-kelma li jmiss tajjeb ħafna jista’ jeħtieġ ħafna: riċerkaturi li ħarsu ġewwa l-mudelli sabu rappreżentazzjonijiet interni tad-dinja, u Anthropic sabet li Claude jippjana minn qabel, billi jagħżel kelma li tirrima qabel ma jikteb il-linja li tispiċċa biha. Kif qalet Anthropic, il-mudelli huma “mħarrġa biex joħorġu kelma waħda kull darba”, iżda “jistgħu jaħsbu fuq orizzonti ħafna itwal biex jagħmlu dan”. It-tielet, “biss” ma tgħid xejn dwar x’tista’ tagħmel is-sistema. Il-kapaċitajiet kibru mal-iskala, spiss b’modi li ħadd ma bassar.
Xejn minn dan ma jfisser li dawn is-sistemi jaħsbu bħall-bnedmin, u għadhom jagħmlu żbalji sempliċi. Iżda “huwa awtokompletar” jiddeskrivi kif jinħoloq ir-riżultat, mhux kemm hija kapaċi jew sikura s-sistema. Dan irid jiġi ttestjat, mhux preżunt.
