AIdea
E doar completare automată
Doar prezice IA următorul cuvânt?
- Elevi și studenți
- Profesori
Și: doar completare automată, completare automată sofisticată, just autocomplete, predicția următorului token
Ideea că chatboturile sunt doar o versiune mai mare a sugestiilor de cuvinte de pe telefonul tău, deci nu e nimic de care să ne îngrijorăm.
E ceva adevărat aici. Primul și cel mai mare pas din antrenarea unui model de limbaj este prezicerea următorului cuvânt: citește o cantitate uriașă de text și învață să ghicească ce urmează, cam ca sugestiile tastaturii de pe telefon. Iar când răspunde, scrie câte o bucată de cuvânt pe rând.
Dar acel „doar” ascunde trei lucruri. În primul rând, chatboturile de azi nu sunt antrenate doar să prezică text. Apoi sunt antrenate cu feedback uman (RLHF) ca să fie asistenți utili, iar din 2024 modele noi „de raționament”, precum o1 de la OpenAI, sunt antrenate prin învățare prin întărire la scară mare să rezolve problemele pas cu pas înainte să răspundă. În al doilea rând, a prezice foarte bine următorul cuvânt poate cere mult: cercetătorii care se uită în interiorul modelelor au găsit reprezentări interne ale lumii, iar Anthropic a descoperit că Claude planifică dinainte, alegând un cuvânt care rimează înainte să scrie versul care se termină cu el. Cum a spus Anthropic, modelele sunt „antrenate să producă un cuvânt pe rând”, dar „pentru asta pot gândi pe orizonturi mult mai lungi”. În al treilea rând, „doar” nu spune nimic despre ce poate face sistemul. Capacitățile au crescut odată cu scara, adesea în moduri pe care nimeni nu le-a prezis.
Nimic din toate acestea nu înseamnă că aceste sisteme gândesc ca oamenii, iar ele încă fac greșeli simple. Dar „e completare automată” descrie cum se produce rezultatul, nu cât de capabil sau de sigur este sistemul. Asta trebuie testat, nu presupus.
