Ez csak szókiegészítés

Diákok és egyetemisták, diák, tanuló, egyetemista, hallgató, egyetem, főiskola, tanulás, Tanárok, tanár, tanárnő, tanító, tanítónő, pedagógus, oktató, iskola, oktatás

Más néven: csak szókiegészítés, felturbózott szókiegészítés, just autocomplete, következő token előrejelzése

Az az elképzelés, hogy a chatbotok csak a telefonod szójavaslatainak nagyobb változatai, tehát nincs miért aggódni.

Van benne igazság. Egy nyelvi modell tanításának első és legnagyobb lépése a következő szó előrejelzése: hatalmas mennyiségű szöveget olvas, és megtanulja kitalálni, mi jön ezután, nagyjából úgy, mint a telefon billentyűzetének javaslatai. És amikor válaszol, egyszerre egy szódarabot ír le.

A „csak” azonban három dolgot elhallgat. Először is, a mai chatbotokat nem csak szöveg előrejelzésére tanítják. Ezután emberi visszajelzéssel (RLHF) tanítják őket segítőkész asszisztenssé, 2024 óta pedig az újabb „gondolkodó” modelleket, például az OpenAI o1-ét, nagyszabású megerősítéses tanulással tanítják arra, hogy válaszadás előtt lépésről lépésre oldják meg a problémákat. Másodszor, a következő szó nagyon jó előrejelzése sokat követelhet: a modellek belsejébe tekintő kutatók a világ belső reprezentációit találták meg bennük, az Anthropic pedig azt fedezte fel, hogy Claude előre tervez, és kiválasztja a rímszót, mielőtt megírja a vele végződő sort. Ahogy az Anthropic fogalmazott, a modelleket „arra tanítják, hogy egyszerre egy szót adjanak ki”, de „ehhez sokkal hosszabb távon is gondolkodhatnak”. Harmadszor, a „csak” semmit nem mond arról, mire képes a rendszer. A képességek a mérettel együtt nőttek, gyakran úgy, ahogy senki sem jósolta meg.

Mindez nem jelenti azt, hogy ezek a rendszerek úgy gondolkodnak, mint az emberek, és még mindig követnek el egyszerű hibákat. De az „ez szókiegészítés” azt írja le, hogyan jön létre a kimenet, nem azt, hogy mennyire képes vagy biztonságos a rendszer. Ezt tesztelni kell, nem feltételezni.