AIdea
Sztochasztikus papagáj
Ért bármit az MI, vagy csak megismétli, amit olvasott?
- Írók és újságírók
- Diákok és egyetemisták
- Tanárok
Más néven: sztochasztikus papagájok, stochastic parrot, stochastic parrots
Az az állítás, hogy a nyelvi modellek valószínűség alapján fűzik össze a szavakat, a jelentés bármiféle megértése nélkül.
A kifejezés Emily M. Bender nyelvész, Timnit Gebru MI-kutató és kollégáik 2021-es tanulmányából származik. A nyelvi modellt olyan rendszerként írták le, amely a tanítóadatokban látott szósorozatokat fűzi össze aszerint, hogy milyen valószínűséggel kapcsolódnak egymáshoz, „a jelentésre való bármiféle hivatkozás nélkül”. A „sztochasztikus” azt jelenti, hogy a véletlen irányítja; a papagájok olyan szavakat ismételnek, amelyeket nem értenek.
A tanulmány fő figyelmeztetései ma is valós károkra vonatkoztak: az egyre nagyobb modellek környezeti és pénzügyi költségeire, a hatalmas, átvizsgálatlan tanítóadatokra, amelyek beépítik az előítéleteket, és arra a kockázatra, hogy az emberek megbíznak egy gördülékeny szövegben, amely mögött nincs semmi. Ezek az aggodalmak továbbra is érvényesek. Maga a kifejezés önálló életre kelt, a „valójában semmit sem ért” rövidítéseként, és gyakran arra használják, hogy amellett érveljenek: ezek a rendszerek kevésbé képesek, mint amilyennek látszanak.
Ebben a szűkebb kérdésben a bizonyítékok elmozdultak. A modellek belsejébe tekintő kutatók a világ belső reprezentációit találták meg: egy játéktábláét, amelyet a modell soha nem látott, annak, hogy hol vannak a helyek és mikor történtek az események, valamint a következtetés köztes lépéseiét, például „Dallas Texasban van” útban a „a főváros Austin” felé. Az AI Safety Atlas arra jut, hogy a modellek a tanultakat valamiféle világmodellekbe tömörítik, bár egyenetlenül. Hogy ez „megértésnek” számít-e, részben definíció kérdése. A biztonság szempontjából az számít, hogy ezek a rendszerek többre képesek, és kiszámíthatatlanabbul, mint amit a papagáj képe sugall.
