AIdea
Стохастичен папагал
Разбира ли ИИ нещо, или само повтаря прочетеното?
- Писатели и журналисти
- Ученици и студенти
- Учители
Още: стохастични папагали, stochastic parrot, stochastic parrots
Твърдението, че езиковите модели нанизват думи според вероятността, без никакво разбиране на значението.
Изразът идва от статия от 2021 г. на лингвистката Емили М. Бендър, изследователката на ИИ Тимнит Гебру и колеги. Те описват езиковия модел като система, която съшива поредици от думи, видени в данните за обучение, според вероятностите за тяхното съчетаване, „без никакво отношение към значението“. „Стохастичен“ означава управляван от случайността; папагалите повтарят думи, които не разбират.
Основните предупреждения на статията бяха за вреди, които са реални и днес: екологичната и финансовата цена на все по-големите модели, огромни непроверени данни за обучение, които вграждат предразсъдъци, и рискът хората да се доверят на гладък текст, зад който не стои нищо. Тези опасения остават валидни. Самият израз заживя собствен живот като съкращение за „всъщност нищо не разбира“ и често се използва, за да се твърди, че тези системи са по-малко способни, отколкото изглеждат.
По този по-тесен въпрос доказателствата се промениха. Изследователи, които надникват в моделите, откриха вътрешни представи за света: за игрална дъска, която моделът никога не е виждал, за това къде се намират местата и кога са се случили събитията, както и за междинни стъпки в разсъжденията, като „Далас е в Тексас“ по пътя към „столицата е Остин“. AI Safety Atlas заключава, че моделите компресират наученото в нещо като модели на света, макар и неравномерно. Дали това се брои за „разбиране“, отчасти е въпрос на определение. За безопасността е важно, че тези системи могат повече и по-неочаквано, отколкото подсказва образът на папагала.
