Модели на света

Доказателства, че ИИ, обучен само върху текст, изгражда вътрешна представа за това как работи светът, вместо само да съпоставя модели от думи.

Моделът на света е вътрешна представа за това какви са нещата и как работят, която системата може да използва, за да предсказва какво ще се случи. Въпросът е дали езиковите модели имат такъв, или само статистика за това кои думи обикновено следват кои.

Няколко изследвания надникнаха в модели и откриха такива представи. Оказа се, че модел, обучен само върху списъци с ходове от настолната игра Отело, на когото никога не е показвана дъска, проследява дъската вътрешно, а редактирането на тази вътрешна дъска променя ходовете, които предсказва (Li et al., 2023). Установено е, че моделите Llama-2 представят къде се намират местата и кога са се случили събитията, с отделни „пространствени неврони“ и „времеви неврони“ (Гърни и Тегмарк, 2023). Anthropic откри, че Claude, когато бъде попитан за столицата на щата, в който се намира Далас, първо представя „Тексас“, а после „Остин“, и че когато пише римувано стихотворение, избира римуващата се дума, преди да напише реда.

Това са частични модели, а не пълно разбиране, и AI Safety Atlas отбелязва, че част от знанията в моделите приличат повече на справочна таблица. Но доказателствата опровергават идеята, че тези системи само повтарят повърхностни модели. За безопасността това действа и в двете посоки: моделите на света правят системите по-способни и точно тях изследванията по интерпретируемост се опитват да разчетат.