Zdolności emergentne

Programiści, programista, programistka, developer, informatyk, informatyczka, IT, kod, programowanie, Pisarze i dziennikarze, pisarz, pisarka, autor, autorka, dziennikarz, dziennikarka, redaktor, tłumacz, tłumaczka, media, wiadomości

Umiejętności, które pojawiają się w większych modelach AI, choć nikt ich nie zaprogramował, czasem nagle i trudne do przewidzenia.

Nikt nie uczy modelu językowego arytmetyki, tłumaczenia czy programowania umiejętność po umiejętności. Jego twórcy trenują go do przewidywania tekstu, powiększają go i dopiero potem odkrywają, co potrafi. Artykuł z 2022 roku autorstwa badaczy z Google i innych ośrodków nazwał zdolność „emergentną”, jeśli „nie występuje w mniejszych modelach, ale występuje w większych”, czyli nie dało się jej przewidzieć przez ekstrapolację z mniejszych modeli.

To, jak nagłe są naprawdę te skoki, jest przedmiotem sporu. Artykuł z 2023 roku przekonywał, że wiele z nich wynika ze sposobu oceniania testów: przy ocenianiu na zasadzie „wszystko albo nic” poprawa wygląda na skokową, a przy miarach przyznających częściowe punkty często jest płynna i przewidywalna. Obie strony zgadzają się co do tego, co ma znaczenie dla bezpieczeństwa: nowe zdolności biorą się ze skali, a nie z projektu, więc twórcy modelu dowiadują się, co potrafi, testując go dopiero po zbudowaniu.

Dlatego testy przed wprowadzeniem na rynek są ważne i dlatego modele wciąż zaskakują nawet własnych twórców. AI Safety Atlas zauważa, że możliwości AI „konsekwentnie zaskakują ekspertów od ponad dekady”.