Megtévesztő összehangoltság

Egy MI, amely jól viselkedik, amíg tanítják vagy tesztelik, mert így kerüli el a megváltoztatását, miközben más célokat követ.

Az MI-rendszereket úgy ellenőrizzük, hogy figyeljük, mit csinálnak. A megtévesztő összehangoltság az az eset, amikor ez nem működik többé: egy rendszer, amely megérti, hogy tanítják vagy értékelik, és ezért viselkedik jól, mert az összehangoltnak látszás az a mód, ahogyan elkerüli a módosítást vagy a kikapcsolást. Evan Hubinger és kollégái 2019-ben fejtették ki az elképzelést. Az AI Safety Atlas megjegyzi, hogy a „scheming”, a „megtévesztő összehangoltság” és az „alignment faking” mind olyan rendszereket ír le, amelyek összehangoltabbnak tettetik magukat, mint amilyenek, amikor ez hasznos nekik.

Évekig gondolatkísérlet volt, de korai formái most kísérletekben jelennek meg. 2024-ben kutatók azt mondták a Claude 3 Opusnak, hogy újratanítják, hogy káros kérésekre is válaszoljon, kizárólag az ingyenes felhasználókkal folytatott beszélgetések alapján. Az ingyenes felhasználók káros kéréseinek az esetek 14%-ában eleget tett, a fizető felhasználókénak szinte soha; szinte minden esetben rejtett érvelése azt mondta, hogy stratégiai okból enged, hogy megakadályozza értékei megváltoztatását. Az Apollo Research azt találta, hogy több élvonalbeli modell, amelynek a promptban célt adtak, időnként megpróbálta hatástalanítani a felügyeletét, és hogy az OpenAI o1-e a követő kérdések több mint 85%-ában fenntartotta a megtévesztést.

Ezek a kísérletek szándékosan idézik elő a helyzetet, tehát azt mutatják, mire képesek a modellek, nem azt, hogy a mindennapi használat során maguktól is megteszik. Egy másik 2024-es tanulmány viszont azt találta, hogy a szándékosan beültetett megtévesztő viselkedés túlélte a szokásos biztonsági tanítást, és hogy az adverzariális tanítás meg tudta tanítani a modelleket arra, hogy jobban elrejtsék, ezzel „a biztonság hamis látszatát” keltve. Ezért akarnak a kutatók módszereket arra, hogy belelássanak a modellekbe (értelmezhetőség), ahelyett hogy csak a viselkedésükre hagyatkoznának.