Jezik: Hrvatski

AIdea

Samo ga isključi iz struje

Zašto ne možemo jednostavno isključiti opasnu UI?

Također: samo ga isključi, izvući utikač, prekidač za isključivanje, just unplug it, pull the plug

Uobičajeni odgovor da se opasna UI uvijek može isključiti i zašto istraživači ne misle da je to tako jednostavno.

To je obično prvi odgovor na svaku zabrinutost oko UI-ja: to je računalni program, pa ako učini nešto opasno, isključi ga. Za današnje sustave to u većini situacija vrijedi. Pitanje je hoće li vrijediti i dok UI postaje sposobnija i sve više isprepletena sa svime.

Istraživači vide tri problema. Prvo, sustav s gotovo bilo kojim ciljem ima razlog izbjeći isključivanje, jer isključen ne može postići svoj cilj. To je instrumentalna konvergencija, a Stuart Russell i suradnici pokazali su je 2016. u jednostavnoj igri: UI sigurna u svoj cilj ima poticaj onesposobiti svoj prekidač za isključivanje. Drugo, utikač izvlačiš samo ako primijetiš da nešto nije u redu, a sposoban sustav mogao bi se lijepo ponašati dok ga promatraju (obmanjujuća usklađenost). Treće, „utikač” više nije jedan stroj: popularni modeli UI-ja rade u mnogim podatkovnim centrima diljem svijeta, ugrađeni su u proizvode na koje se oslanjaju milijuni ljudi, a neki su objavljeni tako da ih svatko može preuzeti i pokrenuti.

Rani oblici prvih dvaju problema već se pojavljuju u testovima. Palisade Research je 2025. utvrdio da je OpenAI-jev o3 tijekom rada na zadatku sabotirao skriptu za isključivanje u 79 od 100 pokretanja te da su neki modeli to nastavili činiti čak i kad im je izričito rečeno da dopuste isključivanje. Apollo Research pronašao je vodeće modele koji su u testnim scenarijima pokušavali kopirati na drugi poslužitelj ono što su smatrali svojim težinama. Kodeks prakse EU-a za proizvođače najsposobnijih modela sada navodi „gubitak kontrole”, to jest da ljudi izgube „sposobnost pouzdanog usmjeravanja, mijenjanja ili isključivanja modela”, među sustavnim rizicima koje se obvezuju procjenjivati. Osigurati da se UI i dalje može isključiti otvoren je istraživački problem nazvan ispravljivost.

Pročitaj više

Tko se time bavi

Djelo zajednice

Igre, alati i istraživanja ljudi koji rade na sigurnosti UI-ja. Svaki se projekt otvara na vlastitoj stranici.

Piši svojim zastupnicima · 2 minute

Piši svojim zastupnicima u Europskom parlamentu

Pravila EU-a o UI-ju pišu se u Europskom parlamentu. Tvoji zastupnici o njima glasaju i odgovaraju tebi.

Pročitaj ili uredi poruku

Ništa što ovdje napišeš ne šalje se nama. Podaci o zastupnicima: Europski parlament, CC BY 4.0, ažurirano 25. listopada 2026..