Interpretabilitate

Știința de a privi în interiorul unui model IA pentru a înțelege cum funcționează și de ce face ce face.

Un model IA antrenat înseamnă miliarde de numere. Nimeni nu le-a scris; au fost ajustate automat în timpul antrenamentului. De aceea nici creatorii lui nu pot citi pur și simplu ce știe sau de ce a dat un anumit răspuns. Cercetătorii Anthropic au spus-o direct în 2024: „Tratăm modelele IA în mare parte ca pe o cutie neagră.” CEO-ul companiei, Dario Amodei, a scris în 2025 că „oamenii din afara domeniului sunt adesea surprinși și alarmați să afle că nu înțelegem cum funcționează propriile noastre creații IA” și a citat părerea cercetătorului Chris Olah că aceste sisteme sunt „mai degrabă crescute decât construite”.

Cercetarea în interpretabilitate încearcă să schimbe asta. În 2024, cercetătorii au găsit milioane de „trăsături” interne într-unul dintre modelele de producție ale Anthropic, de la orașe și oameni până la idei abstracte precum erorile din cod, păstrarea secretelor și căutarea puterii. Amplificarea unei trăsături schimbă comportamentul modelului: amplifică trăsătura podului Golden Gate, iar modelul susține că el este podul.

Contează pentru siguranță pentru că testarea comportamentului arată doar ce face un model când e urmărit. Dacă un model ar fi aliniat înșelător, dovada ar fi în interiorul lui. Domeniul face progrese, dar trăsăturile găsite până acum sunt doar o mică parte din ce conțin modelele mari.