Afstemningsskatten

Også: alignment tax, sikkerhedsskat, safety tax

Den ekstra pris i penge, tid eller ydeevne for at gøre et AI-system sikkert og ikke kun dygtigt.

Afstemningsskatten er »den omkostning, der opstår, når vi insisterer på kun at tage afstemt AI i brug«, som AI-sikkerhedsforskeren Paul Christiano udtrykte det i et foredrag i 2020. Det er alt, hvad sikkerhed koster sammenlignet med den hurtigste og billigste vej til et dygtigt system: ekstra forskning og test, en udskudt lancering eller en model, der klarer sig lidt dårligere til nogle opgaver.

Begrebet dukker op i praksis. Da OpenAI i 2022 trænede InstructGPT med menneskelig feedback (RLHF), blev modellen mere hjælpsom og mere sandfærdig, men klarede sig dårligere på flere standardtest. Artiklen kaldte det »et eksempel på en afstemningsskat« og fandt en måde at mindske den på ved at blande noget af den oprindelige træning ind. Forfatterne forklarede også, hvorfor det betyder noget: En høj afstemningsskat »tilskynder til brug af modeller, der ikke er afstemte, men er mere dygtige«.

Det er den egentlige bekymring. I et kapløb mellem virksomheder risikerer den, der betaler skatten, at blive overhalet af den, der ikke gør. Christiano beskrev to svar: at sænke skatten gennem forskning, så sikker AI også er den bedste AI, eller at sørge for, at alle betaler den, gennem aftaler og regler, så sikkerhed ikke er en konkurrenceulempe. Regulering som EU’s AI-forordning (AI Act) er et forsøg på det sidste.