Anpassningsskatten

Även: alignment tax, säkerhetsskatt, safety tax

Den extra kostnaden i pengar, tid eller prestanda för att göra ett AI-system säkert och inte bara kapabelt.

Anpassningsskatten är ”kostnaden som uppstår när vi insisterar på att bara driftsätta anpassad AI”, som AI-säkerhetsforskaren Paul Christiano uttryckte det i ett föredrag 2020. Det är allt som säkerhet kostar jämfört med den snabbaste och billigaste vägen till ett kapabelt system: extra forskning och tester, en försenad lansering eller en modell som presterar lite sämre på vissa uppgifter.

Begreppet dyker upp i praktiken. När OpenAI 2022 tränade InstructGPT med mänsklig återkoppling (RLHF) blev modellen mer hjälpsam och mer sanningsenlig, men presterade sämre på flera standardtester. Artikeln kallade det ”ett exempel på en anpassningsskatt” och hittade ett sätt att minska den genom att blanda in en del av den ursprungliga träningen. Författarna förklarade också varför det spelar roll: en hög anpassningsskatt ”skapar incitament att använda modeller som inte är anpassade men är mer kapabla”.

Det är den verkliga oron. I en kapplöpning mellan företag riskerar den som betalar skatten att hamna efter den som inte gör det. Christiano beskrev två svar: att sänka skatten genom forskning, så att säker AI också är den bästa AI:n, eller att se till att alla betalar den, genom avtal och regler, så att säkerhet inte blir en konkurrensnackdel. Reglering som EU:s AI-förordning (AI Act) är ett försök till det senare.