Davek na usklajenost

Tudi: alignment tax, davek na varnost, safety tax

Dodatni stroški v denarju, času ali zmogljivosti, da je sistem UI varen in ne le zmogljiv.

Davek na usklajenost so »stroški, ki nastanejo, ker vztrajamo, da uvajamo le usklajeno UI«, kot je v predavanju leta 2020 dejal raziskovalec varnosti UI Paul Christiano. To je vse, kar varnost stane v primerjavi z najhitrejšo in najcenejšo potjo do zmogljivega sistema: dodatne raziskave in testi, poznejša predstavitev ali model, ki se pri nekaterih nalogah odreže nekoliko slabše.

Izraz se pojavlja v praksi. Ko je OpenAI leta 2022 InstructGPT učil s pomočjo človeških povratnih informacij (RLHF), je model postal bolj koristen in resnicoljuben, a se je na več standardnih testih odrezal slabše. Članek je to označil za »primer davka na usklajenost« in našel način, kako ga zmanjšati z mešanjem dela prvotnega učenja. Avtorji so pojasnili tudi, zakaj je to pomembno: visok davek na usklajenost »spodbuja uporabo modelov, ki niso usklajeni, so pa zmogljivejši«.

To je prava skrb. V tekmi med podjetji tisti, ki plača davek, tvega, da zaostane za tistim, ki ga ne. Christiano je opisal dva odgovora: davek zmanjšati z raziskavami, da bo varna UI tudi najboljša UI, ali poskrbeti, da ga plačajo vsi, z dogovori in pravili, da varnost ne bo konkurenčna slabost. Ureditev, kot je akt EU o umetni inteligenci (AI Act), je poskus drugega.