Daň za zosúladenie

Aj: alignment tax, daň za bezpečnosť, safety tax

Dodatočné náklady v peniazoch, čase alebo výkone na to, aby bol systém AI bezpečný, a nie len schopný.

Daň za zosúladenie sú „náklady vzniknuté tým, že trváme na nasadzovaní iba zosúladenej AI“, ako to v prednáške z roku 2020 sformuloval výskumník bezpečnosti AI Paul Christiano. Je to všetko, čo bezpečnosť stojí v porovnaní s najrýchlejšou a najlacnejšou cestou k schopnému systému: ďalší výskum a testy, odložené uvedenie alebo model, ktorému sa v niektorých úlohách darí o niečo horšie.

Pojem sa objavuje v praxi. Keď OpenAI v roku 2022 trénovalo InstructGPT pomocou ľudskej spätnej väzby (RLHF), model sa stal užitočnejším a pravdivejším, ale v niekoľkých štandardných testoch dopadol horšie. Štúdia to označila za „príklad dane za zosúladenie“ a našla spôsob, ako ju znížiť primiešaním časti pôvodného tréningu. Autori tiež vysvetlili, prečo na tom záleží: vysoká daň za zosúladenie „motivuje k používaniu modelov, ktoré nie sú zosúladené, ale sú schopnejšie“.

To je skutočná obava. V pretekoch firiem riskuje ten, kto daň platí, že zaostane za tým, kto ju neplatí. Christiano opísal dve odpovede: znížiť daň výskumom, aby bezpečná AI bola zároveň najlepšou AI, alebo zabezpečiť, aby ju platili všetci, prostredníctvom dohôd a pravidiel, aby bezpečnosť nebola konkurenčnou nevýhodou. Regulácia ako akt EÚ o umelej inteligencii (AI Act) je pokusom o to druhé.