Daň za sladění

Také: alignment tax, daň za bezpečnost, safety tax

Dodatečné náklady v penězích, čase nebo výkonu na to, aby byl systém AI bezpečný, a ne jen schopný.

Daň za sladění jsou „náklady vzniklé tím, že trváme na nasazování pouze sladěné AI“, jak to v přednášce z roku 2020 formuloval výzkumník bezpečnosti AI Paul Christiano. Je to vše, co bezpečnost stojí ve srovnání s nejrychlejší a nejlevnější cestou ke schopnému systému: další výzkum a testy, odložené uvedení nebo model, který si v některých úlohách vede o něco hůř.

Pojem se objevuje v praxi. Když OpenAI v roce 2022 trénovalo InstructGPT pomocí lidské zpětné vazby (RLHF), model se stal užitečnějším a pravdivějším, ale v několika standardních testech dopadl hůř. Studie to označila za „příklad daně za sladění“ a našla způsob, jak ji snížit přimícháním části původního tréninku. Autoři také vysvětlili, proč na tom záleží: vysoká daň za sladění „motivuje k používání modelů, které nejsou sladěné, ale jsou schopnější“.

To je skutečná obava. V závodě firem riskuje ten, kdo daň platí, že zaostane za tím, kdo ji neplatí. Christiano popsal dvě odpovědi: snížit daň výzkumem, aby bezpečná AI byla zároveň nejlepší AI, nebo zajistit, aby ji platili všichni, prostřednictvím dohod a pravidel, aby bezpečnost nebyla konkurenční nevýhodou. Regulace jako akt EU o umělé inteligenci (AI Act) je pokusem o to druhé.