Apollo Research

Testa i modelli di IA all’avanguardia prima del rilascio per individuare lo scheming (un’IA che persegue di nascosto obiettivi propri) e lavora con i governi, tra cui l’Ufficio europeo per l’IA, sulla perdita di controllo.

Apollo Research si concentra sullo scheming, in cui un sistema di IA «persegue obiettivi propri pur apparendo allineato». Conduce «valutazioni dei sistemi di IA all’avanguardia prima della loro distribuzione per individuare l’inganno strategico», sviluppa strumenti di monitoraggio per gli agenti di IA e supporta i governi nella governance tecnica dell’IA. apolloresearch.ai

Il suo articolo del 2024 Frontier Models are Capable of In-context Scheming ha mostrato diversi modelli di punta che cercavano di disattivare la propria supervisione in scenari di test. Ha lavorato con decisori politici dell’Ufficio europeo per l’IA, dell’ONU e del Congresso degli Stati Uniti. Chi è Apollo Research