Apollo Research

Teste les modèles d’IA de pointe avant leur mise sur le marché pour détecter le scheming (une IA qui poursuit en secret ses propres objectifs), et travaille avec des gouvernements, dont le Bureau européen de l’IA, sur la perte de contrôle.

Apollo Research se concentre sur le scheming, quand un système d’IA « poursuit ses propres objectifs tout en paraissant aligné ». Elle mène des « évaluations des systèmes d’IA de pointe avant leur déploiement pour détecter la tromperie stratégique », développe des outils de surveillance des agents d’IA et accompagne les gouvernements en matière de gouvernance technique de l’IA. apolloresearch.ai

Son article de 2024, Frontier Models are Capable of In-context Scheming, a montré plusieurs modèles de premier plan tentant de désactiver leur surveillance dans des scénarios de test. Elle a travaillé avec des décideurs du Bureau européen de l’IA, de l’ONU et du Congrès américain. À propos d’Apollo Research