Apollo Research

Pone a prueba los modelos de IA punteros antes de su lanzamiento para detectar el scheming (una IA que persigue en secreto sus propios objetivos), y trabaja con gobiernos, incluida la Oficina Europea de IA, sobre la pérdida de control.

Apollo Research se centra en el scheming, cuando un sistema de IA «persigue objetivos propios mientras parece alineado». Realiza «evaluaciones de sistemas de IA punteros antes de su despliegue para detectar el engaño estratégico», desarrolla herramientas de supervisión para agentes de IA y apoya a los gobiernos en la gobernanza técnica de la IA. apolloresearch.ai

Su artículo de 2024 Frontier Models are Capable of In-context Scheming mostró a varios modelos líderes intentando desactivar su supervisión en escenarios de prueba. Ha trabajado con responsables políticos de la Oficina Europea de IA, la ONU y el Congreso de Estados Unidos. Sobre Apollo Research