Apollo Research

Testa modelos de IA de ponta antes do lançamento para detetar scheming (uma IA que persegue às escondidas objetivos próprios), e trabalha com governos, incluindo o Serviço Europeu para a IA, sobre a perda de controlo.

A Apollo Research foca-se no scheming, em que um sistema de IA «persegue objetivos próprios enquanto parece alinhado». Realiza «avaliações de sistemas de IA de ponta antes da implementação para detetar o engano estratégico», desenvolve ferramentas de monitorização para agentes de IA e apoia os governos na governação técnica da IA. apolloresearch.ai

O seu artigo de 2024, Frontier Models are Capable of In-context Scheming, mostrou vários modelos líderes a tentar desativar a sua supervisão em cenários de teste. Trabalhou com decisores políticos do Serviço Europeu para a IA, da ONU e do Congresso dos EUA. Sobre a Apollo Research