Apollo Research

Testet Spitzenmodelle der KI vor der Veröffentlichung auf Scheming (KI, die heimlich eigene Ziele verfolgt), und arbeitet mit Regierungen, darunter dem Europäischen Amt für künstliche Intelligenz, zum Kontrollverlust.

Apollo Research konzentriert sich auf Scheming, bei dem ein KI-System „eigene Ziele verfolgt und dabei ausgerichtet wirkt“. Es führt „Bewertungen von Spitzen-KI-Systemen vor dem Einsatz durch, um strategische Täuschung zu erkennen“, baut Überwachungswerkzeuge für KI-Agenten und unterstützt Regierungen bei der technischen KI-Governance. apolloresearch.ai

Sein Paper von 2024, Frontier Models are Capable of In-context Scheming, zeigte mehrere führende Modelle, die in Testszenarien versuchten, ihre Überwachung zu deaktivieren. Es hat mit politischen Entscheidungsträgern beim Europäischen Amt für künstliche Intelligenz, bei den Vereinten Nationen und im US-Kongress zusammengearbeitet. Über Apollo Research