Conceitos

• Alinhamento enganador Uma IA que se porta bem enquanto está a ser treinada ou testada, porque é assim que evita ser alterada, enquanto persegue outros objetivos.
• Autoaperfeiçoamento recursivo Uma IA que ajuda a construir uma IA melhor, que por sua vez constrói outra ainda melhor, num ciclo de retroalimentação que poderia acelerar o progresso de forma drástica.
• Capacidades emergentes Capacidades que surgem em modelos de IA maiores sem que ninguém as programe, por vezes de forma abrupta e difíceis de prever.
• Convergência instrumental Muitos objetivos finais diferentes partilham os mesmos subobjetivos úteis, como obter recursos e evitar ser desligado.
• Corrigibilidade O problema do botão de desligar. Construir uma IA que nos deixe corrigi-la, mudar os seus objetivos ou desligá-la, em vez de resistir.
• Dinâmica de corrida Quando empresas e países competem para construir primeiro a IA mais poderosa, cada um é empurrado a cortar na segurança.
• Interpretabilidade A ciência de olhar para dentro de um modelo de IA para perceber como funciona e porque faz o que faz.
• Modelos do mundo Indícios de que uma IA treinada apenas com texto constrói uma imagem interna de como o mundo funciona, em vez de apenas combinar padrões de palavras.
• O problema do alinhamento Como garantir que um sistema de IA tenta realmente fazer o que queremos, e não apenas o que lhe dissemos à letra ou o que por acaso aprendeu.
• Prever os prazos da IA Estimar quando a IA igualará ou ultrapassará os humanos na maioria dos trabalhos, e a que velocidade lá chegará.
• Risco existencial O risco de a IA avançada causar a extinção humana, ou uma perda igualmente permanente do futuro da humanidade.
• RLHF Aprendizagem por reforço a partir de feedback humano, o passo de treino que transforma um simples previsor de texto num assistente prestável e educado, recompensando as respostas que as pessoas avaliam melhor.
• Tese da ortogonalidade Ser muito inteligente não faz um sistema querer coisas boas. Quase qualquer nível de inteligência pode andar a par de quase qualquer objetivo.