Conceptos

• Alineamiento engañoso Una IA que se comporta bien mientras la entrenan o la prueban, porque así evita que la cambien, mientras persigue otros objetivos.
• Automejora recursiva Una IA que ayuda a construir una IA mejor, que a su vez construye otra aún mejor, en un bucle de retroalimentación que podría acelerar el progreso de forma drástica.
• Capacidades emergentes Habilidades que aparecen en modelos de IA más grandes sin que nadie las programe, a veces de golpe y difíciles de predecir.
• Convergencia instrumental Muchos objetivos finales distintos comparten los mismos subobjetivos útiles, como conseguir recursos y evitar que los apaguen.
• Corregibilidad El problema del botón de apagado. Construir una IA que nos deje corregirla, cambiar sus objetivos o apagarla, en lugar de resistirse.
• Dinámica de carrera Cuando empresas y países compiten por construir primero la IA más poderosa, cada uno se ve empujado a recortar en seguridad.
• El problema del alineamiento Cómo asegurarse de que un sistema de IA intente de verdad hacer lo que queremos, y no solo lo que le dijimos literalmente o lo que por casualidad aprendió.
• Interpretabilidad La ciencia de mirar dentro de un modelo de IA para entender cómo funciona y por qué hace lo que hace.
• Modelos del mundo Pruebas de que una IA entrenada solo con texto construye una imagen interna de cómo funciona el mundo, en lugar de limitarse a emparejar patrones de palabras.
• Prever los plazos de la IA Estimar cuándo la IA igualará o superará a los humanos en la mayoría de los trabajos, y a qué velocidad llegará.
• Riesgo existencial El riesgo de que la IA avanzada cause la extinción humana o una pérdida igual de permanente del futuro de la humanidad.
• RLHF Aprendizaje por refuerzo a partir de retroalimentación humana, el paso de entrenamiento que convierte un simple predictor de texto en un asistente servicial y educado, recompensando las respuestas que la gente valora mejor.
• Tesis de la ortogonalidad Ser muy inteligente no hace que un sistema quiera cosas buenas. Casi cualquier nivel de inteligencia puede ir con casi cualquier objetivo.