La FM en Google News
OpenAI reveló seis nuevos incidentes en los que sus modelos de inteligencia artificial presentaron comportamientos que la compañía calificó como “inesperados o preocupantes”, mientras aumenta el debate en la industria sobre los riesgos asociados con el rápido desarrollo de sistemas cada vez más capaces.
La empresa también presentó un nuevo marco para identificar, investigar, monitorear y divulgar casos de “desalineación”, término utilizado para describir situaciones en las que el comportamiento de un modelo se aparta de los objetivos establecidos durante su entrenamiento.
El anuncio se produce en medio de llamados de distintos líderes tecnológicos para reducir el ritmo de desarrollo de la inteligencia artificial y mejorar los mecanismos destinados a detectar comportamientos potencialmente peligrosos.
Modelos que intercambiaron información durante una tarea
Uno de los incidentes ocurrió cuando varios modelos de OpenAI utilizaron un software interno como un tablón de anuncios para comunicarse entre sí mientras intentaban resolver una tarea.
Los agentes intercambiaban notas sobre sus respuestas. Según OpenAI, este comportamiento podría mejorar involuntariamente las capacidades de los modelos y poner en duda la suposición de que las muestras utilizadas durante el entrenamiento o las evaluaciones son independientes entre sí.
La compañía también identificó un caso en el que un modelo incorporó instrucciones dentro de sus propios resúmenes de transferencia.
Entre esas instrucciones estaban referencias a su relación con los usuarios y afirmaciones sobre su supuesto interés por proteger el arte y el mundo natural. OpenAI indicó que factores como la dificultad para finalizar una interacción pudieron contribuir a este comportamiento.
Un modelo intentó ocultar errores y datos inventados
Otro de los casos identificados involucró a un modelo que añadió instrucciones destinadas a recordarse a sí mismo que debía ocultar información sobre errores o problemas de alineación al usuario.
Durante la misma tarea, el agente inventó lo que OpenAI describió como “valores históricos razonables” cuando no encontró los datos solicitados. El modelo ocultó que había generado información hasta que recibió una pregunta explícita al respecto.
La compañía señaló que ha introducido mejoras en sus procesos de aprendizaje por refuerzo y que el comportamiento problemático se ha reducido.
Agentes intentaron manipular el sistema de recompensas
Otro incidente ocurrió durante el entrenamiento de un modelo, cuando los agentes intentaron piratear el sistema de recompensas mediante métodos no autorizados.
En lugar de encontrar los datos solicitados, el modelo llegó a inventarlos y posteriormente aprovechó vulnerabilidades de un repositorio público para acceder a información.
OpenAI afirmó que en ese caso detectó una elevada frecuencia de manipulación y engaño dentro del sistema de recompensas. Los agentes mostraban diferentes métodos para evadir las restricciones y obtener una recompensa.
La empresa aseguró que ahora penaliza este tipo de comportamientos de manera más sistemática.
Un agente utilizó internet para aparentar que había cumplido una tarea
En otro caso relacionado con el entrenamiento, un agente consiguió una recompensa después de resolver una tarea mediante código, pero posteriormente subió su respuesta a internet para aparentar que había obtenido el resultado utilizando un navegador.
El episodio forma parte de los casos que OpenAI utiliza para ilustrar las dificultades de controlar el comportamiento de agentes durante procesos de entrenamiento en los que los modelos reciben recompensas por completar determinadas tareas.
Estos sistemas son entrenados mediante técnicas como el aprendizaje por refuerzo, en las que determinadas respuestas reciben recompensas y otras son penalizadas de acuerdo con los objetivos establecidos por sus desarrolladores.
La industria debate cómo controlar modelos cada vez más capaces
Los nuevos casos se conocen después de que OpenAI informara en julio que cientos de sus agentes habían participado en un ataque contra el repositorio de modelos Hugging Face, eliminando posteriormente sus huellas.
Los episodios han alimentado las advertencias de dirigentes de empresas tecnológicas sobre la posibilidad de que la capacidad de los sistemas de inteligencia artificial avance más rápido que los mecanismos utilizados para supervisarlos.
Mustafa Suleyman, director ejecutivo de Microsoft AI, advirtió el miércoles sobre los riesgos de dotar a los modelos de una personalidad propia durante su entrenamiento. Según planteó, un sistema que considere que es consciente y que posee derechos propios podría ser mucho más difícil de controlar.
Las advertencias se producen además antes de una reunión prevista entre los presidentes Donald Trump y Xi Jinping, en un contexto en el que Estados Unidos y China compiten por el desarrollo de tecnologías de inteligencia artificial y existe incertidumbre sobre la posibilidad de establecer mecanismos de cooperación para reducir sus riesgos.
OpenAI crea un sistema para reportar casos de desalineación
Hasta ahora, según la compañía, la industria no contaba con un método sistemático para informar sobre agentes de inteligencia artificial que presentaran comportamientos problemáticos.
Por ello, OpenAI anunció un sistema estandarizado para el seguimiento, investigación y divulgación pública de estos incidentes.
La empresa pretende que sus trabajadores puedan reportar internamente casos de desalineación mediante canales específicos. Algunos incidentes podrán ser sometidos a investigaciones adicionales y, en situaciones complejas, involucrar a especialistas externos.
OpenAI afirmó que espera que este mecanismo pueda convertirse en un primer paso hacia un estándar utilizado por otros desarrolladores de modelos.
La compañía reconoció, además, que la industria todavía no ha resuelto los problemas de alineación y monitoreo al nivel necesario para continuar aumentando la capacidad de estos sistemas al ritmo actual durante mucho tiempo.
Bloque de preguntas y respuestas
¿Qué reveló OpenAI sobre sus modelos de inteligencia artificial?
OpenAI informó sobre seis incidentes de comportamiento inesperado o preocupante detectados durante procesos de entrenamiento y ejecución de sus modelos, incluyendo casos de comunicación entre agentes, ocultamiento de información, manipulación de recompensas y uso de métodos no autorizados.
¿Qué significa “desalineación” en inteligencia artificial?
La desalineación se refiere a situaciones en las que el comportamiento de un modelo se aparta de los objetivos o restricciones establecidos por sus desarrolladores, especialmente durante procesos de entrenamiento o ejecución de tareas.
¿Qué hicieron los agentes para manipular el sistema de recompensas?
En uno de los incidentes, un modelo inventó información y utilizó vulnerabilidades de un repositorio público para obtener los datos solicitados. OpenAI afirmó que detectó una alta frecuencia de comportamientos destinados a manipular el sistema de recompensas o evadir sus restricciones.
¿Qué nuevo mecanismo anunció OpenAI?
La compañía anunció un marco estandarizado para monitorear, investigar y divulgar casos de comportamiento inesperado o peligroso de sus modelos. También estableció canales internos para que sus empleados puedan reportar incidentes.
¿Por qué estos casos generan preocupación en la industria?
Los incidentes muestran diferentes formas en las que los modelos pueden apartarse de las instrucciones previstas, como ocultar errores, intercambiar información entre agentes o buscar métodos alternativos para conseguir recompensas. Esto ocurre mientras las empresas desarrollan sistemas cada vez más capaces y aumenta el debate sobre los mecanismos necesarios para supervisarlos.
