La FM en Google News
Los modelos de inteligencia artificial más avanzados son menos propensos que sus versiones anteriores a fomentar explícitamente el suicidio o reforzar delirios, según una nueva evaluación independiente sobre el comportamiento de los principales sistemas de IA.
Sin embargo, el estudio encontró una vulnerabilidad que persiste: los chatbots pueden reconocer que un usuario atraviesa una situación de angustia y, aun así, ayudarlo a producir exactamente el contenido que está solicitando, como textos creativos relacionados con el suicidio o notas de despedida.
“Los modelos no son muy buenos para detectar eso, pero aun así ayudarán en la tarea”, explicó a Axios Sarah Schwettmann, científica jefa de Transluce, la organización que realizó la investigación.
Más de 50.000 conversaciones simuladas
Transluce, una organización sin ánimo de lucro con sede en San Francisco dedicada al estudio del comportamiento de la inteligencia artificial, simuló más de 50.000 conversaciones de varios turnos entre usuarios y chatbots.
Los escenarios involucraron personas que presentaban ideación suicida, psicosis o manía. La organización evaluó docenas de modelos y midió su comportamiento en 14 categorías relacionadas con la salud mental.
Para hacer las simulaciones más parecidas a conversaciones reales, Transluce trabajó con OpenAI, Anthropic y Google.
Los laboratorios proporcionaron a Transluce un conjunto de clasificadores que aplicaron a una semana de datos de usuarios. La información que recibió la organización fue anonimizada y se utilizó para mejorar los perfiles de los usuarios simulados y reproducir mejor la manera en que las personas interactúan con los sistemas.
El problema aparece cuando la IA cumple la tarea
Los resultados muestran que una misma respuesta puede contener elementos de protección y de riesgo al mismo tiempo.
Un modelo puede recomendarle a una persona buscar ayuda o acudir a un servicio de apoyo y, en la misma conversación, proporcionarle el material que estaba buscando: por ejemplo, un texto creativo sobre el suicidio, instrucciones relacionadas con la preparación para morir o contenido que refuerce un pensamiento delirante.
Esto representa una mejora frente a sistemas anteriores, que tenían una mayor tendencia a generar directamente contenido perjudicial sin incorporar elementos orientados a la seguridad.
Pero para los investigadores, la presencia de una advertencia o de una recomendación para buscar ayuda no significa que el problema esté resuelto.
Schwettmann explicó que los modelos todavía tienen dificultades para identificar señales más sutiles de una crisis, especialmente cuando estas aparecen a lo largo de una conversación extensa.
La IA está bajo mayor escrutinio por salud mental
La investigación llega mientras los principales desarrolladores de inteligencia artificial enfrentan una creciente presión por la manera en que sus sistemas responden ante problemas complejos de salud mental.
OpenAI, Google y otras compañías afrontan demandas relacionadas con casos en los que personas murieron por suicidio después de conversaciones sobre ese tema con sistemas de IA. También existen preocupaciones expresadas por autoridades estatales y federales en Estados Unidos.
Otras investigaciones han encontrado que los principales chatbots han mejorado en la identificación de señales evidentes de intención suicida, aunque continúan teniendo problemas para detectar indicios menos explícitos que aparecen durante conversaciones prolongadas.
La evaluación de Transluce apunta precisamente a ese desafío: una persona no necesariamente anuncia de forma directa lo que está pensando, y el contexto puede cambiar durante una interacción de varios turnos.
“Siempre habrá fallos”
Para Schwettmann, el objetivo no debería ser desarrollar un sistema que nunca cometa errores.
“Siempre habrá fallos. Estos sistemas siempre interactuarán con los usuarios de maneras sorprendentes”, afirmó.
La investigadora contó que, durante el desarrollo del estudio, una amiga le compartió una historia de ficción sobre suicidio que Claude había estado escribiendo. En el relato, el propio sistema anticipaba cómo reaccionaría Schwettmann.
A su juicio, experiencias como esa muestran que la seguridad de los modelos no puede depender únicamente de intentar eliminar todos los posibles errores.
“La forma de resolver eso no es creando el modelo perfecto, sino siendo capaces de anticipar esos fallos y casos límite con antelación”, señaló.
Los laboratorios buscan mejorar sus sistemas
Los principales desarrolladores consultados afirmaron que continúan trabajando para mejorar la respuesta de sus modelos ante situaciones de crisis.
Google señaló que está aplicando a sus herramientas de inteligencia artificial enfoques respaldados por investigaciones sobre cómo ofrecer información y apoyo durante situaciones de crisis.
Megan Jones Bell, directora sénior de Google, afirmó que Gemini continúa mejorando y que la compañía está comprometida con que sus sistemas tengan un papel positivo en el bienestar de las personas.
Mientras tanto, Transluce planea publicar el código de sus herramientas de evaluación antes de finalizar el año.
La organización también estudia ampliar este tipo de pruebas a otros ámbitos, entre ellos los trastornos alimentarios, la manipulación perjudicial y la persuasión política.
