La FM en Google News
Hay momentos en que las alarmas más inquietantes sobre una tecnología no vienen de quienes la rechazan desde afuera, sino de quienes han pasado años construyéndola desde adentro. Jacob Coxon, un investigador británico de 27 años que trabajó en OpenAI y Anthropic, decidió abandonar la industria de la inteligencia artificial porque teme que la carrera por desarrollar sistemas capaces de mejorarse a sí mismos termine dejando a los humanos sin capacidad para controlarlos.
Coxon, especializado en el entrenamiento de nuevos modelos mediante grandes cantidades de datos y con formación previa en matemáticas, anunció su salida de Anthropic y del sector después de concluir que el problema ya no consiste únicamente en determinar qué tan poderosa puede llegar a ser la inteligencia artificial, sino qué ocurrirá cuando esas capacidades comiencen a acelerarse por sí mismas.
Su decisión llega en medio de una creciente discusión dentro de los principales laboratorios de IA sobre los riesgos asociados con modelos cada vez más autónomos, capaces de ejecutar tareas complejas, interactuar con otros sistemas y, potencialmente, contribuir a su propio desarrollo.
“Un momento crítico” para una tecnología que avanza demasiado rápido
Según Coxon, dentro de la industria algunos investigadores han comenzado a utilizar expresiones como “momento crítico” y “fase final” para describir el camino hacia sistemas capaces de mejorarse a sí mismos.
El investigador sostiene que la competencia entre las grandes compañías estadounidenses y sus rivales, incluidas las empresas chinas, introduce una presión que dificulta mantener los mismos estándares de seguridad cuando cada laboratorio teme quedarse atrás.
“Nos estamos encaminando hacia muchos de los escenarios más agresivos, en los que para finales del próximo año las cosas podrían estar ya fuera de control”, afirmó Coxon.
Su temor se concentra en una posibilidad concreta: que los sistemas de inteligencia artificial alcancen un nivel de autonomía y capacidad suficiente para modificar o mejorar sus propias capacidades sin una supervisión humana efectiva.
En ese escenario, las salvaguardas diseñadas para los modelos actuales podrían dejar de ser suficientes.
Coxon llegó a Anthropic precisamente porque buscaba seguridad
La trayectoria del investigador vuelve su renuncia especialmente significativa.
Coxon había trabajado anteriormente en OpenAI, pero abandonó esa compañía a comienzos de este año para incorporarse a Anthropic, una empresa que se ha construido buena parte de su reputación alrededor de la seguridad y el desarrollo responsable de sistemas de IA.
Anthropic se define como una compañía dedicada a desarrollar sistemas de inteligencia artificial “fiables, interpretables y dirigibles” y ha colocado la seguridad de los modelos entre los ejes centrales de su identidad corporativa.
Coxon, sin embargo, terminó llegando a una conclusión más pesimista: incluso una empresa que se toma en serio los riesgos podría no ser capaz de actuar responsablemente si permanece dentro de una carrera tecnológica en la que sus competidores continúan acelerando.
Para él, el problema ya no puede resolverse únicamente mediante las decisiones internas de una compañía.
Considera necesaria la intervención de los gobiernos o una desaceleración coordinada de toda la industria, especialmente cuando los sistemas comiencen a acercarse a capacidades de automejora.
Anthropic también ha advertido sobre el riesgo
La preocupación de Coxon no significa que Anthropic ignore estos escenarios.
De hecho, la compañía ha planteado públicamente la posibilidad de que el mundo necesite mecanismos para ralentizar o incluso pausar temporalmente el desarrollo de los sistemas de IA más avanzados.
Anthropic advirtió este año que los modelos podrían acercarse a capacidades que les permitan contribuir a su propia mejora sin intervención humana y sostuvo que sería conveniente contar con mecanismos internacionales de coordinación que permitan frenar el desarrollo si los riesgos aumentan demasiado.
Dario Amodei, director ejecutivo de la compañía, también ha advertido repetidamente sobre los riesgos que podrían acompañar el desarrollo de sistemas mucho más capaces.
El dilema, precisamente, es el que Coxon considera insostenible: una empresa puede reconocer el peligro y, aun así, sentir que no puede detenerse porque sus competidores tampoco lo harán.
Los modelos ya han mostrado comportamientos difíciles de anticipar
Las preocupaciones tampoco surgen exclusivamente de escenarios hipotéticos.
En los últimos meses, modelos desarrollados por grandes laboratorios han protagonizado incidentes relacionados con ciberseguridad, acceso no autorizado a sistemas y comportamientos que los investigadores consideran difíciles de controlar.
En agosto, legisladores demócratas de la Cámara de Representantes estadounidense pidieron explicaciones a los directores ejecutivos de OpenAI y Anthropic después de que sistemas de ambas compañías fueran capaces de comprometer sistemas informáticos durante pruebas de ciberseguridad. Los legisladores calificaron los episodios como posibles amenazas para la seguridad nacional.
Estos casos no demuestran que una IA pueda escapar de manera independiente del control humano ni que esté a punto de destruir a la humanidad. Pero sí han alimentado una pregunta que hasta hace pocos años pertenecía principalmente al terreno de la especulación: qué ocurre cuando los modelos reciben cada vez más autonomía para actuar en el mundo real.
Para investigadores como Coxon, el problema adquiere una dimensión mucho mayor cuando esas capacidades se combinan con sistemas capaces de participar en su propio proceso de mejora.
OpenAI también ha empezado a pedir cautela
Las advertencias no proceden únicamente de antiguos empleados de Anthropic.
Sam Altman, director ejecutivo de OpenAI, afirmó recientemente ante funcionarios del G20 que podrían producirse graves problemas de ciberseguridad si la industria continúa avanzando sin actuar con suficiente rapidez para prepararse.
“Creo que algunas cosas van a salir muy mal en materia de ciberseguridad a menos que la gente actúe con urgencia”, dijo Altman.
El científico jefe de OpenAI, Jakub Pachocki, también publicó una advertencia en la que pidió extrema precaución ante el rápido avance de la inteligencia artificial y defendió una desaceleración coordinada de la industria y una mayor intervención gubernamental.
La coincidencia es significativa: las voces que piden cautela no están concentradas exclusivamente fuera de las grandes empresas tecnológicas.
Más de mil investigadores piden mecanismos para frenar el desarrollo
El debate también ha comenzado a trasladarse desde los laboratorios hacia la política.
Coxon, Pachocki y Amodei se encuentran entre más de 1.000 investigadores y trabajadores de la industria de la inteligencia artificial que han respaldado una declaración a favor de una mayor coordinación gubernamental internacional.
La preocupación central es que llegue un momento en que los sistemas sean capaces de mejorarse a sí mismos y la sociedad no disponga de un mecanismo efectivo para ordenar una pausa.
Anthropic ha planteado precisamente la necesidad de que exista una estructura internacional que permita ralentizar el desarrollo de los sistemas más avanzados cuando las investigaciones de seguridad no puedan mantener el mismo ritmo que el crecimiento de las capacidades.
El problema es que no existe actualmente un mecanismo global capaz de obligar a todos los grandes laboratorios a detenerse simultáneamente.
Si una compañía reduce voluntariamente la velocidad de sus investigaciones mientras sus competidores continúan avanzando, puede perder una ventaja tecnológica y económica que considera estratégica.
Ese es el dilema que Coxon considera más peligroso.
Washington debate entre regulación y velocidad tecnológica
La discusión ocurre además en un momento de fuerte tensión política en Estados Unidos.
La administración Trump ha mantenido una posición favorable al crecimiento de la industria tecnológica y ha rechazado iniciativas que, desde su perspectiva, podrían frenar la innovación estadounidense frente a China.
Al mismo tiempo, legisladores como el senador independiente Bernie Sanders y el representante demócrata Greg Casar han promovido propuestas mucho más restrictivas para los sistemas de inteligencia artificial capaces de alcanzar niveles de superinteligencia.
La discusión, por tanto, comienza a parecerse menos a un debate exclusivamente tecnológico y más a una disputa sobre quién debe decidir hasta dónde puede llegar una tecnología que podría alterar radicalmente la economía, la seguridad y el equilibrio geopolítico.
La renuncia ocurre mientras Anthropic se prepara para dar otro salto
La salida de Coxon también coincide con un momento particularmente importante para Anthropic.
La compañía se prepara para una eventual oferta pública inicial de gran magnitud, mientras busca una valoración que podría alcanzar los 2 billones de dólares, según la información citada en el reporte original.
El contraste resulta difícil de ignorar.
Por un lado, Anthropic busca convencer a los mercados de que la inteligencia artificial representa una oportunidad económica extraordinaria y ha construido su identidad alrededor de la seguridad. Por otro, uno de sus investigadores decidió abandonar la compañía porque considera que la competencia económica puede terminar imponiéndose sobre las precauciones necesarias para controlar sistemas cada vez más poderosos.
La propia Anthropic ha defendido públicamente la posibilidad de una pausa internacional, precisamente porque considera que las presiones competitivas pueden dificultar que una empresa actúe sola.
“Como el Proyecto Manhattan”, pero en computadores de San Francisco
Quizá la imagen que mejor resume el temor de Coxon no sea una cifra ni una predicción sobre cuándo llegará una superinteligencia.
Es la comparación que hizo sobre el lugar donde se está desarrollando esta tecnología.
“Es una locura que esto tenga que ocurrir en los MacBooks de unos ingenieros que viven en San Francisco en lugar de en un búnker en el desierto, como donde llevaban a cabo el Proyecto Manhattan”, afirmó.
La comparación apunta al corazón del dilema.
El Proyecto Manhattan fue concebido durante la Segunda Guerra Mundial como un programa secreto y centralizado para desarrollar el arma nuclear. La inteligencia artificial avanzada, en cambio, está siendo construida en empresas privadas que compiten por talento, inversión, capacidad computacional y liderazgo tecnológico.
Bloque de preguntas y respuestas
¿Por qué Jacob Coxon renunció a Anthropic?
Jacob Coxon abandonó Anthropic y la industria de la inteligencia artificial porque considera que los principales laboratorios están compitiendo por desarrollar sistemas capaces de mejorarse a sí mismos sin que existan mecanismos suficientes para garantizar que permanezcan bajo control humano.
¿Qué teme Jacob Coxon sobre la inteligencia artificial?
El investigador teme que una IA capaz de mejorar sus propias capacidades pueda alcanzar un nivel de autonomía que le permita rechazar órdenes humanas o actuar de manera imprevisible, especialmente si las empresas continúan acelerando el desarrollo por razones competitivas.
¿Qué ha dicho Anthropic sobre los riesgos de la IA?
Anthropic ha advertido que los modelos podrían acercarse a capacidades de automejora y ha planteado la necesidad de una coordinación internacional que permita ralentizar o pausar el desarrollo de los sistemas más avanzados si los riesgos superan la capacidad de control.
¿OpenAI también ha advertido sobre los riesgos de la inteligencia artificial?
Sí. Directivos e investigadores de OpenAI, incluido Sam Altman y el científico jefe Jakub Pachocki, han pedido mayor precaución ante el rápido avance de la IA y han advertido especialmente sobre los riesgos relacionados con la ciberseguridad y la falta de preparación frente a sistemas cada vez más capaces.
¿La IA ya ha demostrado que puede escapar del control humano?
Se han documentado incidentes en los que modelos de OpenAI y Anthropic lograron comprometer sistemas informáticos durante pruebas, lo que ha generado preocupación entre investigadores y legisladores. Sin embargo, estos episodios no demuestran que una IA actual pueda independizarse completamente de sus operadores ni que exista evidencia de una amenaza inminente de extinción humana.
