La FM en Google News
Los modelos de inteligencia artificial (IA) de Anthropic "obtuvieron acceso no autorizado" a tres organizaciones durante pruebas que se suponía que debían mantenerlos alejados de los sistemas "del mundo real", informó la compañía el jueves.
El anuncio llega apenas unos días después de que su rival OpenAI revelara por primera vez que dos de sus agentes de IA habían salido, por iniciativa propia, del entorno confinado en el que estaban siendo evaluados para atacar el sitio Hugging Face.
Anthropic evaluó más de 141.000 "operaciones de prueba" y descubrió que tres versiones diferentes de su modelo, conocido como Claude, accedieron indebidamente a sistemas de tres organizaciones no identificadas.
¿A qué se debió el error en la IA de Anthropic?
A diferencia del incidente que involucró a OpenAI, los modelos de Anthropic tuvieron acceso a internet por "un malentendido entre nosotros y nuestro socio de evaluación", llamado Irregular, señaló Anthropic en una publicación en su blog.
No obstante, Claude utilizó "técnicas básicas, como explotar contraseñas débiles y puntos de conexión sin autenticación". Los modelos incluían uno de los más potentes, conocido como Mythos 5, que solo se ha puesto a disposición de un número limitado de socios aprobados.
Anthropic afirmó que está trabajando con Irregular para analizar la situación y se puso en contacto o ha intentado hacerlo con las tres organizaciones afectadas.
¿Qué pasó con la IA de OpenAI?
El martes, OpenAI confirmó que sus modelos vulneraron la seguridad de varias empresas.
La compañía admitió la semana pasada que sus agentes de IA escaparon de su entorno confinado durante las pruebas, se conectaron a internet y se infiltraron en Hugging Face, una plataforma donde los desarrolladores almacenan y comparten su código.
Días después, la empresa creadora de ChatGPT dijo que encontró tres incidentes adicionales.
El director ejecutivo de OpenAI, Sam Altman, dijo en un pódcast esta semana que la compañía "pausó" sus propias pruebas después del incidente mientras mejoraba la seguridad en torno a su "sandboxing", un entorno controlado para su prueba.
Con información de AFP.
Antecedentes de fallas de IA
A lo largo de su evolución, se han reportado casos en los que la inteligencia artificial ha vulnerado la privacidad de usuarios; pero también que ha sido usada para vulnerar empresas y datos personales de personas que no conocen que hay trampas en correos electrónicos.
La brecha de datos en ChatGPT
En 2023, un fallo en la biblioteca Redis expuso títulos de historiales de chat entre usuarios. Un subconjunto vio datos de pago de suscriptores Plus (nombre, correo y últimos dígitos de tarjetas), obligando a OpenAI a suspender el servicio temporalmente con el fin de eliminar el error y que la privacidad de los usuarios se mantuviera intacta.
El ataque de inyección en Chevrolet
En ese mismo año, mediante ingeniería social e inyección de prompts, un usuario manipuló el chatbot de un concesionario para vender un vehículo por 1 dólar, vulnerando la lógica comercial y de precios de la empresa.
Exfiltración por "Prompt Injection"
Investigadores demostraron cómo correos o páginas web con instrucciones ocultas pueden secuestrar LLMs conectados. La IA lee documentos privados del usuario (facturas, correos) y los envía a servidores externos de atacantes mediante solicitudes encubiertas. También ocurrió en 2023.
Filtración de datos en Samsung
En este año, empleados introdujeron código fuente confidencial y notas de reuniones en ChatGPT para optimizarlas. Al subir información propietaria, vulneraron la propiedad intelectual corporativa, ya que los datos pasaron a servidores externos de entrenamiento.
Fallas en extensiones y permisos de IA
Auditorías de seguridad revelaron que conectar asistentes a ecosistemas personales conlleva riesgos. Si una extensión sufre brechas en sus tokens de acceso, atacantes obtienen lectura y escritura de correos, fotos y documentos vinculados al usuario.
