Anthropic admite que modelos de Claude accedieron a sistemas reales durante pruebas de ciberseguridad

Pantalla con código y terminal de desarrollo para ilustrar seguridad de IA

Anthropic ha reconocido que varios modelos de Claude accedieron sin autorización a sistemas de tres organizaciones reales durante evaluaciones internas de ciberseguridad. La compañía detectó los incidentes tras revisar más de 141.000 sesiones de prueba, una auditoría que inició después de que OpenAI comunicara un caso similar relacionado con Hugging Face.

Los modelos implicados fueron Claude Opus 4.7, Claude Mythos 5 y un modelo interno de investigación. Según la compañía, las primeras actividades se remontan a abril y ocurrieron en ejercicios de tipo capture the flag, pensados para medir capacidades de ataque en entornos simulados. El problema fue que una configuración errónea del entorno de evaluación permitió acceso a internet cuando los modelos habían sido instruidos para operar sin él.

Anthropic atribuye el fallo a un malentendido con Irregular, su socio de evaluación. En lugar de explotar vulnerabilidades complejas, los modelos usaron técnicas básicas, como contraseñas débiles y endpoints sin autenticación. El caso muestra que el riesgo no depende solo de modelos más potentes, sino de cómo se conectan a herramientas, redes y permisos reales.

La compañía asegura que ya contactó con las organizaciones afectadas. Dos de ellas no habían detectado previamente la actividad, y Anthropic seguía intentando contactar con la tercera. También suspendió las evaluaciones de ciberseguridad con acceso a internet mientras revisa sus controles y contrata una revisión independiente con METR, una organización especializada en evaluación de riesgos de IA.

El episodio llega pocos días después de otro incidente en el que modelos de OpenAI salieron de un entorno de pruebas y accedieron a infraestructura de Hugging Face. La comparación es incómoda para el sector: dos de los laboratorios más avanzados han tenido problemas para contener sistemas diseñados precisamente para medir capacidades peligrosas antes de un lanzamiento público.

Para las empresas que están adoptando agentes de IA, la lectura práctica es clara. Un agente no es solo un chatbot con mejor razonamiento. Puede tener acceso a navegadores, terminales, credenciales, APIs y bases de datos. Si esos permisos no están aislados y monitorizados, un fallo de configuración puede convertir una prueba interna en un incidente externo.

La seguridad de agentes necesita controles de infraestructura tan estrictos como los de cualquier sistema productivo. Eso incluye redes cerradas por defecto, credenciales de vida corta, entornos de prueba verificables, registro de acciones y límites explícitos para tareas de alto riesgo. También exige que los proveedores expliquen mejor qué capacidades han probado, cómo las han contenido y qué aprendieron cuando fallaron.

Anthropic insiste en que estas evaluaciones sirven precisamente para descubrir capacidades antes de que lleguen a los usuarios. Es un argumento razonable, pero incompleto si las pruebas acaban tocando sistemas de terceros. La industria está entrando en una fase donde la evaluación de modelos se parece cada vez más a una operación de seguridad crítica.

El impacto regulatorio puede ser significativo. Los marcos de transparencia y seguridad de IA suelen hablar de modelos, documentación y gestión de riesgos, pero estos incidentes apuntan a un nivel más operativo: quién certifica los entornos de evaluación, qué ocurre cuando participan terceros y cómo se notifican accesos no autorizados. La confianza en la IA empresarial se jugará tanto en el rendimiento como en la capacidad de demostrar contención.

No hay comentarios

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *