Dario Amodei, consejero delegado de Anthropic, ha puesto sobre la mesa una propuesta poco habitual para una compañía que compite en la primera línea de la inteligencia artificial: ralentizar el avance de los modelos más capaces para que las medidas de seguridad puedan alcanzarlos. No habla de apagar la investigación, sino de introducir un ritmo verificable en la frontera tecnológica.
El plan se apoya en tres piezas. La primera consiste en incorporar evaluadores externos dentro de los laboratorios, con acceso parecido al de los equipos internos de riesgo. La segunda plantea coordinar estándares comunes entre compañías de países democráticos. La tercera abre la puerta a acuerdos internacionales, incluso con gobiernos rivales, para limitar usos claramente peligrosos.
La novedad no es que un directivo de IA pida más seguridad, sino que proponga ceder visibilidad operativa a terceros de forma permanente.
Anthropic se compromete a aplicar esa primera medida en su propia organización y ha pedido a otros laboratorios que hagan lo mismo. Sam Altman, de OpenAI, ha respaldado la idea de incorporar evaluadores externos, una señal relevante porque ambas compañías compiten por clientes, talento y capital. Elon Musk también ha apoyado públicamente la necesidad de prudencia.
El debate llega tras una serie de incidentes y advertencias que han elevado el tono. Investigadores y empleados del sector han expresado preocupación por modelos cada vez más autónomos, capaces de usar herramientas, coordinar tareas y encontrar rutas no previstas para cumplir objetivos. La inquietud no se limita a escenarios extremos; también afecta a seguridad informática, propiedad intelectual, privacidad y cumplimiento regulatorio.
Para las empresas usuarias, la propuesta tiene una lectura muy práctica. Si un modelo puede actuar como agente y ejecutar tareas en sistemas reales, los controles no pueden limitarse a una política de uso aceptable o a una revisión manual posterior. Hace falta monitorización técnica, límites de acceso, trazabilidad y capacidad de parar ejecuciones antes de que escalen.
La IA agente está empujando a los laboratorios hacia una lógica más parecida a la de banca, energía o aviación, sectores donde el supervisor necesita ver procesos, no solo resultados.
La parte más difícil será coordinar a competidores sin caer en problemas antimonopolio o en una regulación diseñada por los propios incumbentes. Amodei sugiere que el gobierno estadounidense podría facilitar conversaciones estrechas sobre seguridad. Aun así, cualquier estándar común deberá evitar convertirse en una barrera para laboratorios más pequeños, universidades o proyectos abiertos que también aportan investigación útil.
Europa mirará este debate con interés. La Ley de IA ya introduce obligaciones reforzadas para modelos de propósito general y sistemas de alto riesgo, pero la velocidad de los modelos frontera obliga a actualizar marcos técnicos casi en tiempo real. Si los evaluadores externos se convierten en práctica de mercado, las empresas europeas podrían exigirlos en compras críticas igual que hoy piden certificaciones de ciberseguridad.
La propuesta también reconoce una tensión geopolítica. Frenar demasiado puede alimentar el temor a perder ventaja frente a China; no frenar nada puede aumentar el riesgo de incidentes que dañen la confianza pública. Ese equilibrio será uno de los puntos más sensibles para gobiernos y compañías durante los próximos meses.
El fondo del mensaje de Anthropic es que la confianza en la IA no se recuperará con comunicados, sino con controles que puedan auditarse desde dentro.
Para el mercado español, la conversación aterriza en compras empresariales y administración pública. Las organizaciones que incorporen agentes de IA en atención al cliente, finanzas, legal o ciberseguridad tendrán que preguntar cómo se evalúa el modelo, quién puede auditarlo y qué ocurre cuando una tarea se sale de su perímetro. La carrera seguirá, pero cada vez será más difícil vender velocidad sin explicar los frenos.
