La carrera por la inteligencia artificial avanzada ya no se mide solo en productividad, inversión o competencia entre grandes tecnológicas. El debate se ha desplazado hacia una cuestión más incómoda: qué pasa si un modelo llega al mercado sin controles de seguridad suficientes.
Dario Amodei, consejero delegado y cofundador de Anthropic, ha defendido que los gobiernos deberían contar con herramientas legales para impedir el despliegue de modelos de IA considerados peligrosos cuando no superen evaluaciones independientes. Su propuesta aparece en un ensayo en el que plantea una regulación más estricta para los sistemas más potentes.
Más allá de la transparencia
Hasta ahora, buena parte del debate regulatorio se ha apoyado en la transparencia. Es decir, en que las empresas expliquen cómo funcionan sus modelos, qué datos utilizan o qué riesgos han detectado. Para Amodei, ese enfoque empieza a quedarse corto cuando la IA alcanza capacidades que pueden afectar a sectores sensibles.
Su planteamiento es claro: los modelos más avanzados deberían pasar por pruebas obligatorias realizadas por terceros antes de llegar al mercado. Esas evaluaciones servirían para determinar si un sistema puede lanzarse con garantías o si debe quedar bloqueado hasta corregir sus riesgos.
La propuesta también contempla la intervención posterior al despliegue. Si un modelo ya publicado muestra riesgos no asumibles, las autoridades podrían exigir cambios o incluso frenar su uso. No se trataría solo de revisar la IA antes de su lanzamiento, sino de mantener una vigilancia activa durante su funcionamiento.
Los riesgos que más preocupan
Amodei centra su marco en cuatro áreas. La primera es la ciberseguridad, por la posibilidad de que modelos avanzados ayuden a detectar, explotar o automatizar ataques contra sistemas informáticos. La segunda está vinculada a posibles usos relacionados con armas biológicas. La tercera preocupación a puntaa la pérdida de control sobre sistemas de IA. La cuarta se refiere a la investigación y desarrollo automatizados, una capacidad que podría acelerar otros riesgos si los modelos ayudan a mejorar herramientas peligrosas o a ampliar su alcance.
El debate no se presenta como una hipótesis lejana. La preocupación crece a medida que aparecen sistemas capaces de analizar vulnerabilidades y actuar con mayor autonomía. En ese contexto, la pregunta ya no es solo qué puede hacer la IA, sino quién debe comprobar que no se convierte en un riesgo antes de desplegarla.
Un control previo como en sectores críticos
Para explicar su propuesta, Amodei compara la IA avanzada con industrias donde la seguridad se revisa antes de la comercialización. Menciona la aviación, la automoción y la industria farmacéutica, sectores en los que un producto no llega al mercado solo porque una empresa decida lanzarlo.
La lógica sería similar para los modelos de IA de mayor capacidad. Antes de publicarlos, las compañías tendrían que demostrar que cumplen estándares de seguridad y que sus riesgos han sido evaluados por entidades independientes.
El punto más delicado es el poder de veto. Amodei plantea que los gobiernos puedan bloquear un sistema si no supera esas pruebas. También defiende que esa capacidad esté limitada por criterios claros, riesgos definidos de antemano y mecanismos que reduzcan decisiones arbitrarias o motivadas por favoritismos políticos.
Una tecnología con impacto estratégico
El CEO de Anthropic sostiene que los modelos más potentes ya no deben entenderse solo como herramientas empresariales. Su influencia puede alcanzar la seguridad nacional, el sistema financiero o las infraestructuras críticas.
Ese cambio de escala explica el tono de la propuesta. Una IA capaz de facilitar ciberataques no tendría el mismo impacto que una aplicación digital común. Podría afectar a servicios esenciales, organismos públicos o empresas que manejan información sensible.
Por eso, Amodei defiende que la regulación no puede limitarse a declaraciones voluntarias de las compañías. Cuando el riesgo afecta a sistemas críticos, el control externo pasa a ser una pieza central del debate.
El empleo también entra en el debate
El ensayo de Amodei no se queda en los riesgos técnicos. También aborda el posible impacto de la inteligencia artificial sobre el mercado laboral. El directivo advierte de que la automatización de tareas a gran escala puede provocar desplazamientos importantes de trabajadores. Para reducir ese impacto, plantea varias medidas públicas:
- Seguros salariales para trabajadores que deban aceptar empleos peor pagados.
- Incentivos fiscales para empresas que mantengan puestos de trabajo.
- Programas de formación orientados a nuevas necesidades laborales.
- Sistemas de conexión entre empresas y trabajadores para facilitar recolocaciones.
Amodei también propone una alianza internacional entre democracias para coordinar normas, cadenas de suministro y políticas de seguridad vinculadas a la IA. La idea es evitar una regulación fragmentada por países cuando la tecnología tiene efectos globales.
Regular sin frenar todo el desarrollo
La posición de Amodei no consiste en detener la inteligencia artificial. Su propuesta busca diferenciar entre modelos de bajo riesgo y sistemas de gran capacidad que podrían tener consecuencias más amplias.
El mensaje de fondo es que la IA puede aportar avances científicos y mejoras de productividad, pero no debería desplegarse sin controles cuando sus riesgos superan cierto umbral. Para Anthropic, la siguiente fase del debate pasa por evaluaciones externas, capacidad de intervención pública y coordinación internacional.
