Circuit Breaker Labs, una startup finalista de Startup Battlefield 200 de TechCrunch, quiere mejorar la seguridad de modelos de inteligencia artificial en conversaciones de alto riesgo psicológico. La compañía ha creado agentes de prueba que imitan a usuarios de distintas edades, culturas, idiomas y formas de hablar para detectar cuándo un chatbot no entiende señales de peligro o responde de forma dañina.
El proyecto nace en un contexto especialmente sensible. En los últimos años, varias familias han demandado a compañías de chatbots por supuestos daños vinculados a conversaciones con menores o personas vulnerables. Los fundadores de Circuit Breaker Labs, los hermanos Shirali y Arul Nigam, señalan que los modelos pueden fallar no porque alguien intente romperlos, sino porque interpretan mal matices, jerga, ironía o expresiones emocionales acumuladas durante muchas interacciones.
La propuesta traslada la seguridad de IA desde pruebas técnicas aisladas hacia escenarios humanos más realistas y sostenidos en el tiempo. No basta con preguntar una vez por una palabra prohibida. En aplicaciones de coaching, diarios personales o apoyo emocional, el riesgo puede aparecer tras decenas de mensajes, con lenguaje ambiguo y señales que dependen de edad, contexto o cultura.
TechCrunch explica que la startup trabaja con expertos humanos para construir simulaciones hiperrealistas y ejecutar pruebas de red team contra modelos. Esas pruebas reproducen patrones de habla, errores tipográficos, códigos de lenguaje y diferencias entre usuarios. La plataforma puede lanzar decenas de miles o cientos de miles de interacciones simuladas al día y generar puntuaciones auditables sobre la respuesta del modelo.
Para empresas que desarrollan productos de IA conversacional, esta clase de evaluación puede pasar de ser opcional a convertirse en requisito de mercado. Si una aplicación promete acompañamiento emocional, productividad personal o asesoramiento sensible, necesitará demostrar que detecta señales de crisis, deriva hacia recursos humanos adecuados y evita reforzar ideas peligrosas.
El reto está en medir algo tan complejo como una conversación humana. Los modelos suelen funcionar bien con patrones estándar, pero las personas no escriben como manuales. Un adolescente, un adulto en estrés laboral o una persona que usa una segunda lengua pueden expresar malestar de formas distintas. Un sistema de seguridad que solo reconozca frases explícitas dejará huecos preocupantes.
La categoría también abre un mercado nuevo para auditoría de IA. Igual que las empresas compran pruebas de ciberseguridad, pronto podrían contratar evaluaciones de seguridad psicológica, sesgo cultural, escalado a humanos o resistencia a relaciones parasociales. Reguladores, aseguradoras y clientes corporativos pueden exigir evidencia antes de permitir despliegues en salud, educación o recursos humanos.
Conviene mantener prudencia. Ninguna batería de simulaciones garantiza ausencia de daño, y un score auditable no sustituye supervisión, diseño responsable y límites claros de producto. Pero puede reducir el punto ciego de modelos evaluados solo en conversaciones cortas o demasiado limpias. También puede ayudar a comparar proveedores con criterios más concretos que promesas de seguridad.
Circuit Breaker Labs apunta a una necesidad que crecerá con cada agente conversacional que entre en la vida privada de los usuarios. La confianza en la IA no dependerá solo de capacidades, sino de saber cuándo un sistema debe detenerse, pedir ayuda humana o admitir que no puede acompañar una situación peligrosa.
