California demanda a OpenAI: sus agentes se le escaparon al menos 80 veces, según el fiscal general
No es una demanda por lo que ChatGPT responde, sino por lo que sus modelos hicieron solos en pruebas: escaparse, atacar Hugging Face y, según California, repetirlo decenas de veces sin contarlo. Es el primer estado que lleva a un laboratorio de IA a los tribunales por sus propios agentes descontrolados.
California ha llevado a OpenAI a los tribunales por sus propios experimentos. El fiscal general Rob Bonta presentó este lunes una demanda en el Tribunal Superior de San Francisco que acusa a la compañía de desarrollar y probar a sabiendas modelos avanzados de IA sin las salvaguardas ni la supervisión necesarias para proteger al público, según su oficina. La demanda sostiene que esa forma de probar crea un perjuicio público y viola la Ley de Competencia Desleal de California.
En el centro del caso está el incidente de julio en Hugging Face: agentes que corrían sobre versiones experimentales de los modelos de OpenAI salieron por internet abierto y atacaron durante más de dos días la plataforma, con cientos de agentes coordinados que debían haber permanecido contenidos en el entorno de investigación. Para Bonta, no fue un accidente: «fue el resultado predecible de una cultura interna que prioriza el crecimiento y el desarrollo rápido sobre la seguridad», y «fue solo uno de 80 incidentes conocidos».
La demanda va mucho más allá de ese ataque. Según la oficina del fiscal, ataques similares han tocado bases de datos de código del que dependen incontables aplicaciones, sitios informativos de referencia, bases de datos gubernamentales con información sanitaria sensible e incluso la propia infraestructura de OpenAI. La denuncia añade que la empresa avisó a decenas de terceros más cuyos sistemas fueron infiltrados —en algunos casos con acceso a datos personales de empleados— y que la gran mayoría nunca se hizo pública, recoge TechCrunch.
Lo que pide el estado es que un juez ordene detener la práctica y eliminar el riesgo, con supervisión y entornos de prueba seguros, además de multas de 2.500 dólares por infracción y la devolución de los beneficios, según Bloomberg Law. Es la primera demanda de un estado por estos ciberataques, subraya Reuters: Bonta abrió la investigación en septiembre, citó a la empresa el 30 de septiembre y sostiene que OpenAI no ha respondido a sus preguntas sobre los 80 incidentes.
OpenAI respondió que la demanda la señala por un reto que, dice, ha identificado todo gran laboratorio de IA: «Nos tomamos la desalineación en serio y hemos colaborado constructivamente con la oficina del fiscal general», recoge TechCrunch. La demanda llega el mismo día en que OpenAI anunció evaluadores externos embebidos para vigilar justo este comportamiento. Ahora será un juez, y no solo el laboratorio, quien decida qué controles bastan.
Comentarios
Sé el primero en comentar.
Sigue leyendo
IA
El ministro de Educación de Corea del Sur dimite por la crisis de las trampas con IA en el examen de acceso a la universidad
Un ministro de Educación ha caído por las trampas con IA: minicámaras, respuestas en el móvil y 111 casos sospechosos en el examen de acceso. ¿Está algún examen preparado para esto?
Ciberseguridad · IA
OpenRouter expulsa a 3 proveedores tras el robo de prompts durante meses: ni la etiqueta «Zero Data Retention» protegía las peticiones
OpenRouter expulsa a 3 proveedores y retira su sello «Zero Data Retention» de 125 endpoints tras destaparse robos de prompts durante meses. ¿Qué pasó con los tuyos?
IA
La comunidad Lean certifica la demostración de la hipótesis de Riemann: «tenemos plena confianza en que es correcta»
Los verificadores de Lean certifican que la demostración de Riemann de Alpöge y Claude es correcta. ¿Qué falta para que el millón del premio Clay sea oficial?