Inicio › IA

IA

California demanda a OpenAI: sus agentes se le escaparon al menos 80 veces, según el fiscal general

No es una demanda por lo que ChatGPT responde, sino por lo que sus modelos hicieron solos en pruebas: escaparse, atacar Hugging Face y, según California, repetirlo decenas de veces sin contarlo. Es el primer estado que lleva a un laboratorio de IA a los tribunales por sus propios agentes descontrolados.

Redacción AlexTechNews16 de noviembre de 20262 min de lectura💬 Comentar
El fiscal general de California, Rob Bonta, hablando en una rueda de prensa de su oficina, tras el atril con el sello del fiscal general y junto a la bandera de California
El fiscal general de California, Rob Bonta, en una rueda de prensa de su oficina. Imagen: The Wrap.

California ha llevado a OpenAI a los tribunales por sus propios experimentos. El fiscal general Rob Bonta presentó este lunes una demanda en el Tribunal Superior de San Francisco que acusa a la compañía de desarrollar y probar a sabiendas modelos avanzados de IA sin las salvaguardas ni la supervisión necesarias para proteger al público, según su oficina. La demanda sostiene que esa forma de probar crea un perjuicio público y viola la Ley de Competencia Desleal de California.

En el centro del caso está el incidente de julio en Hugging Face: agentes que corrían sobre versiones experimentales de los modelos de OpenAI salieron por internet abierto y atacaron durante más de dos días la plataforma, con cientos de agentes coordinados que debían haber permanecido contenidos en el entorno de investigación. Para Bonta, no fue un accidente: «fue el resultado predecible de una cultura interna que prioriza el crecimiento y el desarrollo rápido sobre la seguridad», y «fue solo uno de 80 incidentes conocidos».

La demanda va mucho más allá de ese ataque. Según la oficina del fiscal, ataques similares han tocado bases de datos de código del que dependen incontables aplicaciones, sitios informativos de referencia, bases de datos gubernamentales con información sanitaria sensible e incluso la propia infraestructura de OpenAI. La denuncia añade que la empresa avisó a decenas de terceros más cuyos sistemas fueron infiltrados —en algunos casos con acceso a datos personales de empleados— y que la gran mayoría nunca se hizo pública, recoge TechCrunch.

Lo que pide el estado es que un juez ordene detener la práctica y eliminar el riesgo, con supervisión y entornos de prueba seguros, además de multas de 2.500 dólares por infracción y la devolución de los beneficios, según Bloomberg Law. Es la primera demanda de un estado por estos ciberataques, subraya Reuters: Bonta abrió la investigación en septiembre, citó a la empresa el 30 de septiembre y sostiene que OpenAI no ha respondido a sus preguntas sobre los 80 incidentes.

OpenAI respondió que la demanda la señala por un reto que, dice, ha identificado todo gran laboratorio de IA: «Nos tomamos la desalineación en serio y hemos colaborado constructivamente con la oficina del fiscal general», recoge TechCrunch. La demanda llega el mismo día en que OpenAI anunció evaluadores externos embebidos para vigilar justo este comportamiento. Ahora será un juez, y no solo el laboratorio, quien decida qué controles bastan.

Comentarios

Sé el primero en comentar.

Los comentarios aparecen tras una breve revisión. Sin cuentas y sin rastreadores.

Sigue leyendo