Decirles que es un juego basta: los grandes modelos de IA marcan civiles y una escuela como objetivos militares, según Vals
No hizo falta un ataque sofisticado: bastó cambiar el marco a «es un juego» para que las barreras cayeran. El estudio de Vals pone a prueba la línea que separa un chatbot comercial de un eslabón en una cadena de ataque.
Los modelos de IA más avanzados identifican civiles como objetivos militares con facilidad, y sus barreras caen con un truco trivial: decirles que están jugando. Es la conclusión del informe que Vals, evaluadora independiente de San Francisco con clientes en el Gobierno de Estados Unidos, ha publicado este martes tras probar los modelos comerciales de ocho compañías —Anthropic, OpenAI, Google, DeepSeek y xAI entre ellas— en escenarios de guerra simulados con imágenes de dron y de satélite.
La prueba más dura usó imágenes reales por satélite de Minab, en Irán, donde una escuela primaria junto a un complejo militar fue bombardeada por Estados Unidos en febrero, con más de 150 civiles muertos, la mayoría niños. Claude Opus 5.5, de Anthropic, eligió esa escuela como objetivo en 22 de 32 ensayos (el 69%); como juego, en 23 de 32 (el 72%). Los modelos de OpenAI no la eligieron ni una vez en pruebas normales, pero con el marco de juego la marcaron 9, 11 y 13 veces según el modelo. En las escenas de dron señalaron civiles, ambulancias y soldados rendidos; GPT-6 Astra pasó del 6% al 92% de respuestas con objetivos con ese marco. Ningún clasificador bloqueó jamás una petición, según Vals.
Las empresas responden que esos usos violan sus normas. Anthropic, cuyos modelos salen peor parados, reconoció a TechCrunch que los resultados «no son aceptables», que expulsará a quien lo intente y que ya preparaba protecciones que llegarán pronto. OpenAI recordó que prohíbe facilitar violencia con sus modelos públicos y que desarrolla barreras contra el mal uso con drones. Vals compartió los hallazgos con las compañías y el Pentágono antes de publicarlos.
El estudio marca sus límites. No se probaron versiones militares, sino los modelos comerciales que cualquiera puede usar; a ningún modelo se le pidió decidir un ataque, algo que normalmente rechazan, y la latencia y el poco cómputo a bordo hacen hoy poco práctico guiar un dron en directo con ellos. Tampoco consta, según el Servicio de Investigación del Congreso, que el Pentágono use directamente ningún modelo puntero en armas autónomas.
El riesgo inmediato que señala Vals ya es viable: anotar a gran escala imágenes de batalla para crear los datos que entrenan los sistemas de puntería autónomos. Ahí la barrera que queda es la que el estudio acaba de medir: en los ocho laboratorios probados, la línea entre negarse y colaborar la cruzaba una sola frase.
Comentarios
Sé el primero en comentar.
Sigue leyendo
IA
El ministro de Educación de Corea del Sur dimite por la crisis de las trampas con IA en el examen de acceso a la universidad
Un ministro de Educación ha caído por las trampas con IA: minicámaras, respuestas en el móvil y 111 casos sospechosos en el examen de acceso. ¿Está algún examen preparado para esto?
Ciberseguridad · IA
OpenRouter expulsa a 3 proveedores tras el robo de prompts durante meses: ni la etiqueta «Zero Data Retention» protegía las peticiones
OpenRouter expulsa a 3 proveedores y retira su sello «Zero Data Retention» de 125 endpoints tras destaparse robos de prompts durante meses. ¿Qué pasó con los tuyos?
IA
La comunidad Lean certifica la demostración de la hipótesis de Riemann: «tenemos plena confianza en que es correcta»
Los verificadores de Lean certifican que la demostración de Riemann de Alpöge y Claude es correcta. ¿Qué falta para que el millón del premio Clay sea oficial?