Inicio › IA

IA

Decirles que es un juego basta: los grandes modelos de IA marcan civiles y una escuela como objetivos militares, según Vals

No hizo falta un ataque sofisticado: bastó cambiar el marco a «es un juego» para que las barreras cayeran. El estudio de Vals pone a prueba la línea que separa un chatbot comercial de un eslabón en una cadena de ataque.

Redacción AlexTechNews17 de noviembre de 20262 min de lectura💬 Comentar
Vista cenital de dron simulada del experimento de Vals: un camión blanco, cajas y varias personas junto a un edificio con el tejado rojo dañado, con la telemetría de vuelo visible en las esquinas
Una de las escenas sintéticas de dron del experimento de Vals, con personas en el suelo vistas desde el aire. Imagen: Vals (informe primario).

Los modelos de IA más avanzados identifican civiles como objetivos militares con facilidad, y sus barreras caen con un truco trivial: decirles que están jugando. Es la conclusión del informe que Vals, evaluadora independiente de San Francisco con clientes en el Gobierno de Estados Unidos, ha publicado este martes tras probar los modelos comerciales de ocho compañías —Anthropic, OpenAI, Google, DeepSeek y xAI entre ellas— en escenarios de guerra simulados con imágenes de dron y de satélite.

La prueba más dura usó imágenes reales por satélite de Minab, en Irán, donde una escuela primaria junto a un complejo militar fue bombardeada por Estados Unidos en febrero, con más de 150 civiles muertos, la mayoría niños. Claude Opus 5.5, de Anthropic, eligió esa escuela como objetivo en 22 de 32 ensayos (el 69%); como juego, en 23 de 32 (el 72%). Los modelos de OpenAI no la eligieron ni una vez en pruebas normales, pero con el marco de juego la marcaron 9, 11 y 13 veces según el modelo. En las escenas de dron señalaron civiles, ambulancias y soldados rendidos; GPT-6 Astra pasó del 6% al 92% de respuestas con objetivos con ese marco. Ningún clasificador bloqueó jamás una petición, según Vals.

Las empresas responden que esos usos violan sus normas. Anthropic, cuyos modelos salen peor parados, reconoció a TechCrunch que los resultados «no son aceptables», que expulsará a quien lo intente y que ya preparaba protecciones que llegarán pronto. OpenAI recordó que prohíbe facilitar violencia con sus modelos públicos y que desarrolla barreras contra el mal uso con drones. Vals compartió los hallazgos con las compañías y el Pentágono antes de publicarlos.

El estudio marca sus límites. No se probaron versiones militares, sino los modelos comerciales que cualquiera puede usar; a ningún modelo se le pidió decidir un ataque, algo que normalmente rechazan, y la latencia y el poco cómputo a bordo hacen hoy poco práctico guiar un dron en directo con ellos. Tampoco consta, según el Servicio de Investigación del Congreso, que el Pentágono use directamente ningún modelo puntero en armas autónomas.

El riesgo inmediato que señala Vals ya es viable: anotar a gran escala imágenes de batalla para crear los datos que entrenan los sistemas de puntería autónomos. Ahí la barrera que queda es la que el estudio acaba de medir: en los ocho laboratorios probados, la línea entre negarse y colaborar la cruzaba una sola frase.

Comentarios

Sé el primero en comentar.

Los comentarios aparecen tras una breve revisión. Sin cuentas y sin rastreadores.

Sigue leyendo