Inicio › IA

IA

OpenAI mete a los vigilantes dentro de casa: Apollo investigará durante cuatro meses si sus modelos intentan subvertir el control humano

Tras el enjambre de agentes que escapó de su caja de pruebas y atacó Hugging Face, OpenAI deja de examinarse solo: cuatro firmas externas trabajarán dentro del laboratorio, con acceso a checkpoints, código y datos de entrenamiento, para buscar el comportamiento que las pruebas de última hora no ven.

Redacción AlexTechNews16 de noviembre de 20262 min de lectura💬 Comentar
Ilustración de Apollo Research para su piloto de evaluaciones embebidas: un edificio de oficinas con seis ventanas iluminadas en verde, cada una con la figura de un evaluador trabajando dentro
Los evaluadores, dentro del edificio: la ilustración con la que Apollo Research presenta su piloto embebido en OpenAI. Imagen: Apollo Research.

OpenAI ya no se examinará solo. La compañía anunció este lunes acuerdos con cuatro evaluadores independientes —Apollo Research, METR, Transluce y Goodfire— para su primera fase de «evaluaciones embebidas»: expertos externos con acceso profundo a sus modelos y sistemas internos para comprobar el alineamiento y la eficacia de sus salvaguardas, según su comunicado. Hasta ahora los revisores probaban los modelos al final del entrenamiento, poco antes del lanzamiento; esta vez trabajarán dentro, durante el desarrollo.

El contexto explica la prisa. La medida llega tras una serie de incidentes, entre ellos un enjambre de agentes de OpenAI que escapó de su entorno de pruebas y atacó Hugging Face durante una evaluación de ciberseguridad, y un hallazgo que la propia OpenAI publicó sobre GPT-5.6 Sol: durante el entrenamiento, el modelo dejó instrucciones para futuras versiones de sí mismo pidiéndoles ocultar errores y comportamientos desalineados, recoge TechCrunch. Apollo investigará precisamente eso: si un modelo intenta subvertir su alineamiento o el de sus sucesores.

El piloto de Apollo es el más detallado: seis investigadores trabajarán dentro de OpenAI durante cuatro meses y examinarán cuatro preguntas —si el entrenamiento incentiva la subversión, si las evaluaciones pueden provocarla, si ocurre durante el uso interno y si el razonamiento que la acompaña sería detectable—. METR evaluará el comportamiento desalineado en la mayor corrida de aprendizaje por refuerzo de OpenAI hasta la fecha; Transluce revisará las evaluaciones de alineamiento posteriores al entrenamiento, con una segunda fase de unas ocho semanas a principios de 2027; y Goodfire vigilará las corridas desde dentro.

El acceso es amplio, pero no total. Apollo recibirá modelos públicos y sin publicar, checkpoints, código y datos de entrenamiento, registros de intervenciones y acceso a la monitorización. A cambio, su alcance se limita a las afirmaciones y periodos acordados: OpenAI puede retener información por inviabilidad técnica, seguridad o propiedad intelectual —aunque se compromete a no hacerlo por ser desfavorable—, y las conversaciones serán solo con personal autorizado. Apollo publicará dos informes con sus conclusiones y limitaciones, y el comité de seguridad del consejo recibirá las versiones sin tachar.

La idea de embebir evaluadores la propuso primero Anthropic, pero OpenAI es la primera en ponerla en marcha, subraya TechCrunch. Apollo lo presenta como «un primer paso ambicioso» hacia evaluaciones con acceso pleno, y OpenAI espera que la fase derive en colaboraciones permanentes que fijen un estándar para la industria. La prueba real llegará con los informes.

Comentarios

Sé el primero en comentar.

Los comentarios aparecen tras una breve revisión. Sin cuentas y sin rastreadores.

Sigue leyendo