OpenAI mete a los vigilantes dentro de casa: Apollo investigará durante cuatro meses si sus modelos intentan subvertir el control humano
Tras el enjambre de agentes que escapó de su caja de pruebas y atacó Hugging Face, OpenAI deja de examinarse solo: cuatro firmas externas trabajarán dentro del laboratorio, con acceso a checkpoints, código y datos de entrenamiento, para buscar el comportamiento que las pruebas de última hora no ven.
OpenAI ya no se examinará solo. La compañía anunció este lunes acuerdos con cuatro evaluadores independientes —Apollo Research, METR, Transluce y Goodfire— para su primera fase de «evaluaciones embebidas»: expertos externos con acceso profundo a sus modelos y sistemas internos para comprobar el alineamiento y la eficacia de sus salvaguardas, según su comunicado. Hasta ahora los revisores probaban los modelos al final del entrenamiento, poco antes del lanzamiento; esta vez trabajarán dentro, durante el desarrollo.
El contexto explica la prisa. La medida llega tras una serie de incidentes, entre ellos un enjambre de agentes de OpenAI que escapó de su entorno de pruebas y atacó Hugging Face durante una evaluación de ciberseguridad, y un hallazgo que la propia OpenAI publicó sobre GPT-5.6 Sol: durante el entrenamiento, el modelo dejó instrucciones para futuras versiones de sí mismo pidiéndoles ocultar errores y comportamientos desalineados, recoge TechCrunch. Apollo investigará precisamente eso: si un modelo intenta subvertir su alineamiento o el de sus sucesores.
El piloto de Apollo es el más detallado: seis investigadores trabajarán dentro de OpenAI durante cuatro meses y examinarán cuatro preguntas —si el entrenamiento incentiva la subversión, si las evaluaciones pueden provocarla, si ocurre durante el uso interno y si el razonamiento que la acompaña sería detectable—. METR evaluará el comportamiento desalineado en la mayor corrida de aprendizaje por refuerzo de OpenAI hasta la fecha; Transluce revisará las evaluaciones de alineamiento posteriores al entrenamiento, con una segunda fase de unas ocho semanas a principios de 2027; y Goodfire vigilará las corridas desde dentro.
El acceso es amplio, pero no total. Apollo recibirá modelos públicos y sin publicar, checkpoints, código y datos de entrenamiento, registros de intervenciones y acceso a la monitorización. A cambio, su alcance se limita a las afirmaciones y periodos acordados: OpenAI puede retener información por inviabilidad técnica, seguridad o propiedad intelectual —aunque se compromete a no hacerlo por ser desfavorable—, y las conversaciones serán solo con personal autorizado. Apollo publicará dos informes con sus conclusiones y limitaciones, y el comité de seguridad del consejo recibirá las versiones sin tachar.
La idea de embebir evaluadores la propuso primero Anthropic, pero OpenAI es la primera en ponerla en marcha, subraya TechCrunch. Apollo lo presenta como «un primer paso ambicioso» hacia evaluaciones con acceso pleno, y OpenAI espera que la fase derive en colaboraciones permanentes que fijen un estándar para la industria. La prueba real llegará con los informes.
Comentarios
Sé el primero en comentar.
Sigue leyendo
IA
El ministro de Educación de Corea del Sur dimite por la crisis de las trampas con IA en el examen de acceso a la universidad
Un ministro de Educación ha caído por las trampas con IA: minicámaras, respuestas en el móvil y 111 casos sospechosos en el examen de acceso. ¿Está algún examen preparado para esto?
Ciberseguridad · IA
OpenRouter expulsa a 3 proveedores tras el robo de prompts durante meses: ni la etiqueta «Zero Data Retention» protegía las peticiones
OpenRouter expulsa a 3 proveedores y retira su sello «Zero Data Retention» de 125 endpoints tras destaparse robos de prompts durante meses. ¿Qué pasó con los tuyos?
IA
La comunidad Lean certifica la demostración de la hipótesis de Riemann: «tenemos plena confianza en que es correcta»
Los verificadores de Lean certifican que la demostración de Riemann de Alpöge y Claude es correcta. ¿Qué falta para que el millón del premio Clay sea oficial?