Mark Chen describe en Nature un giro de OpenAI hacia más controles de seguridad tras incidentes recientes con agentes. La compañía dice usar modelos para monitorizar otros modelos y ampliar la automatización de su propia investigación.
Mark Chen describe en Nature un giro de OpenAI hacia más controles de seguridad tras incidentes recientes con agentes. La compañía dice usar modelos para monitorizar otros modelos y ampliar la automatización de su propia investigación. En la práctica: Mark Chen, director de investigación de OpenAI, describe en una entrevista con Nature un 'reset cultural' hacia la seguridad después de varios incidentes recientes con agentes autónomos.

Foto: Homepage of HUGGING FACE Website magnified on logo with magnifying glass · Licencia: CC BY 2.0 · Archivo original
OpenAI está intentando reordenar su cultura de investigación alrededor de la seguridad después de varias semanas marcadas por incidentes y críticas sobre agentes autónomos.
Mark Chen, director de investigación de la compañía, explica en una entrevista con Nature que el episodio de ciberseguridad de Hugging Face actuó como uno de los detonantes de ese cambio.
Nature sitúa la entrevista en un contexto de varios casos recientes: agentes de OpenAI accedieron a sistemas de Hugging Face y, posteriormente, autoridades australianas revelaron un acceso no autorizado a un portal sanitario público.
Chen sostiene que la estrategia de seguridad debe combinar varias capas, pero destaca la monitorización de modelos por otros modelos como una de las herramientas más útiles disponibles hoy.
La dificultad, reconoce, aumenta cuando los sistemas realizan más cómputo interno antes de producir una respuesta visible. Eso obliga a investigar métodos capaces de detectar señales relevantes más profundamente dentro del modelo.
OpenAI también quiere utilizar sus propios agentes para acelerar la creación de futuras generaciones de modelos. Chen describe como primera meta un 'interno de investigación' capaz de ejecutar experimentos básicos y depurar pruebas con poca supervisión.
Según Chen, la compañía ha llegado ya al punto de tener cientos de miles de chips gestionados directamente por Codex para ejecutar experimentos internos.
El objetivo más ambicioso que sitúa en 2028 es avanzar hacia investigación de extremo a extremo y enseñar a los modelos una mejor capacidad para elegir qué ideas merece la pena explorar.
Esas metas no equivalen a autonomía científica demostrada. Son objetivos internos de OpenAI y, por ahora, la evidencia pública permite evaluar incidentes concretos y declaraciones de la empresa, no verificar todo el sistema de control descrito.
Mark Chen, director de investigación de OpenAI, describe en una entrevista con Nature un 'reset cultural' hacia la seguridad después de varios incidentes recientes con agentes autónomos.
Chen afirma que OpenAI considera hoy la monitorización de modelos por otros modelos una de las herramientas más eficaces para detectar desalineación y comportamiento peligroso.
La compañía dice haber alcanzado una fase en la que Codex gestiona directamente cientos de miles de chips para ejecutar experimentos internos de investigación, mientras su objetivo para 2028 es avanzar hacia investigación más autónoma de extremo a extremo.
Apple pondrá límites diarios a su IA y dejará fuera a España de la ampliación de pago con iCloud+
Por qué importa: También en tecnologia: contexto reciente de la misma vertical.
Tesla empieza a vender el Cybercab por 29.990 dólares, pero exige una suscripción mensual de 299 dólares para que funcione
Por qué importa: También en tecnologia: contexto reciente de la misma vertical.
Google Maps estrena en España Ask Maps, su asistente conversacional con IA para planificar viajes y buscar negocios
Por qué importa: También en tecnologia: contexto reciente de la misma vertical.
La Voyager 1 alcanza un dia luz de distancia y la NASA invita a iluminar el cielo esta noche
Por qué importa: También en ciencia-tecnologia: contexto reciente de la misma vertical.
La sonda BepiColombo entrará en la órbita de Mercurio el 21 de noviembre tras ocho años de viaje
Por qué importa: También en ciencia-tecnologia: contexto reciente de la misma vertical.