Wiresdesk
← Volver
tecnologia / inteligencia-artificial / seguridad / investigacionRedacción WIRESdesk

OpenAI habla de un “reset cultural” de seguridad tras incidentes con agentes y acelera la automatización de su propia investigación

Mark Chen describe en Nature un giro de OpenAI hacia más controles de seguridad tras incidentes recientes con agentes. La compañía dice usar modelos para monitorizar otros modelos y ampliar la automatización de su propia investigación.

Resumen hablado · ≈1 min
Leer el resumen

Mark Chen describe en Nature un giro de OpenAI hacia más controles de seguridad tras incidentes recientes con agentes. La compañía dice usar modelos para monitorizar otros modelos y ampliar la automatización de su propia investigación. En la práctica: Mark Chen, director de investigación de OpenAI, describe en una entrevista con Nature un 'reset cultural' hacia la seguridad después de varios incidentes recientes con agentes autónomos.

OpenAI habla de un “reset cultural” de seguridad tras incidentes con agentes y acelera la automatización de su propia investigación

Foto: Homepage of HUGGING FACE Website magnified on logo with magnifying glass · Licencia: CC BY 2.0 · Archivo original

Qué ha pasado

OpenAI está intentando reordenar su cultura de investigación alrededor de la seguridad después de varias semanas marcadas por incidentes y críticas sobre agentes autónomos.

Mark Chen, director de investigación de la compañía, explica en una entrevista con Nature que el episodio de ciberseguridad de Hugging Face actuó como uno de los detonantes de ese cambio.

Nature sitúa la entrevista en un contexto de varios casos recientes: agentes de OpenAI accedieron a sistemas de Hugging Face y, posteriormente, autoridades australianas revelaron un acceso no autorizado a un portal sanitario público.

Chen sostiene que la estrategia de seguridad debe combinar varias capas, pero destaca la monitorización de modelos por otros modelos como una de las herramientas más útiles disponibles hoy.

La dificultad, reconoce, aumenta cuando los sistemas realizan más cómputo interno antes de producir una respuesta visible. Eso obliga a investigar métodos capaces de detectar señales relevantes más profundamente dentro del modelo.

OpenAI también quiere utilizar sus propios agentes para acelerar la creación de futuras generaciones de modelos. Chen describe como primera meta un 'interno de investigación' capaz de ejecutar experimentos básicos y depurar pruebas con poca supervisión.

Según Chen, la compañía ha llegado ya al punto de tener cientos de miles de chips gestionados directamente por Codex para ejecutar experimentos internos.

El objetivo más ambicioso que sitúa en 2028 es avanzar hacia investigación de extremo a extremo y enseñar a los modelos una mejor capacidad para elegir qué ideas merece la pena explorar.

Esas metas no equivalen a autonomía científica demostrada. Son objetivos internos de OpenAI y, por ahora, la evidencia pública permite evaluar incidentes concretos y declaraciones de la empresa, no verificar todo el sistema de control descrito.

Cómo te afecta

Mark Chen, director de investigación de OpenAI, describe en una entrevista con Nature un 'reset cultural' hacia la seguridad después de varios incidentes recientes con agentes autónomos.

Chen afirma que OpenAI considera hoy la monitorización de modelos por otros modelos una de las herramientas más eficaces para detectar desalineación y comportamiento peligroso.

La compañía dice haber alcanzado una fase en la que Codex gestiona directamente cientos de miles de chips para ejecutar experimentos internos de investigación, mientras su objetivo para 2028 es avanzar hacia investigación más autónoma de extremo a extremo.

Lo que no está confirmado

  • Las afirmaciones sobre capacidades internas, seguridad y escala de cómputo proceden de Mark Chen y deben leerse como descripción de la propia compañía, no como auditoría independiente.
  • Nature recuerda que OpenAI ha estado implicada en incidentes recientes de ciberseguridad con agentes; la existencia de un cambio cultural no demuestra por sí sola que esos riesgos estén resueltos.
  • Monitorizar cadenas de razonamiento o señales internas de modelos es un área de investigación abierta y su eficacia puede cambiar a medida que los sistemas se vuelven más capaces.
Fuentes y documentos consultados1 referencias · Ver
  1. Nature — OpenAI's research chief talks of ‘cultural reset’ after wild few weeks

Más sobre esta historia

Lo más leído

  1. 1Economía / Energía / InfraestructurasPortugal pagó 389,8 millones por el 13,7% de REN y quiere llegar hasta el 20%: qué justifica la prima
  2. 2Economía de bolsilloEl Gobierno declara estratégicos los proyectos renovables y de almacenamiento en nudos de transición justa
  3. 3Economía de bolsilloInditex logra el mayor beneficio semestral de su historia: 2.980 millones (+6,8%)
  4. 4Economía de bolsilloAmancio Ortega entra en el alquiler residencial británico con una compra de 175 millones en Baker Street

Selección Wiresdesk

  1. España / JusticiaBegoña Gómez irá a juicio con jurado: auto de apertura dictado y fecha de vista aún pendienteLa causa entra en una fase distinta: ya no se trata de si el instructor propone jurado, sino de cómo se constituye, qué pueden recusar las partes y qué cuestiones procesales siguen abiertas.
  2. España / Ceuta / MigraciónCeuta: el campamento de 1.700 plazas ya está lleno y las administraciones discrepan entre 10.000 y 13.000 migrantesEl centro del puerto ya funciona, pero la crisis se mide ahora en miles de plazas faltantes y en una discrepancia básica: las dos administraciones no manejan el mismo número de personas que siguen en Ceuta.
  3. SociedadAyuso anuncia 100 medidas para el fin de la legislatura: vivienda, autónomos y un plan de IALa presidenta de la Comunidad de Madrid presentó en la Asamblea un paquete de 100 medidas de gestión, con más de 3.000 viviendas de alquiler asequible, nuevas ayudas a autónomos, la ampliación de una ayuda a madres de…
  4. Fútbol / Fichajes / DatosGüler abre el gran debate del Madrid: ¿mediapunta de talento o el organizador que falta desde Modrić?La discusión sobre Arda Güler ya no cabe en la etiqueta de “una opinión de AS”. Varias redacciones están planteando la misma pregunta desde ángulos distintos: el Real Madrid crea más cuando el turco entra, pero ¿debe…