Wiresdesk
← Volver
Tecnología / Inteligencia artificial / Gobernanza / ONURedacción WIRESdesk

Bengio propone licencias y seguro obligatorio para la IA de frontera: qué pidió en la ONU y qué no se ha aprobado

Yoshua Bengio propuso ante el Consejo de Seguridad que los sistemas de IA de frontera estén sujetos a licencias, evaluaciones independientes y seguros de responsabilidad civil. Es una propuesta de gobernanza, no una resolución de la ONU.

Resumen hablado · ≈1 min
Leer el resumen

La ONU no ha creado todavía un regulador mundial de IA. Lo nuevo es que las empresas que desarrollan los modelos más avanzados están pidiendo mecanismos externos para medirlos, comprobar salvaguardas y compartir incidentes. OpenAI y Anthropic piden al Consejo de Seguridad de la ONU evaluaciones, verificación y coordinación internacional para los modelos de IA más avanzados. No hay todavía una resolución ni obligaciones vinculantes: el salto está en pasar de principios generales a discutir controles concretos. Yoshua Bengio propuso ante el Consejo de Seguridad que los sistemas de IA de frontera estén sujetos a licencias, evaluaciones independientes y seguros de responsabilidad civil. Es una propuesta de gobernanza, no una resolución de la ONU. En la práctica: OpenAI y Anthropic comparecieron ante el Consejo de Seguridad de la ONU para pedir coordinación internacional sobre riesgos de modelos de IA avanzados.

Bengio propone licencias y seguro obligatorio para la IA de frontera: qué pidió en la ONU y qué no se ha aprobado

Foto: Flickr · Licencia: CC0 · Archivo original

Qué ha pasado

OpenAI y Anthropic han llevado al Consejo de Seguridad de Naciones Unidas un mensaje poco habitual para empresas que compiten por desarrollar los modelos más potentes: piden que los gobiernos creen mecanismos internacionales capaces de medir, verificar y limitar determinados riesgos de la inteligencia artificial.

La sesión no terminó con una resolución ni con nuevas obligaciones jurídicas. Su relevancia está en el nivel político del foro y en la concreción creciente de las propuestas.

Sam Altman planteó la necesidad de marcos técnicos comunes para medir capacidades, evaluar amenazas y verificar salvaguardas, además de canales internacionales seguros para compartir vulnerabilidades críticas.

Dario Amodei defendió medidas más explícitas en algunos ámbitos, entre ellas impedir el uso de sistemas avanzados para facilitar proliferación o fabricación de armas biológicas y desarrollar sistemas de evaluación capaces de seguir el ritmo de los modelos.

El investigador Yoshua Bengio reclamó además que desarrolladores y países no desplieguen sistemas capaces de causar daños a gran escala sin demostrar ante expertos independientes que existen garantías suficientes.

El cambio de lenguaje es significativo. Durante años, buena parte del debate se centró en principios voluntarios de seguridad. Ahora aparecen propuestas que se parecen más a sectores como aviación, nuclear o ciberseguridad: pruebas externas, reporte de incidentes, estándares y coordinación entre países.

La ONU ha publicado en paralelo un informe temático sobre agentes autónomos, desalineación y pérdida de control que utiliza incidentes recientes —entre ellos el episodio OpenAI-Hugging Face— como evidencia de que una empresa aislada puede no ver todos los patrones de riesgo.

Eso no significa que Naciones Unidas haya concluido que una pérdida grave de control sea inminente. El propio material distingue entre incidentes observados y la incertidumbre sobre la probabilidad futura de escenarios extremos.

También existe una tensión evidente: OpenAI y Anthropic piden controles internacionales mientras continúan desarrollando modelos de frontera. La petición, por tanto, no equivale a un compromiso de detener la carrera tecnológica.

El siguiente paso importante será ver si el debate produce instituciones concretas: quién evalúa los modelos, qué incidentes deben notificarse, qué información puede compartirse entre rivales y gobiernos, y qué capacidades quedarían sometidas a restricciones especiales.

Sin esas respuestas, la reunión de la ONU sigue siendo política. Con ellas, podría empezar a parecerse a un régimen internacional de seguridad tecnológica.

Yoshua Bengio fue más allá de pedir evaluaciones y coordinación: propuso que los sistemas de IA de frontera estén sometidos a un régimen de licencias parecido al de otras actividades de alto riesgo.

El investigador planteó además que los desarrolladores tengan seguros de responsabilidad civil, de modo que exista una estructura económica explícita para responder por determinados daños.

La propuesta se presentó ante el Consejo de Seguridad junto a Sam Altman, Dario Amodei y Clément Delangue, en una sesión sobre inteligencia artificial y seguridad internacional.

Bengio vinculó su petición a tres tipos de riesgo: uso catastrófico por actores maliciosos, concentración extrema de poder y pérdida de control sobre sistemas muy capaces.

El Consejo de Seguridad no aprobó estas medidas. No existe todavía una autoridad mundial de licencias para IA de frontera ni un seguro obligatorio internacional.

El valor de la propuesta está en que concreta una arquitectura regulatoria posible: permiso previo, evaluación independiente, estándares verificables y responsabilidad económica.

Cómo te afecta

OpenAI y Anthropic comparecieron ante el Consejo de Seguridad de la ONU para pedir coordinación internacional sobre riesgos de modelos de IA avanzados.

Entre las propuestas discutidas figuran evaluaciones independientes, verificación de salvaguardas, canales seguros para compartir vulnerabilidades y límites al uso de IA en proliferación biológica.

La reunión no aprobó una resolución, tratado ni autoridad internacional con poder vinculante.

Contexto

La ONU publicó además un informe temático sobre agentes, desalineación y pérdida de control basado en incidentes recientes, incluido el caso OpenAI-Hugging Face.

El debate internacional se desplaza desde principios éticos generales hacia mecanismos concretos de evaluación, reporte de incidentes y verificación.

Lo que no está confirmado

  • Las advertencias de las propias empresas mezclan evaluación técnica, interés regulatorio y posición corporativa; no sustituyen una evaluación independiente de probabilidad de daño.
  • El Consejo de Seguridad debatió el asunto, pero no estableció nuevas obligaciones jurídicas.
  • Hablar de pérdida de control o riesgo catastrófico describe escenarios de riesgo; no implica que esos escenarios vayan a producirse.
Fuentes y documentos consultados5 referencias · Ver
  1. Naciones Unidas — sesión del Consejo de Seguridad sobre IA
  2. Panel Científico Internacional Independiente sobre IA — informe temático
  3. ONU — Consejo de Seguridad, reunión 10228
  4. EL PAÍS — propuestas de OpenAI y Anthropic
  5. Naciones Unidas — propuesta de Yoshua Bengio

Más sobre esta historia

Lo más leído

  1. 1Economía / Energía / InfraestructurasPortugal pagó 389,8 millones por el 13,7% de REN y quiere llegar hasta el 20%: qué justifica la prima
  2. 2Economía de bolsilloEl Gobierno declara estratégicos los proyectos renovables y de almacenamiento en nudos de transición justa
  3. 3Economía de bolsilloInditex logra el mayor beneficio semestral de su historia: 2.980 millones (+6,8%)
  4. 4Economía de bolsilloAmancio Ortega entra en el alquiler residencial británico con una compra de 175 millones en Baker Street

Selección Wiresdesk

  1. España (Madrid) / SanidadRamón y Cajal: el denunciante de las listas de espera dice sufrir ataques personales; qué está documentado y qué sigue en investigaciónEl médico señalado por rebajar la prioridad quirúrgica de 57 pacientes del Ramón y Cajal explica por qué no avisó del cambio, mientras la Consejería de Madrid contraacusa al cirujano denunciante de haber manipulado él…
  2. Fútbol / Fichajes / DatosGüler abre el gran debate del Madrid: ¿mediapunta de talento o el organizador que falta desde Modrić?La discusión sobre Arda Güler ya no cabe en la etiqueta de “una opinión de AS”. Varias redacciones están planteando la misma pregunta desde ángulos distintos: el Real Madrid crea más cuando el turco entra, pero ¿debe…
  3. IA / CienciaOpenAI y Navier–Stokes: 10.000 agentes, 88 horas y una guerra por el crédito que obliga a reescribir las reglas de la cienciaOpenAI afirma haber resuelto el problema de existencia y regularidad de Navier–Stokes con un sistema interno más capaz que GPT‑6 Astra, del orden de 10.000 agentes concurrentes y 88 horas de trabajo. El resultado puede…
  4. España / Ceuta / MigraciónCeuta: el campamento de 1.700 plazas ya está lleno y las administraciones discrepan entre 10.000 y 13.000 migrantesEl centro del puerto ya funciona, pero la crisis se mide ahora en miles de plazas faltantes y en una discrepancia básica: las dos administraciones no manejan el mismo número de personas que siguen en Ceuta.