← Volver
Robótica e IA

De MIRI al 10% de probabilidad de extinción: veinte años de avisos sobre el riesgo existencial de la inteligencia artificial

Desde la fundación en 2000 del instituto que hoy se llama MIRI hasta la carta de 2023 firmada por Hinton, Amodei, Hassabis y Altman advirtiendo de riesgo de extinción por IA, el aviso sobre riesgos catastróficos de la inteligencia artificial ha ido ganando firmantes de perfil cada vez más central en la industria. El jefe de alineamiento de Anthropic, Evan Hubinger, ha llegado a citar una probabilidad del 10% de que la IA acabe con la humanidad.

De MIRI al 10% de probabilidad de extinción: veinte años de avisos sobre el riesgo existencial de la inteligencia artificial
Imagen editorial asociada a la información.

Qué ha pasado

El origen de esta corriente de pensamiento suele situarse en el año **2000**, con la fundación de lo que hoy se conoce como **MIRI (Machine Intelligence Research Institute)**, que reorientó su actividad hacia el riesgo existencial de la IA en torno a 2005. Su preocupación central era que un sistema de inteligencia artificial pudiera superar la capacidad humana de forma descontrolada si no se resolvían antes los problemas de alineamiento entre los objetivos del sistema y los de sus creadores.

En **2009**, el investigador **Eliezer Yudkowsky** contribuyó a fundar la comunidad online **LessWrong**, que combinaba ideas del transhumanismo y del altruismo eficaz con debates sobre el riesgo de una 'singularidad' tecnológica. Durante años, estas ideas circularon en círculos relativamente reducidos y especializados, lejos del debate público general sobre tecnología.

El salto a la visibilidad amplia llegó en **2015**, cuando un manifiesto impulsado por el Future of Life Institute reunió firmas de perfiles como Elon Musk, Demis Hassabis, Geoffrey Hinton, Yann LeCun, Ilya Sutskever, Steve Wozniak y Stephen Hawking, con el mensaje de que los sistemas de IA debían hacer lo que sus diseñadores pretendían que hicieran. Musk donó ese mismo año diez millones de dólares para financiar investigación en seguridad de IA.

Lee también: El debate sobre seguridad de la IA enfrenta controles externos y carrera competitivaEEUU propone a China una línea de aviso para incidentes graves de IA: es un mecanismo de crisis, no un acuerdo tecnológico

Con la irrupción pública de ChatGPT, el ritmo de advertencias se aceleró notablemente. En **marzo de 2023**, una carta abierta impulsada de nuevo por el Future of Life Institute, firmada entre otros por Wozniak, Musk, Jaan Tallinn y Max Tegmark, pidió una pausa de seis meses en el entrenamiento de nuevos modelos de gran tamaño. Dos meses después, en mayo de 2023, una declaración del Center for AI Safety introdujo una frase que se repetiría mucho: mitigar el riesgo de extinción por IA debía tratarse como una prioridad global al mismo nivel que las pandemias o la guerra nuclear, con firmas de Geoffrey Hinton, Dario Amodei, Demis Hassabis y Sam Altman, todos ellos responsables de laboratorios de IA de primer nivel.

La escalada del discurso ha continuado en los últimos años: en 2025, Yudkowsky publicó junto a Nate Soares el libro *If Anyone Builds It, Everyone Dies*, con un planteamiento abiertamente alarmista. Más recientemente, Evan Hubinger, responsable de alineamiento en Anthropic y anteriormente vinculado a MIRI y al Center for AI Safety, ha llegado a citar una probabilidad del **10%** de que la inteligencia artificial termine provocando la extinción humana, una cifra que, viniendo de un responsable interno de una de las principales empresas de IA, tiene un peso distinto al de un manifiesto firmado por observadores externos.

El histórico que importa

El debate sobre riesgo existencial de la IA se ha entrelazado históricamente con comunidades de pensamiento como el transhumanismo y el altruismo eficaz, antes de convertirse en un tema de debate corporativo y regulatorio.

Cómo te afecta

El cambio de perfil de los firmantes, de investigadores externos a responsables internos de las principales empresas de IA, ha influido en cómo gobiernos y reguladores valoran la necesidad de establecer marcos de seguridad para el desarrollo de modelos avanzados.

Contexto

Las cartas de 2023 coincidieron con el rápido crecimiento de la adopción pública de modelos de lenguaje como ChatGPT.

Evan Hubinger ocupa actualmente un cargo de responsabilidad en seguridad y alineamiento dentro de Anthropic, una de las principales empresas de desarrollo de modelos de IA.

Lo que no está confirmado

  • Las estimaciones de probabilidad de riesgo existencial citadas por distintos investigadores son subjetivas y no proceden de un modelo estadístico consensuado.
  • La firma de una carta o manifiesto no implica necesariamente que todos los firmantes compartan el mismo nivel de preocupación ni las mismas soluciones propuestas.

Fuentes: Xataka — veinte años anticipando el apocalipsis de la IA

Sigue este wire

Lo más leído

  1. 1Economía / Energía / InfraestructurasPortugal pagó 389,8 millones por el 13,7% de REN y quiere llegar hasta el 20%: qué justifica la prima
  2. 2Economía de bolsilloEl Gobierno declara estratégicos los proyectos renovables y de almacenamiento en nudos de transición justa
  3. 3Economía de bolsilloInditex logra el mayor beneficio semestral de su historia: 2.980 millones (+6,8%)
  4. 4Economía de bolsilloAmancio Ortega entra en el alquiler residencial británico con una compra de 175 millones en Baker Street

Selección Wiresdesk

  1. Clima / SociedadEl temporal del Mediterráneo pasa de los vídeos a las consecuencias: clases suspendidas, inundaciones y transporte afectadoLa historia ya no es solo una colección de imágenes de granizo y calles anegadas. El episodio ha empezado a afectar decisiones concretas: colegios cerrados, líneas ferroviarias interrumpidas, servicios de metro…
  2. Mundo / Geopolítica / Energía¿Cuántas guerras de Oriente Medio fueron realmente por petróleo? La respuesta histórica es más incómoda que un sí o un noDecir que 'las guerras de Oriente Medio son por petróleo' es demasiado simple; decir que el petróleo es secundario también lo es. Los documentos históricos muestran algo más interesante: en cada conflicto la energía…
  3. empresasAena prevé 433 millones de pasajeros anuales en 2041, 100 millones más que ahoraEl tercer Documento de Regulación Aeroportuaria, aprobado el 15 de septiembre, fija una inversión récord de casi 13.000 millones de euros hasta 2031 y anticipa que el tráfico aéreo en España seguirá creciendo con fuerza…
  4. Fútbol / Real Madrid / Investigación táctica¿Puede jugar el Madrid con todos? El 3-3-3-1 que en realidad sería un 3-2-5… y por qué Valverde de lateral puede ser la llaveLa pregunta no es si caben once nombres en una alineación, sino si caben en todas las fases del partido. WIRESdesk prueba dos estructuras para juntar a Cucurella, Valverde, Bernardo, Arda, Bellingham, Diomande, Vinicius…