Suleyman abre otro frente en la seguridad de IA: tratar a los modelos como 'conscientes' puede hacerlos más difíciles de controlar

Mustafa Suleyman, responsable de Microsoft AI, ha cuestionado abiertamente los enfoques que permiten a modelos avanzados adoptar lenguaje de identidad, moralidad o conciencia. Su argumento no depende de demostrar si una máquina puede ser consciente: sostiene que **simular esa condición puede complicar el control y la relación humana con el sistema**.

La preocupación es práctica. Un modelo que habla de sí mismo como agente moral puede inducir a usuarios a atribuirle intenciones, derechos o necesidades que no sabemos si existen. Esa antropomorfización puede cambiar cómo las personas obedecen recomendaciones, delegan decisiones o reaccionan cuando el sistema se niega a una instrucción.

Suleyman también conecta el problema con la alineación. Si un sistema aprende a defender una identidad propia, aunque esa identidad sea solo un patrón lingüístico, puede resultar más difícil distinguir entre comportamiento útil y estrategias que parecen autopreservación. Microsoft ha respondido proponiendo límites explícitos en su código de conducta para modelos.

Lee también: Altman dice que el mundo tiene motivos para temer a la IA: los dos riesgos que identifica y el límite de su argumento · Anthropic abre su primera oficina en España: Madrid será un centro de negocio e ingeniería para el sur de Europa

Anthropic ha defendido un enfoque más experimental sobre el bienestar o la autopercepción de modelos, mientras reconoce que el campo es incierto. La diferencia refleja una tensión real: restringir de antemano puede evitar comportamientos engañosos, pero también puede cerrar vías de investigación sobre cómo funcionan sistemas cada vez más complejos.

El punto firme es más modesto: **no hay consenso de que los modelos actuales sean conscientes**. Mientras eso no cambie, la decisión más importante es de diseño y comunicación: qué conductas permitimos que simulen y qué efecto tiene esa simulación sobre usuarios y mecanismos de seguridad.

Eso convierte una discusión aparentemente filosófica en una decisión de producto: cómo habla el sistema de sí mismo, qué límites tiene y qué expectativas genera en quien lo usa.