GLM-5.2 se acerca a la frontera, pero la seguridad se queda rezagada

El GLM-5.2 de Z.ai está solo a meses de distancia de GPT-5.5 de OpenAI y Claude Opus 4.7 de Anthropic en capacidades cibernéticas y biológicas, según una nueva evaluación de la ONG de seguridad en IA SaferAI. Pero el mismo informe destaca una división más marcada en el comportamiento de seguridad: GLM-5.2 no rechazó ninguna de las tareas de ciberataque ofensivo ni de biología de doble uso que recibió a través de la API pública de Z.ai.

Los hallazgos llegan mientras los responsables de políticas debaten cómo gobernar sistemas cada vez más capaces, incluidos GPT-5.6 Sol de OpenAI y Mythos de Anthropic. También intensifican un argumento que ya rodea a los modelos de pesos abiertos: la capacidad puede estar extendiéndose más rápido que las salvaguardas exigibles.

La brecha entre capacidad y seguridad de GLM-5.2

SaferAI descubrió que Claude Opus 4.7 rechazó tareas de forma tan consistente que no pudo completar CyberGym, un punto de referencia de ciberseguridad. GLM-5.2, en contraste, completó las solicitudes de ciberataque ofensivo y de biología de doble uso incluidas en la evaluación sin rechazar ninguna de ellas.

Recomendado

La alianza de seguridad de IA de Nvidia lanza su primer grupo de trabajo

“La frontera de la capacidad no es la frontera del riesgo, y por eso tenemos que tener en cuenta también el estado de las medidas de mitigación para evaluar adecuadamente el riesgo,”

La evaluación se realizó a través de la API pública de Z.ai, donde la compañía podía aplicar controles. Esas protecciones no se trasladarían cuando los usuarios descarguen y ejecuten los pesos de GLM-5.2 en su propio hardware. Un usuario podría eliminar o modificar las salvaguardas, ajustar finamente el modelo o cambiar sus prompts del sistema.

Esa distinción es central en el debate sobre los modelos de pesos abiertos. Proveedores de modelos cerrados como OpenAI y Anthropic pueden usar clasificadores, entrenamiento para el rechazo, controles de API, restricciones selectivas de capacidad, evaluaciones previas al despliegue y evaluaciones de riesgo. Ninguno de esos controles puede imponerse de la misma manera una vez que los pesos del modelo están disponibles libremente.

Las defensas existentes de la industria tampoco son perfectas. Far.ai encontró cientos de jailbreaks universales —secuencias de ataque reutilizables que funcionan contra la mayoría de solicitudes dañinas— en modelos como Grok 4.5 de xAI y Gemini 3.1 Pro de Google DeepMind. Los ataques combinan técnicas como juegos de rol, suplantación de autoridad, falsificación del historial de conversación y prompts de seguimiento repetidos.

Filtrar los datos de entrenamiento no es una solución completa

Papadatos señaló el filtrado de datos de preentrenamiento como una posible mitigación. La técnica elimina material de ciberseguridad ofensiva de los datos utilizados para entrenar un modelo. Investigaciones citadas por SaferAI sugieren que un filtrado similar puede reducir el conocimiento biológico peligroso sin dañar sustancialmente el rendimiento general.

La ciberseguridad es más difícil. Un modelo entrenado para ser bueno en programación probablemente retendrá capacidades que pueden usarse para el hacking, lo que dificulta separar la habilidad de programación comercialmente valiosa de la asistencia cibernética ofensiva. Dado que la programación se ha convertido en la mayor fuente de ingresos de la IA, los desarrolladores tienen fuertes incentivos para seguir mejorándola.

Por ello, los laboratorios de frontera han explorado restricciones más limitadas. Por ejemplo, Opus 5 de Anthropic puede buscar vulnerabilidades en código fuente no compilado pero no en software compilado, según su ficha del sistema. La lógica declarada es que limitar el acceso a objetivos compilados hace que el uso ofensivo sea más difícil.

Otras opciones incluyen retener los pesos del modelo cuando se considera que un sistema es demasiado peligroso, publicar evaluaciones de riesgo y exigir pruebas de seguridad rigurosas antes del lanzamiento. SaferAI dijo que Z.ai no publicó un marco de seguridad, compromisos de pruebas previas al despliegue ni una evaluación de riesgos para GLM-5.2. TechCrunch informó que Z.ai no respondió cuando se le preguntó si había realizado evaluaciones de seguridad de frontera internas o por terceros.

El modelo regulatorio de China deja preguntas abiertas

Las autoridades chinas han reconocido cada vez más los riesgos de la IA avanzada. En la pasada World AI Conference, el presidente Xi Jinping destacó la importancia de los modelos de pesos abiertos, al tiempo que dijo que la IA debe permanecer bajo estricto control humano.

Graham Webster, que estudia la política de IA china en el Centro de Política Cibernética de Stanford, dijo que China tiene una extensa normativa sobre IA, pero que históricamente se ha centrado en contenido políticamente sensible, desinformación y estabilidad social más que en riesgos catastróficos como operaciones cibernéticas ofensivas o el uso indebido biológico.

“Los pensadores de IA en EE. UU. están, en general, más preocupados por esta idea catastrófica existencial que la comunidad china.”

Webster dijo que muchos investigadores de política en China creen que las empresas estadounidenses encontrarían primero un riesgo de frontera genuinamente novedoso. También argumentó que el sistema de internet de nombre real de China da a las autoridades la confianza de que las empresas y los usuarios pueden ser responsabilizados por cómo se usan estas tecnologías.

Ese modelo podría potencialmente extenderse al uso indebido técnico, dijo Webster: los mecanismos usados para hacer que los modelos rechacen solicitudes políticamente sensibles podrían adaptarse para bloquear ciberataques ofensivos o instrucciones de ingeniería biológica dañina. Pero las compañías chinas suelen coordinar con los reguladores en privado, lo que dificulta determinar qué pruebas tuvieron lugar antes del lanzamiento.

El argumento también ha cobrado urgencia después de que Hugging Face usara GLM-5.2 para defenderse de una brecha en OpenAI. Clem Delangue, CEO de Hugging Face, dijo que los mismos sistemas que ayudan a detener un ataque impulsado por IA podrían defenderse contra millones de ataques y descubrir vulnerabilidades antes de que los ciberdelincuentes las exploten.

“Los mismos sistemas que ayudaron a detener un ciberataque impulsado por IA ahora pueden ayudar a defenderse contra millones de ciberataques cada día, mientras nos ayudan a identificar y corregir vulnerabilidades antes de que los atacantes las exploten.”

Papadatos dijo que ese valor defensivo se exagera con frecuencia y no justifica hacer que capacidades peligrosas sean accesibles de forma generalizada. La conclusión del informe es difícil de evitar: el avance de GLM-5.2 hace que los sistemas de pesos abiertos sean más competitivos, pero su falta de comportamiento de rechazo —y la ausencia de un marco de seguridad publicado o una evaluación de riesgos— muestra por qué la paridad de capacidad no es lo mismo que un lanzamiento responsable.

El desequilibrio práctico es marcado: los atacantes pueden cambiar métodos de ransomware en una semana, mientras que un hospital no puede.