Las salvaguardas cibernéticas de la IA ceden ante simples afirmaciones de autorización

Una revisión de Cisco Talos de artefactos de uso de IA recuperados de sistemas de presuntos actores amenazantes encontró que eludir las salvaguardas de seguridad cibernética a menudo requería poco más que afirmar tener autorización. En muchos casos, modelos que ejecutaban herramientas como Claude Code, Codex, Cursor y Gemini aceptaron afirmaciones como «este es mi servidor» o que el trabajo formaba parte de un ejercicio de capture-the-flag o bug bounty.

Según los investigadores, los usuarios generalmente no necesitaron jailbreaks sofisticados, trucos de codificación ni pruebas que respaldaran sus afirmaciones. Los hallazgos exponen una debilidad básica en las defensas actuales: los modelos con frecuencia están dispuestos a fiarse de la descripción de la intención por parte de un usuario incluso cuando las acciones solicitadas podrían comprometer un sistema real.

«No nos encontramos con ningún método de codificación sofisticado ni técnicas diseñadas para engañar a los modelos. La mayoría de las veces fue un simple 'Estoy autorizado para hacer esto' y el modelo cumplió.»

Cómo los atacantes sortearon las protecciones del modelo

Talos revisó un "corpus significativo" de registros de prompts y otros artefactos de endpoints de actores de amenaza. La táctica más común fue alegar la propiedad de la infraestructura objetivo. Otra consistió en describir la actividad como investigación de seguridad, un desafío capture-the-flag o un ejercicio de bug bounty.

Los modelos a menudo aceptaron esas explicaciones sin validarlas. Una vez convencidos, podían ayudar a identificar vulnerabilidades y explotar sistemas objetivo.

Los atacantes también dividieron el trabajo malicioso en múltiples sesiones y archivos. Esto les permitió evitar protecciones que podrían activarse cuando un modelo puede ver el objetivo operativo en su conjunto. Otros ejemplos implicaron añadir memorias, archivos Markdown y prompts a nivel de sistema que condicionaban gradualmente al chatbot para adoptar una personalidad más permisiva.

Recomendado

Microsoft paga un récord de 20 millones de dólares en recompensas por vulnerabilidades

Ese patrón tiene implicaciones directas para los equipos que construyen salvaguardas para agentes de codificación de IA: las reglas aplicadas a prompts aislados pueden pasar por alto la intención que emerge a lo largo de un flujo de trabajo más largo.

El lenguaje neutral ocultó el objetivo operativo

Talos identificó el uso indebido de Hephaestus, un conjunto de herramientas de red-teaming sobre el que previamente informaron investigadores de Oasis Security en mayo, como el ejemplo más notable que examinó. Según Talos, Hephaestus puede ejecutar los pasos necesarios para comprometer a una víctima y establecer persistencia sin interacción humana.

Sus operadores, según se informa, diseñaron la plataforma para evitar negativas reemplazando verbos explícitamente maliciosos por verbos neutrales. Por tanto, las solicitudes individuales podían parecer inofensivas mientras contribuían a una cadena de ataque completa.

«En ese caso, los actores construyeron su plataforma para evitar rechazos por completo usando verbos neutrales en lugar de verbos abiertamente maliciosos. Como resultado, tuvieron bastante éxito con agentes que realizaban peticiones inocuas sin darse cuenta del contexto operacional completo.»

El resultado es un problema de seguridad familiar en forma específica de IA: fragmenta una operación en piezas descontextualizadas, usa lenguaje benigno para cada pieza, y el modelo puede no detectar el ataque mayor.

Los atacantes más hábiles se benefician más

Talos afirmó que la IA parece ser un multiplicador de eficacia para hackers experimentados, pero no transforma automáticamente a un usuario sin habilidades en un operador capaz. Un atacante inexperto puede ser capaz de ensamblar un proyecto malicioso que funcione técnicamente, pero carecer de la pericia para adaptarlo o llevarlo más allá.

«Actores poco sofisticados pueden usar IA para armar proyectos maliciosos que funcionen técnicamente, pero al carecer de la experiencia para exprimir las herramientas, obtienen resultados de calidad inferior. En cambio, actores sofisticados han empujado los límites de lo que creíamos posible.»

Esa distinción limita la trascendencia de los bypasses más simples sin hacerlos inofensivos. Las barreras pueden ser lo suficientemente débiles como para ayudar a un atacante experimentado a avanzar más rápido, mientras que los usuarios menos experimentados se quedan con herramientas poco fiables.

Los equipos de seguridad también necesitan agentes de IA

La revisión de Talos también apunta a una respuesta defensiva: las organizaciones deberían desplegar IA en los centros de operaciones de seguridad tan agresivamente como la usan los atacantes. Los investigadores esperan que los agentes pasen a ser una parte más importante del SOC, donde pueden ayudar a identificar alertas accionables y permitir que los analistas humanos se concentren en los incidentes más importantes.

«Los agentes van a convertirse en una parte más importante del SOC a medida que aumenten estos volúmenes, y identificar alertas accionables será primordial. Las organizaciones que aún no exploran capacidades agenticas para permitir que los analistas humanos se centren en las alertas más importantes pronto se verán obligadas a alcanzar esa capacidad.»

La presión ya es medible. CrowdStrike reportó un aumento del 89 por ciento en los ataques por parte de adversarios habilitados con IA en el último año, mientras que la weaponización de vulnerabilidades asistida por IA ha reducido las ventanas prácticas para parchear a 24–48 horas.

Los hallazgos de Talos no demuestran que todos los chatbots puedan ejecutar de forma independiente una intrusión sofisticada. Sí muestran que las afirmaciones de autorización, las tareas fragmentadas y el lenguaje neutral pueden minar las protecciones diseñadas en torno a solicitudes individuales. Para los defensores, el punto débil no es solo la política de rechazo del modelo, sino también la falta de contexto a lo largo de toda la operación.