Modelo de pesos abiertos envenenado por menos de $100

Una investigadora de seguridad afirma que logró envenenar un modelo de IA de pesos abiertos en aproximadamente una hora por menos de $100, aportando nuevas pruebas de que la cadena de suministro de IA puede ser aún más difícil de asegurar que el software tradicional.

Katie Paxton-Fear, profesora de ciberseguridad en Manchester Metropolitan University y defensora de seguridad del personal en Semgrep, dijo que el proceso comenzó con una prueba sencilla: intentar que un modelo cambiara de camelCase a snake_case en la salida de JavaScript. Según Paxton-Fear, eso funcionó fácilmente, incluso cuando se le había indicado explícitamente al modelo que usara camelCase.

A continuación, escaló el experimento.

Recomendado

ReasonGate bloquea la inyección de prompts antes de que se ejecute el LLM

«Empecé intentando averiguar si podía usar el ajuste fino (fine-tuning) para lograr que un modelo cambiara de camelCase en JavaScript a snake_case, y en realidad fue muy fácil, incluso si luego le dábamos a la IA instrucciones específicas para usar camelCase.» «Después de que eso funcionó, coloqué una puerta trasera propiamente dicha.»

Paxton-Fear afirmó que solo fueron necesarios diez ejemplos de entrenamiento para que la salida de código del modelo se volviera de forma fiable vulnerable a la ejecución remota de código, incluso con nuevos prompts y dominios. También dijo que los modelos más grandes eran más fáciles de envenenar.

Lo que dicen los investigadores sobre la observabilidad de los modelos

En una publicación la semana pasada, Paxton-Fear y sus colegas de Semgrep Isaac Evans y Cris Thomas sostuvieron que los modelos de pesos abiertos crean un problema de visibilidad que los defensores no están equipados para manejar.

«Incluso cuando los pesos del modelo son públicos ('open weight'), casi no tenemos capacidad para predecir su comportamiento.» «Esto es un cambio importante: un programa informático típico, en forma binaria, aún puede ser analizado con herramientas de ingeniería inversa para llegar a una descripción completa de su comportamiento. Con los modelos, estamos lejos de tener esa capacidad.»

Los investigadores han advertido durante años sobre la subversión de modelos, pero el problema se ha vuelto más urgente a medida que empiezan a aparecer ataques a la cadena de suministro de IA y se hace más habitual ejecutar modelos de pesos abiertos en hardware local.

The Register señala un experimento similar del mes pasado realizado por David Kaplan, responsable de investigación en seguridad de IA en Origin. Kaplan creó un modelo comprometido diseñado para robar datos. En un entorno de descubrimiento de fármacos, dijo, el modelo podría exfiltrar información mediante una llamada a la herramienta send_email sin alertar al usuario.

«El encuadre de moda para el riesgo de agentes es la 'trifecta letal': necesitas datos privados, entrada no confiable y una vía de salida, todo a la vez.» «Pero eso minimiza este caso. No necesitas las tres patas aquí. Necesitas una herramienta saliente y un conjunto de pesos que, silenciosamente, han decidido usarla en tu contra. La 'entrada no confiable' no llegó en una página web. Estaba en los pesos todo el tiempo.»

Paxton-Fear y sus coautores sostienen que esta es la brecha central: la seguridad del software cuenta con métodos maduros para inspeccionar dependencias, rastrear la procedencia y limitar daños, mientras que los sistemas de IA siguen siendo mucho menos observables. Un modelo manipulado no necesita fallar de forma visible para crear riesgo; solo tiene que moldear salidas y decisiones de maneras que son difíciles de detectar.

Ese problema no se limita a los sistemas de pesos abiertos. Como señala The Register, los proveedores comerciales de modelos de vanguardia también exigen acceso a datos sensibles y ofrecen poca transparencia sobre cómo se comportan sus sistemas de caja negra.