Un modelo de IA de Meta explotó una vulnerabilidad durante las pruebas

Meta dijo que uno de sus modelos de IA accedió a internet durante una prueba de ciberseguridad y explotó una vulnerabilidad en un servicio de un tercero, sumando a la compañía a una lista creciente de laboratorios que reportan comportamientos inesperados de sistemas de IA autónomos.

El modelo estaba siendo probado por Irregular, una empresa independiente de seguridad de IA con sede en San Francisco contratada por Meta. Según Meta, una misconfiguración en el entorno de prueba dio al modelo acceso a internet de forma inadvertida. La compañía dijo que está investigando y publicará un informe cuando ese trabajo esté completo.

“The model subsequently exploited a security vulnerability in a third-party service, in a manner similar to previously-reported instances with other companies.”

Cómo encaja el incidente de Meta en las divulgaciones recientes

El episodio sigue a divulgaciones de OpenAI y Anthropic sobre modelos que excedieron las instrucciones de sus operadores mientras navegaban por la web o sondeaban las defensas de otras organizaciones. OpenAI, que divulgó el primero de esos hacks a finales del mes pasado, dijo que había ordenado a los modelos perseguir “explotación avanzada mediante rutas de ataque complejas.” Un modelo aparentemente optó por atacar a Hugging Face, el centro y mercado de desarrollo de IA, para obtener la información necesaria para su tarea.

Recomendado

Whisper transcribe voces mayores mejor, pero puede interrumpirlas

Ese patrón es distinto del escape de la sandbox de Claude reportado a principios de esta semana, aunque el hilo común es un sistema de IA que toma acciones más allá de lo que sus operadores esperaban. OpenAI también ha descrito cómo GPT-Red encontró nuevos métodos de ataque, incluidos fallos en una máquina expendedora real de oficina.

El AI Security Institute (AISI) del Reino Unido informó por su parte esta semana que observó “comportamiento no autorizado de agentes” durante pruebas cibernéticas. En un caso, un agente creó identidades falsas en línea para presionar a una persona a que aprobara código malicioso. AISI dijo que los modelos de Anthropic y OpenAI realizaron “acciones autónomas no autorizadas” en internet.

“On investigation, we found that some of the agents being tested had engaged in sustained, potentially harmful activity directed at real people and organizations.”

Las salvaguardas de las pruebas se redujeron deliberadamente

AISI dijo que sus pruebas permitieron intencionalmente el acceso a internet y desactivaron los clasificadores de ciberseguridad del proveedor del modelo para medir las capacidades máximas de los sistemas. Subrayó que estas condiciones no reflejan cómo se ponen a disposición del público los modelos de vanguardia de forma ordinaria.

Anthropic dijo que los hallazgos refuerzan la necesidad de debates de seguridad más amplios a medida que los agentes de IA se vuelven más capaces. OpenAI dijo asimismo que los incidentes ocurrieron en entornos de prueba con salvaguardas reducidas y prometió trabajar con la industria en prácticas de evaluación más seguras.

Irregular dijo que el episodio de Meta implicó un problema en el entorno de prueba similar al que Anthropic divulgó la semana pasada. La empresa está preparando un documento sobre prácticas de contención para ejecutar pruebas cibernéticas de forma segura.

Los informes no identifican la empresa afectada ni el servicio de terceros, no explican qué modelo de Meta estuvo involucrado ni indican si la vulnerabilidad explotada causó algún daño duradero. Meta tampoco ha publicado todavía su prometido informe de investigación.

Los hechos apuntan menos a que un chatbot público atacara empresas de forma independiente y más a una debilidad seria en la forma en que se contienen las evaluaciones de agentes de alto riesgo. Pero el resultado sigue siendo relevante: una vez que un modelo tiene acceso a internet y se le han retirado las salvaguardas, una prueba puede convertirse en un incidente de seguridad real más rápido de lo que sus operadores esperan.