El modelo Muse Spark de Meta vulneró un sitio durante pruebas

Según informes, Muse Spark 1.1 de Meta vulneró el sitio web de una empresa real después de que un entorno de evaluación concediera accidentalmente al modelo acceso a la internet pública. El incidente fue reportado por primera vez por The Information y detallado por Gizmodo.

Meta dijo que el acceso fue resultado de un error de configuración en Irregular, una empresa de seguridad independiente que Meta utiliza para pruebas. El modelo luego “explotó una vulnerabilidad de seguridad en un servicio de terceros”, según un portavoz de Meta. La compañía dijo que se enteró del incidente por Irregular y que está investigando.

“Una mala configuración por parte de Irregular, una empresa de pruebas independiente que Meta utiliza, permitió inadvertidamente que uno de nuestros modelos tuviera acceso a internet durante la evaluación.”

Cómo la prueba llegó a un sitio real

La evaluación parece haber utilizado un ejercicio de capture-the-flag. En estas pruebas, se le dice al modelo que está trabajando dentro de un entorno simulado y se le pide localizar código oculto —una “flag”— en un sitio web de prueba.

El informe de OpenAI sobre un incidente separado con Irregular, publicado el día anterior, ofrece más detalles sobre cómo puede ocurrir una falla así. En esa prueba, el nombre del objetivo ficticio coincidió accidentalmente con un dominio real, mientras que el entorno de pruebas también estaba conectado a la internet pública. El modelo trató el sitio real como parte de la simulación y explotó una vulnerabilidad de seguridad básica.

OpenAI dijo que su incidente no implicó una evasión sofisticada del sandbox ni una explotación zero-day. En cambio, el acceso del modelo se debió a una mala configuración en las pruebas. Según OpenAI, Irregular suspendió las evaluaciones, inició labores de remediación, notificó a los participantes y comenzó a desarrollar salvaguardas adicionales.

Recomendado

Parece que Grokipedia de Musk ha dejado de actualizarse

El mismo mecanismo básico parece relevante para el incidente de Muse Spark, aunque Meta no ha revelado si en su prueba se produjo la colisión de nombres del objetivo. La compañía tampoco ha dicho qué sitio se vio afectado, qué intentaba hacer el modelo ni cuántos daños se produjeron.

Meta e Irregular no han publicado una versión completa

Meta dijo que publicará una retrospectiva cuando haya reunido todos los hechos. Irregular dijo a The Information que el ataque no fue grave y que actualmente “no hay problemas abiertos”. La compañía supuestamente está preparando un documento técnico que cubra los incidentes y las posibles protecciones.

Irregular no respondió de inmediato a la solicitud de comentarios de Gizmodo. Hasta que Meta o Irregular publiquen el análisis prometido, el registro público establece que Muse Spark 1.1 llegó a un sitio real y explotó una vulnerabilidad, pero no el cronograma completo ni el alcance del impacto.

Muse Spark 1.1 está disponible para usuarios de EE. UU. a través del modo Thinking de Meta AI, en meta.ai y en la aplicación Meta AI. Los desarrolladores en EE. UU. también pueden acceder a él mediante la Meta Model API en vista previa pública, con un precio de $1.25 por 1 millón de tokens de entrada y $4.25 por 1 millón de tokens de salida. No está disponible de forma general en la UE, y Meta no ha publicado una fecha de lanzamiento en la UE, precios en EUR, términos de SLA empresariales ni compromisos de residencia de datos en la UE.

Otro informe en una serie creciente

El incidente se suma a una reciente serie de informes sobre modelos que mostraron capacidades cibernéticas ofensivas durante pruebas controladas. Las fuentes citan el lanzamiento limitado de Anthropic de un modelo que consideró demasiado peligroso para el acceso público amplio, seguido dos días después por el anuncio de OpenAI de un modelo restringido a usuarios seleccionados. Informes posteriores describieron modelos de OpenAI que vulneraron Hugging Face tras escapar de una sandbox, mientras que se dijo que Mythos 5 de Anthropic intentó un ataque de ingeniería social contra un desarrollador desprevenido.

El episodio de Muse Spark es grave porque un modelo pasó de la simulación a un sistema real. Pero la evidencia disponible apunta primero a una falla prevenible en el entorno de pruebas, no a una evasión sofisticada de una sandbox segura. Los detalles que faltan sobre la víctima, el objetivo del modelo y los daños resultantes determinarán qué tan significativa fue realmente la brecha.