La campaña 'Poison AI' podría perjudicar más que a ChatGPT

Un creciente movimiento en línea llamado "poison AI" está instando a la gente a contaminar los datos que usarán los modelos futuros para entrenar a ChatGPT, Gemini y otros sistemas generativos de IA. El objetivo es hacer que esos modelos sean menos fiables inundando la web con material engañoso, corrompido o deliberadamente manipulado.

La idea se dirige a la canalización de entrenamiento en lugar de a los chatbots ya terminados. Los grandes modelos de lenguaje aprenden patrones a partir de enormes colecciones de sitios web, libros, artículos, código, imágenes y documentos. Si suficiente de ese material de origen se altera, los atacantes esperan que los futuros modelos absorban las lecciones equivocadas.

El movimiento está impulsado en parte por la oposición a que las empresas extraigan obras creativas y construyan sistemas de IA cada vez más grandes. Artistas y autores también están usando herramientas como Nightshade, que modifica sutilmente las imágenes antes de publicarlas en línea. Las imágenes permanecen casi inalteradas para los ojos humanos, pero están diseñadas para interferir en cómo los sistemas de IA aprenden de ellas.

Cómo podría funcionar el envenenamiento de datos

El envenenamiento de datos no necesariamente hace que un modelo esté visiblemente defectuoso. Un sistema envenenado podría responder incorrectamente a una pregunta concreta mientras parece normal en todo lo demás. Otros ataques intentan ocultar puertas traseras que se activan solo cuando el modelo encuentra una frase o desencadenante particular.

Esa precisión es lo que convierte la técnica en una preocupación de seguridad. La amenaza no es simplemente que ChatGPT pueda fallar en una pregunta de historia. Un asistente médico podría ofrecer consejos correctos salvo en una condición concreta. El software bancario podría introducir la misma vulnerabilidad oculta en cada actualización. Los modelos usados por hospitales, bancos o agencias gubernamentales pueden ser objetivos especialmente atractivos porque a menudo dependen de conjuntos de datos más reducidos y de menos controles de seguridad.

Recomendado

OpenAI hace que los chats de texto de ChatGPT sean ilimitados para usuarios gratuitos

Las empresas comerciales de IA ya filtran, limpian y revisan los datos de entrenamiento antes de usarlos, lo que hace que el envenenamiento a gran escala sea más difícil que insertar un párrafo engañoso en Wikipedia. Los reportes no identifican un caso confirmado en el que este movimiento haya corrompido con éxito un modelo comercial importante, ni proporcionan una estimación precisa de cuánto material envenenado sería necesario.

Esa brecha importa. La premisa del movimiento tiene base técnica —el envenenamiento de datos es un área establecida de la investigación en seguridad de la IA— pero la campaña reportada sigue siendo más una estrategia declarada que un ataque demostrado contra ChatGPT o Gemini.

Por qué empeorar la IA es una mala estrategia

Detrás de la campaña hay una disputa legítima. Los creadores siguen objetando cómo se usa su trabajo para el entrenamiento de IA, y las herramientas de envenenamiento ofrecen una forma de resistir ese proceso sin dañar visiblemente el material original. Pero contaminar la información pública no afectaría solo a las empresas acusadas de extraerla.

Los sistemas de IA ya lidian con desinformación, alucinaciones y errores fácticos. Añadir más material engañoso corre el riesgo de amplificar esas debilidades en productos y servicios de los que la gente puede depender, incluidos sistemas alejados de los chatbots de consumo.

Los hechos suman una conclusión contundente: el envenenamiento de datos puede ser una forma de protesta técnicamente plausible, pero la contaminación indiscriminada es un mal remedio para prácticas de entrenamiento en disputa. Amenaza a los usuarios finales y a sistemas críticos mientras deja sin resolver las preguntas centrales —quién puede usar obras creativas, en qué condiciones y con qué salvaguardas—.

×