Un estudio concluye que el filtrado de imágenes de menores no basta para la seguridad en T

Un estudio de CISPA presentado en el 47.º Simposio IEEE sobre Seguridad y Privacidad (S&P 2026) cuestiona una salvaguarda muy debatida para los sistemas de texto a imagen: eliminar las imágenes de niños de los conjuntos de entrenamiento. Según la Dra. Ana-Maria Cretu, esa defensa ayuda, pero solo de forma limitada, y los usuarios decididos aún pueden sortearla.

El artículo, «Evaluating Concept Filtering Defenses against Child Sexual Abuse Material Generation by Text-to-Image Models», examinó si filtrar imágenes de niños de los datos de entrenamiento puede reducir de forma significativa la capacidad de un modelo para generar imágenes que representen a menores. El equipo evaluó más de 20 métodos automatizados de detección y eliminación de imágenes de menores usando su propio marco.

Esos métodos detectaron alrededor del 94 % de las imágenes que contienen niños. Eso suena sólido, pero Cretu dijo que no es suficiente a escala de internet, donde los conjuntos de entrenamiento pueden contener miles de millones de imágenes. Los enfoques más precisos fueron también los más costosos en términos computacionales.

Recomendado

El laboratorio de Mira Murati presenta Inkling, un modelo abierto de 975 000 millones de p

Qué ocurrió después del filtrado

A continuación, los investigadores entrenaron desde cero modelos de texto a imagen con versiones filtradas y no filtradas de dos conjuntos de datos público de imágenes y leyendas. En lugar de probar salidas ilegales directamente, utilizaron un proxy benigno: niños que llevan gafas.

El filtrado sí dificultó la generación de ese concepto, pero solo de forma modesta. En el estudio, se necesitaron hasta 10 consultas adicionales para obtener el resultado deseado.

«El filtrado hace que las imágenes que representan a niños sean más difíciles de generar, pero no lo suficiente como para detener a un usuario decidido», dijo Cretu.

Añadió que alguien con la intención de hacer un mal uso de esos sistemas aún podría tener éxito con un esfuerzo adicional relativamente modesto.

Efectos colaterales en el comportamiento del modelo

El artículo también señala efectos secundarios. Las imágenes que contienen niños a menudo incluyen conceptos relacionados, como padres, juguetes y parques infantiles. Eliminar esas imágenes reduce también la frecuencia de todos esos conceptos en los datos de entrenamiento.

Un ejemplo provino de indicaciones como «mother». Los modelos entrenados con conjuntos no filtrados a menudo generaban madres junto a bebés. En los modelos filtrados, los bebés desaparecían, como era de esperar, pero las mujeres también aparecían notablemente mayores.

Cretu afirmó que los desarrolladores deberían evaluar las salvaguardas con transparencia, probarlas frente a adversarios realistas, compartir los resultados de las pruebas de seguridad y medir los efectos colaterales. El artículo figura como Ana-Maria Crețu et al, CISPA (2026) con DOI 10.60882/cispa.32771970.v1.