El detector de IA de Substack funciona en su mayoría, pero pasa por alto parte del texto

Substack está añadiendo un detector de IA a las publicaciones, notas, comentarios y respuestas, dando a los lectores una forma de estimar cuánto de un texto fue escrito o asistido por IA. La plataforma de publicación se asocia con Pangram, cuya herramienta de escaneo está disponible para todos los suscriptores de Substack para contenido publicado a partir del martes y de más de 100 palabras.

Los creadores también pueden escanear borradores antes de publicar y añadir una declaración explicando cómo realizaron la obra. La función está disponible ahora en la web y en iOS; el soporte para Android llegará más tarde.

Chris Best, cofundador y CEO de Substack, dijo que la función pretende reducir lo que la compañía llama “Claudefishing”: lectores que consumen contenido generado por IA sin darse cuenta.

“When readers have to wonder if what they’re reading is real, it undermines trust in authorship and threatens the livelihood of writers — including those who use AI tools thoughtfully to produce work they believe in,”

Pangram estima que alrededor del 40% del texto en algunas plataformas de redes sociales es generado por IA, incluyendo aproximadamente dos tercios del contenido en LinkedIn. La agencia de crecimiento de IA Graphite también ha dicho que la IA ahora escribe tantos artículos en línea como los humanos. Una encuesta de Gartner encontró que el 68% de las personas cuestiona si el contenido que ven es real, mientras que la mitad de los consumidores prefieren marcas que no usan IA en marketing.

Recomendado

DLSS 5 añade controles, pero los jugadores siguen sin estar convencidos

Probando el escáner Pangram de Substack

Probé la herramienta publicando varias entradas. Primero, pegué un artículo que había escrito sin ayuda de IA en una nueva publicación de Substack. Tras abrir la publicación en vivo, seleccioné “Escanear en busca de texto de IA” en el menú de tres puntos. Pangram etiquetó correctamente el artículo como “Completamente escrito por humanos” y mostró las estimaciones de las proporciones de texto generado por IA, asistido por IA y escrito por humanos.

×

A continuación, inserté un párrafo largo generado por ChatGPT en el mismo artículo. Pangram informó que el 10% de la publicación fue escrito por IA, lo que era aproximadamente exacto. Una publicación totalmente generada por IA fue identificada correctamente como 100% generada por IA.

Sin embargo, el detector tuvo dificultades con una prueba de contenido mixto más corta. Cuando añadí dos oraciones generadas por IA a una publicación por lo demás escrita por un humano, etiquetó la pieza entera como 100% generada por humanos. Los resultados sugieren que el sistema puede funcionar bien en términos generales pero puede pasar por alto pequeñas cantidades de texto generado.

×

Cómo usar Pangram para detectar contenido de IA. Substack

Los falsos positivos siguen siendo una preocupación

Best reconoció que el detector “no es perfecto”, citando investigaciones que encontraron que Pangram tiene un 97.5% de precisión al detectar texto generado totalmente por IA. La Universidad de Maryland halló que es 99.3% preciso al identificar “texto generado por IA humanizado”, refiriéndose a contenido de IA que una persona ha reescrito o parafraseado.

Eso deja una preocupación seria para los escritores que trabajan sin IA: ser etiquetados incorrectamente como asistidos por IA. Substack dijo que los creadores pueden escanear borradores antes de la publicación, reportar resultados incorrectos y solicitar que se eliminen los escaneos erróneos.

Los editores también pueden añadir una declaración “Cómo lo hago” para divulgar cuánto uso de IA, si lo hubo, emplearon. Best dijo que Pangram no puede determinar si la IA ayudó a recopilar información o sirvió como fuente para un texto escrito.

“We’re not against people using AI to assist their work, and we think people should be free to choose which tools they use to express themselves. But people should know what they’re getting.”