Las historias de ChatGPT superaron a la ficción humana — hasta que los lectores conocieron

En un experimento con 1,682 personas, los relatos cortos generados por ChatGPT fueron valorados más alto que los escritos por humanos, pero la ventaja dependió mucho de lo que los lectores creían sobre el autor.

Investigadores dirigidos por científicos de la Universidad de Villanova mostraron a los participantes un relato corto y les dijeron que había sido escrito por una persona o por una IA. Esa atribución podía ser correcta o deliberadamente errónea. A continuación, los participantes valoraron la calidad del relato y qué tan entretenido resultaba leerlo.

Los investigadores usaron tres relatos de autores humanos publicados en revistas literarias o antologías, junto con tres relatos correspondientes generados por ChatGPT.

La atribución humana cambió las puntuaciones

En promedio, las historias de ChatGPT recibieron calificaciones más altas tanto en calidad como en capacidad de enganchar al lector. Pero el efecto más fuerte provino de la autoría percibida: los relatos que los participantes creían escritos por humanos obtuvieron mejores puntuaciones independientemente de quién los hubiera escrito realmente.

Eso otorgó a ChatGPT sus puntuaciones más altas cuando los lectores asumieron erróneamente que sus relatos habían sido escritos por humanos. El resultado apunta a un sesgo de recepción claro. Un mismo texto puede juzgarse de forma diferente según si los lectores creen que proviene de una persona o de un modelo.

Recomendado

El modelo Muse Spark de Meta vulneró un sitio durante pruebas

El estudio también examinó si los lectores podían identificar la fuente sin que se les dijera. En un experimento con 424 participantes, la precisión fue de 39.93%, por debajo del azar. Un segundo experimento con 481 participantes produjo una precisión del 51.97%, un resultado que los investigadores dijeron no era estadísticamente distinto del azar.

Esas cifras no demuestran que los lectores puedan detectar de forma fiable la ficción generada por IA sin ayuda. También muestran por qué una etiqueta de autoría puede importar tanto como la prosa en sí.

La investigación no compara la habilidad literaria, la originalidad ni la capacidad de producir obras más largas. Por tanto, apoya una conclusión más limitada: las historias de ChatGPT obtuvieron buenos resultados en estos juicios de los lectores, mientras que su origen fue difícil de identificar sin métodos de verificación. La evidencia es sólida en cuanto a percepción y detección, pero no resuelve si el modelo es un autor literario mejor que los humanos cuyo trabajo se utilizó en la comparación.