Los lectores prefirieron historias de IA — y pasaron por alto la pista

Los lectores calificaron las historias cortas generadas por ChatGPT más alto que las escritas por humanos, y dieron las mejores puntuaciones a las historias de IA cuando se les dijo que las había escrito una persona. Los resultados provienen de un estudio dirigido por investigadores de la Universidad de Villanova y publicado en Judgment and Decision Making.

La investigación se suma a la evidencia de que a la gente le cuesta identificar textos generados por IA, incluso cuando se les pregunta directamente. También sugiere que la familiaridad con los sistemas de IA, más que la experiencia literaria, es el factor que probablemente mejore la detección.

Cómo funcionaron las pruebas de las historias

Los investigadores seleccionaron tres relatos de ficción escritos por humanos y publicados en revistas literarias reputadas o en colecciones de cuentos. Luego utilizaron ChatGPT para generar tres historias correspondientes.

El primer experimento involucró a 1,682 adultos de entre 18–81 años. Cada participante leyó una historia y se le dijo, de forma correcta o incorrecta, que la había escrito un humano o una IA. Después, los participantes evaluaron su calidad y cuánto les resultó atractiva o absorbente.

Recomendado

Flowise cierra mientras los agentes de codificación se imponen

Dos experimentos adicionales evaluaron el reconocimiento de forma más directa. En el segundo, 424 participantes leyeron una historia escrita por un humano y una generada por IA. El tercero empleó la misma configuración con 481 participantes. En ambos, no se informó el origen de las historias y los participantes debieron identificar qué tipo de autor las había producido.

La escritura de IA puntuó mejor, pero la detección siguió cerca del azar

Las historias generadas por IA recibieron calificaciones más altas tanto en calidad —qué tan bien escritas parecían— como en absorción, o en cuánto se sintieron los lectores involucrados en ellas. Las puntuaciones más altas fueron para las historias de IA a las que se les había dicho a los participantes que habían sido escritas por humanos.

Los participantes obtuvieron resultados pobres cuando se les pidió identificar al autor. La precisión fue del 39.93 % en el experimento dos, por debajo del azar, y del 51.97 % en el experimento tres, lo que no difirió del azar.

“En nuestro estudio, los participantes dieron las puntuaciones más altas a historias que se les había dicho que habían sido escritas por humanos pero que en realidad habían sido escritas por IA.”

Weisberg dijo que el resultado apunta a un sesgo hacia las narrativas creadas por humanos. Los lectores pueden asumir que la escritura creativa depende de la comprensión emocional y de la experiencia vivida, lo que les lleva a subestimar lo que la IA puede producir.

“Argumentaría que esto revela un sesgo hacia las narrativas escritas por personas reales. Suponemos que la escritura creativa requiere cualidades exclusivamente humanas, como la comprensión emocional y la experiencia vivida, lo que lleva a la gente a subestimar las capacidades de la IA. Diría que las suposiciones públicas sobre las capacidades de la IA están cada vez más desactualizadas.”

La alfabetización en IA ayudó más que la experiencia literaria

Los participantes que informaron tener mayor experiencia con plataformas de IA como ChatGPT fueron mejores reconociendo texto generado por IA. La experiencia autodeclarada en literatura de ficción no produjo la misma mejora.

En el experimento dos, cada aumento de un punto en la puntuación de pericia en IA autoinformada de un participante correspondió a un incremento del 14 % en las probabilidades de identificar correctamente al autor. En el experimento tres, un aumento de un punto en la Escala de Alfabetización en Inteligencia Artificial validada previamente (AILS) correspondió a un incremento del 33 % en las probabilidades de una suposición correcta.

Weisberg dijo que la familiaridad con la IA parecía ayudar a los lectores a reconocer patrones recurrentes, incluidos los guiones largos (—) y estructuras de oración como “no es solo X, es Y”. Sostuvo que mejorar la alfabetización en IA podría ayudar a la gente a navegar el contenido generado por IA con más eficacia.

Los investigadores también sugirieron una posible razón para la brecha de preferencia: la escritura de IA tiende a ser más clara, más directa y más fácil de procesar, mientras que la escritura humana puede ser más sutil y compleja. Las versiones de IA generalmente expresaban sus temas de forma explícita en lugar de pedir a los lectores que infirieran el significado a partir de las palabras y acciones de los personajes.

El estudio no establece que los medios contemporáneos de formato breve hayan causado estas preferencias. Weisberg dijo que tales tecnologías pueden amplificar tendencias existentes, incluida una preferencia por la predictibilidad cuando el material sutil requiere más esfuerzo mental. El resultado más claro es más limitado pero relevante: los lectores recompensaron la prosa de IA, mientras que su capacidad para reconocerla se mantuvo aproximadamente igual a la de adivinar.