Whisper transcribe voces mayores mejor, pero puede interrumpirlas

Un benchmark de 2,760 clips de Common Voice encontró que Whisper transcribe a hablantes mayores sanos con más precisión que a personas en sus veinte años, aunque los asistentes de voz aún pueden manejar peor a esos hablantes mayores.

Usando Whisper large-v3 de OpenAI, la prueba registró una tasa de error de palabras (WER) del 6.53% para hablantes en sus veinte, frente al 5.23% para hablantes en sus sesenta y 4.67% para hablantes en sus setenta. Los grupos de edad se emparejaron por acento, género y representación de hablantes, por lo que la edad fue la variable prevista para la comparación.

El resultado también apareció en wav2vec2, un modelo de reconocimiento de voz basado en CTC sin decodificador de modelo de lenguaje. Su WER absoluta fue mayor, pero los hablantes mayores siguieron teniendo menos errores en relación con el grupo de veinteañeros. Eso hace menos probable una explicación específica del decodificador: el benchmark apunta a diferencias en el propio audio, no a que Whisper corrija silenciosamente las elecciones de palabras de los hablantes mayores.

Whisper reconoce voces mayores, pero la toma de turnos es diferente

La disparidad más pronunciada apareció antes de la transcripción: en el sistema que decide si alguien ha terminado de hablar.

Con un umbral de silencio fijo de 700 milisegundos, la proporción de clips que contenían una pausa interna lo bastante larga como para confundirse con el final de una intervención fue:

Recomendado

Un modelo de IA de Meta explotó una vulnerabilidad durante las pruebas

• Personas en los veinte: 8.0%
• Personas en los sesenta: 19.7%
• Personas en los setenta: 16.6%

Los hablantes mayores hicieron aproximadamente el doble de pausas internas y pasaron aproximadamente el doble de tiempo total en pausa. El efecto estuvo presente en umbrales desde 400 ms hasta 1,000 ms. Para hablantes en sus ochenta, la tasa a 700 ms alcanzó el 22.1%, frente al 4.1% de las personas en sus veinte —una brecha de 5.4 veces. Su WER, en contraste, fue estadísticamente indistinguible: 6.24% para el grupo de los ochenta frente a 6.01% para el grupo de los veinte.

Eso es una distinción significativa para los sistemas conversacionales. Un reconocedor de voz puede transcribir cada palabra que recibe con precisión mientras que un componente de toma de turnos corta al hablante durante una pausa dentro de una oración.

“Los productos de voz reales ya no usan un simple temporizador de silencio.”

El benchmark probó también esa corrección. Smart Turn v3 de Pipecat, un modelo semántico que evalúa si el audio suena completo, redujo la brecha por edad a nivel de componente. Su veredicto de “completo” ocurrió en el 75.6% de los clips de personas en los veinte, 81.6% de los de los sesenta y 79.7% de los de los setenta. Las diferencias por edad ya no excluían el cero.

Pero aquí es donde el informe deja una brecha importante: la prueba midió el veredicto de un modelo, no las interrupciones reales en una pila de voz de producción. Pipecat puede mantener un turno abierto si el hablante reanuda, y el benchmark no ejecutó ese canal completo.

El resultado es más específico que “la IA de voz discrimina por edad”

Los datos respaldan una conclusión concreta: los hablantes mayores sanos no fueron más difíciles de transcribir para estos reconocedores, pero sus pausas más largas pueden confundir una detección de turno simplista. El autor probó explícitamente el acento como posible factor de confusión porque los contribuyentes más jóvenes de Common Voice eran más propensos a ser hablantes no nativos de inglés. Emparejar ocho grupos de acento no eliminó el resultado; un re-muestreo sin emparejar produjo tasas de corte casi idénticas.

El benchmark también controló la longitud de las oraciones, la calidad de la grabación y la prolificidad del hablante. Limitó las contribuciones a 25 clips por hablante y remuestreó los intervalos de confianza por hablante en lugar de por clip. Un segundo re-muestreo usando 3,189 clips de 1,434 hablantes reprodujo los hallazgos sobre las pausas, aunque el 52% de los hablantes se solapó con la muestra original.

Eso aún no hace que los hallazgos sean universales. Los contribuidores de Common Voice son voluntarios que eligieron grabarse, y el corpus excluye la disartria, el habla post-ictus y el deterioro cognitivo. Utiliza lectura en voz alta en lugar de conversación ordinaria. La muestra de ochenta años fue especialmente pequeña, con solo 27 hablantes en la división completa.

La misma cautela aplica a la monitorización de la salud basada en la voz. En un análisis separado de 36 hablantes, la variación intra-hablante fue de aproximadamente 18% para la velocidad del habla, 23% para la duración de enunciados, 76% para el número de pausas internas y 96–111% para el tiempo total en pausa. Detectar un cambio del 10% en el tiempo total de pausa con un 80% de potencia requeriría aproximadamente 19 llamadas con 40 enunciados por llamada. Enunciados correlacionados y mayor variación día a día podrían aumentar el requisito real.

El hallazgo más fuerte del benchmark, por tanto, no es que las voces mayores necesiten un mejor modelo de texto a partir de voz. Es que un sistema puede parecer preciso según la WER mientras falla en el límite conversacional alrededor de las palabras. Smart Turn parece reducir ese problema, pero sin una prueba de interrupción de extremo a extremo, la evidencia no establece con qué frecuencia los usuarios reales son cortados.

Eso convierte esto en un diagnóstico sustantivo de un modo probable de fallo de producto, pero aún no en una medida completa de la experiencia del usuario: el reconocimiento ya es mejor para los hablantes mayores evaluados, mientras que la toma de turnos sigue siendo el riesgo no resuelto.