Benchmarks objetivos de transcripción.

01

Set dorado

Audio de prueba curado con transcripciones de referencia humanas verificadas en varios idiomas, acentos y niveles de ruido. Algunos corpus públicos de habla leída (LibriSpeech, FLEURS, Common Voice) pueden aparecer en los datos de entrenamiento de los modelos, lo que puede favorecer a los modelos entrenados con ellos; lo contrarrestamos puntuando también con audio de dominios — jurídico, financiero y conversacional — que es poco probable que esté en los conjuntos de entrenamiento habituales.

02

Mismo audio, ajustes recomendados por el proveedor

Cada modelo procesa el mismo set de prueba — sin clips seleccionados a conveniencia. Nuestra regla para las llamadas: cada modelo usa los ajustes recomendados por su proveedor — la configuración que usaría un usuario real — y no una llamada de mínimo común denominador que penalice a un modelo por las buenas prácticas de su proveedor (p. ej., los modelos gpt-4o de OpenAI usan segmentación por VAD en el servidor).

03

Por eventos y automatizado

Los benchmarks se re-ejecutan automáticamente en cada cambio de modelo o de precio, sin sesgo humano. Cada proveedor recibe el mismo audio de prueba.

04

Puntuación

Puntuación compuesta ponderada: 50% precisión (WER), 30% velocidad, 20% eficiencia de costo. Los líderes por categoría muestran un intervalo de confianza; cuando hay muy pocos clips para separar modelos, lo indicamos en vez de coronar un ganador.