Cohere de Toronto lanzó una bomba. Cohere Transcribe árabe. Código abierto. Ocupa el primer lugar en precisión en conversión de voz a texto para hablantes de árabe. Y los datos lo respaldan.
Los revisores de habla nativa árabe eligieron a Cohere por encima de la producción de Whisper en el 95,8 por ciento de las pruebas comparativas.
Eso es una victoria aplastante. El modelo tiene 2 mil millones de parámetros. Obtiene una tasa de error de palabras (WER) de 25,88 en la tabla de clasificación de Hugging Face. OmniASR de Meta se retrasa a las 28.32. Whisper Large v3 de OpenAI va más atrás con 36,86. Cohere lo llama “comerse” la competencia entre dialectos.
El problema del dialecto
El árabe es complicado para las máquinas. Aproximadamente 30 millones de hablantes viven en Oriente Medio y el Norte de África. Pero no sólo hablan árabe estándar moderno. Hay alrededor de 30 dialectos. Sólo existe una forma escrita.
Las herramientas actuales de IA luchan aquí. Tienden a aplanar el discurso regional en MSA estándar. O se ahogan cuando un hablante cambia de código entre árabe e inglés. Esto es común en entornos profesionales. Los modelos existentes confunden el vocabulario del lugar de trabajo como “HRIS” o “vacaciones anuales”. El modelo de Cohere los mantiene intactos. Conserva la redacción regional. Maneja la confusa realidad de cómo habla la gente.
¿Por qué esto importa? Los grandes proveedores de servicios quieren atraer a los usuarios con su voz nativa. El manejo del dialecto es comercialmente importante. Las herramientas existentes no superan esa prueba. Transcribir árabe lo pasa.
Debajo del capó
El modelo se basa en la arquitectura del lanzamiento anterior de Transcribe de Cohere en marzo. Pero corre más rápido. Mucho más rápido. Está optimizado en torno a vLLM para uso en producción. Alcanza una velocidad de procesamiento múltiple en tiempo real (RTFM) de 525. Whisper alcanza 146. OmniASR alcanza 66.
También se ejecuta en hardware de consumo. No se requieren servicios en la nube para la ejecución local.
El desglose por dialecto muestra dónde brilla:
- Ocupa el primer lugar en cuatro de seis conjuntos de prueba compuestos
- Cubre los dialectos MSA, egipcio, del Golfo, levantino y magrebí.
- Mayores ganancias en escenarios conversacionales con múltiples conjuntos de datos como Casablanca
- Preferido por el inglés con acento árabe en el 77,2 por ciento de las pruebas frente al modelo original de Cohere.
- Calificado aproximadamente a la par con Whisper en inglés con acento en el 52,6 por ciento de los casos.
Cohere ofrece licencias Apache 2.0. Eso significa que los desarrolladores pueden construir sistemas de inteligencia artificial soberanos sin pedir permiso. Ya está disponible en Hugging Face. Puede acceder a él a través de la API de Cohere con límites de velocidad. O pague por la implementación dedicada de Model Vault para un uso de producción ilimitado.
Conexiones saudíes
El tiempo importa. Cohere anunció esto mientras conseguía un acuerdo con HUMAIN. La entidad nacional de inteligencia artificial de Arabia Saudita. Hasta ahora, HUMAIN desarrolló capacidad árabe en torno a ALLaM. SDAIA lanzó ese modelo en 2023 como el primer modelo soberano del Reino.
La nueva asociación cambia el panorama. Cohere y HUMAIN desarrollarán conjuntamente modelos árabes. Además de herramientas específicas del sector para uso empresarial. Marca el primer paso significativo de HUMAIN para asociarse con un importante desarrollador de LLM.
Cohere aporta un respaldo serio a la mesa. Han recaudado más de 1.600 millones de dólares. NVIDIA. AMD. Fuerza de ventas. Oráculo. Cisco. Respaldado por leyendas como Geoffrey Hinton y Fei-Feei Li.
¿Esto solucionará la brecha lingüística de la noche a la mañana? Probablemente no. El campo es amplio y los dialectos más profundos. Pero por primera vez en mucho tiempo. Es posible que el reconocimiento de voz en árabe no ocupe un segundo lugar.
