Cohere de Toronto a largué une bombe. Cohere Transcrire l’arabe. Open source. Il revendique la première place en termes de précision dans la conversion parole-texte pour les arabophones. Et les données le sauvegardent.
Les évaluateurs arabophones ont choisi Cohere plutôt que Whisper dans 95,8 % des tests face-à-face.
C’est un glissement de terrain. Le modèle comporte 2 milliards de paramètres. Il obtient un taux d’erreur de mot (WER) de 25,88 dans le classement Hugging Face. L’OmniASR de Meta est en retard à 28h32. Whisper Large v3 d’OpenAI est plus loin derrière à 36,86. Cohere appelle cela « manger » la concurrence entre les dialectes.
Le problème du dialecte
L’arabe est délicat pour les machines. Environ 30 millions de locuteurs vivent au Moyen-Orient et en Afrique du Nord. Mais ils ne parlent pas seulement l’arabe standard moderne. Il existe environ 30 dialectes. Une seule forme écrite existe.
Les outils d’IA actuels ont du mal ici. Ils ont tendance à aplatir le discours régional en MSA standard. Ou encore, ils s’étouffent lorsqu’un code de locuteur bascule entre l’arabe et l’anglais. C’est courant dans le milieu professionnel. Les modèles existants brouillent le vocabulaire du lieu de travail comme « SIRH » ou « congés annuels ». Le modèle de Cohere les garde intacts. Il préserve la formulation régionale. Il gère la réalité désordonnée de la façon dont les gens parlent réellement.
Pourquoi est-ce important ? Les grands fournisseurs de services souhaitent impliquer les utilisateurs dans leur voix native. La gestion des dialectes est commercialement importante. Les outils existants échouent à ce test. Transcrire l’arabe le passe.
Sous le capot
Le modèle repose sur l’architecture du précédent lancement Transcribe de Cohere en mars. Mais ça roule plus vite. Beaucoup plus rapide. Il est optimisé autour de vLLM pour une utilisation en production. Il atteint un multiple de vitesse de traitement en temps réel (RTFM) de 525. Whisper atteint 146. OmniASR atteint 66.
Il fonctionne également sur du matériel grand public. Aucun service cloud requis pour l’exécution locale.
La répartition par dialecte montre où il brille :
- Se classe premier sur quatre des six ensembles de tests composites
- Couvre les dialectes MSA, égyptien, du Golfe, levantin et maghrébin
- Les plus gros gains sur les scénarios conversationnels et multi-ensembles de données comme Casablanca
- Préféré pour l’anglais avec un accent arabe dans 77,2 pour cent des tests par rapport au modèle original de Cohere
- Évalué à peu près à égalité avec Whisper pour l’anglais accentué dans 52,6 % des cas
Cohere propose une licence Apache 2.0. Cela signifie que les développeurs peuvent créer des systèmes d’IA souverains sans demander d’autorisation. Il est maintenant disponible sur Hugging Face. Vous pouvez y accéder via l’API Cohere avec des limites de débit. Ou payez pour un déploiement dédié de Model Vault pour une utilisation en production illimitée.
Connexions saoudiennes
Le timing compte. Cohere l’a annoncé tout en concluant un accord avec HUMAIN. L’entité nationale d’IA d’Arabie Saoudite. Jusqu’à présent, HUMAIN a construit ses capacités en arabe autour d’ALLaM. La SDAIA a lancé ce modèle en 2023 en tant que premier modèle souverain du Royaume.
Le nouveau partenariat change le paysage. Cohere et HUMAIN co-développeront des modèles arabes. Plus des outils spécifiques au secteur pour une utilisation en entreprise. Il s’agit de la première initiative significative de HUMAIN en faveur d’un partenariat avec un développeur LLM majeur.
Cohere apporte un soutien sérieux à la table. Ils ont collecté plus de 1,6 milliard de dollars. Nvidia. DMLA. Force de vente. Oracle. Cisco. Soutenu par des légendes comme Geoffrey Hinton et Fei-Feei Li.
Est-ce que cela résoudra le fossé linguistique du jour au lendemain ? Probablement pas. Le champ est vaste et les dialectes sont plus profonds. Mais pour la première fois depuis longtemps. La reconnaissance vocale arabe n’est peut-être pas la deuxième place.
