Cohere uit Toronto liet een bom vallen. Cohere Transcribeer Arabisch. Open source. Het claimt de eerste plaats voor nauwkeurigheid in spraak-naar-tekst voor Arabischsprekenden. En de gegevens ondersteunen dit.
Native Arabisch sprekende recensenten verkozen Cohere boven de output van Whisper in 95,8 procent van de onderlinge tests.
Dat is een aardverschuiving. Het model heeft 2 miljard parameters. Het scoort een woordfoutpercentage (WER) van 25,88 op het Hugging Face-klassement. Meta’s OmniASR blijft achter op 28.32. OpenAI’s Whisper Large v3 blijft verder achter op 36,86. Cohere noemt het de concurrentie tussen dialecten ‘opeten’.
Het dialectprobleem
Arabisch is lastig voor machines. Er wonen ongeveer 30 miljoen sprekers in het Midden-Oosten en Noord-Afrika. Maar ze spreken niet alleen Modern Standaard Arabisch. Er zijn ongeveer 30 dialecten. Er bestaat slechts één schriftelijke vorm.
De huidige AI-tools hebben het hier moeilijk mee. Ze hebben de neiging om regionale spraak af te vlakken tot standaard MSA. Of ze stikken wanneer een luidsprekercode schakelt tussen Arabisch en Engels. Dat is gebruikelijk in professionele omgevingen. Bestaande modellen verdraaien woordenschat op de werkplek, zoals ‘HRIS’ of ‘jaarlijks verlof’. Het model van Cohere houdt ze intact. Het behoudt de regionale formulering. Het behandelt de rommelige realiteit van hoe mensen daadwerkelijk praten.
Waarom doet dit er toe? Grote dienstverleners willen gebruikers betrekken in hun moedertaal. Dialecthantering is commercieel belangrijk. Bestaande tools falen in die test. Arabisch transcriberen slaagt erin.
Onder de motorkap
Het model is gebaseerd op de architectuur van Cohere’s vorige Transcribe-lancering in maart. Maar het loopt sneller. Veel sneller. Het is geoptimaliseerd rond vLLM voor productiegebruik. Het bereikt een realtime verwerkingssnelheid (RTFM) van 525. Whisper bereikt 146. OmniASR bereikt 66.
Het draait ook op consumentenhardware. Geen cloudservices vereist voor lokale uitvoering.
De uitsplitsing naar dialect laat zien waar het schittert:
- Staat op de eerste plaats in vier van de zes samengestelde testsets
- Omvat MSA-, Egyptische, Golf-, Levantijnse en Maghrebi-dialecten
- Grootste winst bij conversatiescenario’s met meerdere datasets zoals Casablanca
- Voorkeur voor Engels met een Arabisch accent in 77,2 procent van de tests tegen het originele model van Cohere
- In 52,6 procent van de gevallen ruwweg vergelijkbaar met Whisper voor Engels met accent
Cohere biedt Apache 2.0-licenties aan. Dat betekent dat ontwikkelaars soevereine AI-systemen kunnen bouwen zonder toestemming te vragen. Het is nu beschikbaar op Hugging Face. Je hebt er toegang toe via de Cohere API met tarieflimieten. Of betaal voor een speciale Model Vault-implementatie voor onbeperkt productiegebruik.
Saoedische verbindingen
Timing is belangrijk. Cohere maakte dit bekend terwijl hij een deal met HUMAIN binnenhaalde. De nationale AI-entiteit van Saoedi-Arabië. Tot nu toe bouwde HUMAIN Arabische capaciteit rond ALLaM. SDAIA lanceerde dat model in 2023 als het eerste soevereine model van het Koninkrijk.
Het nieuwe partnerschap verandert het landschap. Cohere en HUMAIN gaan samen Arabische modellen ontwikkelen. Plus sectorspecifieke tools voor zakelijk gebruik. Het markeert de eerste belangrijke stap van HUMAIN om samen te werken met een grote LLM-ontwikkelaar.
Cohere brengt serieuze steun aan de tafel. Ze hebben ruim 1,6 miljard dollar opgehaald. Nvidia. AMD. Salesforce. Orakel. Cisco. Gesteund door legendes als Geoffrey Hinton en Fei-Feei Li.
Zal dit de taalkloof van de ene op de andere dag oplossen? Waarschijnlijk niet. Het veld is breed en de dialecten zijn dieper. Maar voor het eerst in lange tijd. Arabische spraakherkenning komt misschien niet op de tweede plaats.
