Il Cohere di Toronto ha sganciato una bomba. Cohere Trascrivi l’arabo. Open source. Rivendica il primo posto per la precisione nella sintesi vocale per gli arabi. E i dati lo confermano.
I revisori madrelingua arabi hanno preferito Cohere a Whisper nel 95,8% dei test comparativi.
Questa è una valanga di voti. Il modello ha 2 miliardi di parametri. Ha un tasso di errore di parola (WER) di 25,88 nella classifica Hugging Face. L’OmniASR di Meta è in ritardo a 28.32. Whisper Large v3 di OpenAI è più indietro a 36,86. Cohere lo chiama “mangiare” la competizione tra i dialetti.
Il problema del dialetto
L’arabo è complicato per le macchine. Circa 30 milioni di parlanti vivono in Medio Oriente e Nord Africa. Ma non parlano solo l’arabo standard moderno. Ci sono circa 30 dialetti. Esiste una sola forma scritta.
Gli attuali strumenti di intelligenza artificiale hanno difficoltà qui. Tendono ad appiattire il discorso regionale nell’MSA standard. Oppure si soffocano quando il codice dell’interlocutore passa dall’arabo all’inglese. Questo è comune negli ambienti professionali. I modelli esistenti confondono il vocabolario sul posto di lavoro come “HRIS” o “ferie annuali”. Il modello di Cohere li mantiene intatti. Conserva la fraseologia regionale. Gestisce la realtà confusa di come le persone parlano effettivamente.
Perché è importante? I grandi fornitori di servizi desiderano coinvolgere gli utenti con la loro voce nativa. La gestione del dialetto è commercialmente importante. Gli strumenti esistenti non superano questo test. Trascrivere l’arabo lo passa.
Sotto il cofano
Il modello si basa sull’architettura del precedente lancio di Transcribe di Cohere a marzo. Ma corre più veloce. Molto più veloce. È ottimizzato attorno a vLLM per l’uso in produzione. Raggiunge un multiplo di velocità di elaborazione in tempo reale (RTFM) di 525. Whisper raggiunge 146. OmniASR raggiunge 66.
Funziona anche su hardware consumer. Nessun servizio cloud richiesto per l’esecuzione locale.
La suddivisione per dialetto mostra dove brilla:
- Si colloca al primo posto in quattro set di test compositi su sei
- Copre i dialetti MSA, egiziano, del Golfo, levantino e maghrebino
- I maggiori vantaggi derivanti da scenari conversazionali e multi-dataset come Casablanca
- Preferito per l’inglese con accento arabo nel 77,2% dei test rispetto al modello originale di Cohere
- Valutato all’incirca alla pari con Whisper per l’inglese accentato nel 52,6% dei casi
Cohere offre la licenza Apache 2.0. Ciò significa che gli sviluppatori possono costruire sistemi di intelligenza artificiale sovrani senza chiedere il permesso. È ora disponibile su Hugging Face. Puoi accedervi tramite l’API Cohere con limiti di velocità. Oppure paga per la distribuzione dedicata di Model Vault per un utilizzo di produzione illimitato.
Collegamenti sauditi
Il tempismo conta. Cohere lo ha annunciato assicurandosi un accordo con HUMAIN. L’entità nazionale di IA dell’Arabia Saudita. Fino ad ora, HUMAIN ha costruito la capacità araba attorno ad ALLaM. SDAIA ha lanciato quel modello nel 2023 come il primo modello sovrano del Regno.
La nuova partnership cambia il panorama. Cohere e HUMAIN co-svilupperanno modelli arabi. Inoltre strumenti specifici del settore per uso aziendale. Segna il primo passo significativo di HUMAIN per collaborare con un importante sviluppatore LLM.
Cohere porta sul tavolo un serio sostegno. Hanno raccolto oltre 1,6 miliardi di dollari. Nvidia. AMD. Salesforce. Oracolo. Cisco. Supportato da leggende come Geoffrey Hinton e Fei-Feei Li.
Questo risolverà il divario linguistico dall’oggi al domani? Probabilmente no. Il campo è ampio e i dialetti sono più profondi. Ma per la prima volta da molto tempo. Il riconoscimento vocale arabo potrebbe non essere al secondo posto.
