Společnost Cohere se sídlem v Torontu vytvořila skutečný převrat zavedením Cohere Transcribe Arabic. Toto open source řešení prohlašuje, že je číslo jedna v přesnosti převodu řeči na text pro arabsky mluvící uživatele. A čísla to potvrzují.
Nativní arabští recenzenti zvolili výsledek Cohere před Whisperem v 95,8 % případů v přímých srovnávacích testech.
Tohle je drtivé vítězství. Model obsahuje 2 miliardy parametrů. V žebříčku Hugging Face je její chybovost při rozpoznávání slov (WER) 25,88 %. Řešení společnosti Meta, OmniASR, zaostává s 28,32 %. OpenAI Whisper Large v3 zaostává ještě dále – 36,86 %. Cohere říká, že jeho model „rozptýlí“ konkurenty napříč všemi dialekty.
Problém dialektů
Arabština je pro stroje obtížný jazyk. Hovoří jím asi 30 milionů lidí na Blízkém východě a v severní Africe. Ale nepoužívají jen moderní standardní arabštinu (MSA). Existuje asi 30 dialektů, i když existuje pouze jedna psaná norma.
Moderní nástroje umělé inteligence zde pokulhávají. Často redukují regionální řeč na standardní MSA. Nebo se „zadrhnou“, když se reproduktor přepne z arabštiny do angličtiny (přepínání kódu). To je typické v profesionálním prostředí. Stávající modely zkreslují provozní termíny jako „HRIS“ (systém řízení lidských zdrojů) nebo „roční dovolená“. Model Cohere je zachovává nedotčené. Zohledňuje regionální rysy frázování a vyrovnává se s chaosem skutečné živé řeči.
Proč je to důležité? Velcí poskytovatelé služeb chtějí komunikovat s uživateli v jejich rodném jazyce, včetně regionálních specifik. Zpracování dialektů má komerční význam. Stávající nástroje tímto testem neprojdou. Přepis arabsky – vydrží.
Co je pod kapotou
Model staví na architektuře předchozího vydání Cohere Transcribe z března. Ale funguje to rychleji. Znatelně rychlejší. Je optimalizován pro vLLM pro použití v produkčním prostředí. Jeho skutečný faktor rychlosti zpracování (RTFM) je 525. Whisper má tento indikátor – 146, OmniASR – 66.
Model také běží na spotřebním hardwaru. Pro místní spuštění nejsou vyžadovány žádné cloudové služby.
Dialektové ukazatele ukazují jeho silné stránky:
- První místo ve čtyřech ze šesti složených testovacích sad
- Podporuje MSA, egyptštinu, blízkovýchodní (záliv), levantské a maghrebské dialekty
- Největší pokrok v konverzačních scénářích s více datovými sadami, jako je Casablanca
- Vybráno v 77,2 % testů oproti původnímu modelu Cohere při práci s angličtinou s arabským přízvukem
- Skóre na úrovni Whisper pro angličtinu s diakritikou 52,6 % času
Cohere nabízí licenci Apache 2.0. To znamená, že vývojáři mohou vytvářet suverénní systémy umělé inteligence, aniž by žádali o povolení. Model je již dostupný na Hugging Face. Přístup je také možný prostřednictvím rozhraní Cohere API (s limity požadavků) nebo placeného vyhrazeného nasazení Model Vault pro neomezené použití v produkci.
Spojení se Saúdskou Arábií
Důležitá je také včasnost. Společnost Cohere oznámila tento produkt v souvislosti s uzavřením dohody s HUMAIN, saúdskoarabskou národní agenturou pro umělou inteligenci. Až dosud HUMAIN stavěl své arabské schopnosti na modelu ALLaM. SDAIA jej uvedla na trh v roce 2023 jako první suverénní model království.
Nové partnerství mění poměr sil. Cohere a HUMAIN budou společně vyvíjet arabské modely a specializované nástroje pro podnikové použití. Jde o první významný krok společnosti HUMAIN ke spolupráci s významným vývojářem LLM.
Cohere přináší na stůl seriózní zdroje. Získali přes 1,6 miliardy dolarů. Mezi investory patří Nvidia, AMD, Salesforce, Oracle, Cisco. Podpora od legend jako Geoffrey Hinton a Fei-Fei Lee.
Vyřeší to problém jazykové bariéry přes noc? S největší pravděpodobností ne. Pole je široké a dialekty hluboké. Ale poprvé po dlouhé době nemusí být rozpoznávání arabské řeči na druhém místě.
