Firma Cohere z siedzibą w Toronto dokonała prawdziwego zamachu stanu, wprowadzając Cohere Transcribe Arabic. To rozwiązanie typu open source twierdzi, że jest numerem jeden pod względem dokładności zamiany mowy na tekst dla użytkowników arabskojęzycznych. A liczby to potwierdzają.
Rodzimi arabscy recenzenci w 95,8% przypadków w bezpośrednich testach porównawczych wybierali wyniki Cohere sprzed wydania Whisper.
To miażdżące zwycięstwo. Model zawiera 2 miliardy parametrów. Na liście liderów Hugging Face jej współczynnik błędów rozpoznawania słów (WER) wynosi 25,88%. Rozwiązanie Meta, OmniASR, pozostaje w tyle z wynikiem 28,32%. Opóźnienie OpenAI Whisper Large v3 jest jeszcze większe – 36,86%. Cohere twierdzi, że jego model „rozprasza” konkurentów we wszystkich dialektach.
Problem dialektów
Arabski jest trudnym językiem dla maszyn. Posługuje się nim około 30 milionów ludzi na Bliskim Wschodzie i w Afryce Północnej. Ale nie tylko używają języka Modern Standard Arabic (MSA). Istnieje około 30 dialektów, chociaż istnieje tylko jeden standard pisany.
Nowoczesne narzędzia AI zawodzą tutaj. Często redukują mowę regionalną do standardowego MSA. Lub „jąkają się”, gdy mówca przełącza się z arabskiego na angielski (przełączanie kodu). Jest to typowe w środowisku zawodowym. Istniejące modele błędnie przedstawiają terminy operacyjne, takie jak „HRIS” (system zarządzania zasobami ludzkimi) lub „urlop roczny”. Model Cohere utrzymuje je w stanie nienaruszonym. Uwzględnia regionalne cechy frazowania i radzi sobie z chaosem prawdziwej mowy na żywo.
Dlaczego to jest ważne? Duzi dostawcy usług chcą komunikować się z użytkownikami w ich języku ojczystym, uwzględniając specyfikę regionu. Przetwarzanie dialektów ma znaczenie komercyjne. Istniejące narzędzia nie przechodzą tego testu. Transkrypcja języka arabskiego – wytrzymuje.
Co kryje się pod maską
Model opiera się na architekturze poprzedniej wersji Cohere Transcribe z marca. Ale działa szybciej. Zauważalnie szybciej. Jest zoptymalizowany pod kątem vLLM do użytku w środowisku produkcyjnym. Jego rzeczywisty współczynnik szybkości przetwarzania (RTFM) wynosi 525. Whisper ma ten wskaźnik – 146, OmniASR – 66.
Model działa również na sprzęcie konsumenckim. Do lokalnego wykonania nie są wymagane żadne usługi w chmurze.
Wskaźniki dialektu pokazują jego mocne strony:
- Pierwsze miejsce w czterech z sześciu złożonych zestawów testowych
- Obsługuje dialekty MSA, egipskie, bliskowschodnie (Zatoka), lewantyńskie i maghrebskie
- Największy postęp w scenariuszach konwersacyjnych z wieloma zbiorami danych, takimi jak Casablanca
- Wybrany w 77,2% testów w porównaniu z oryginalnym modelem Cohere podczas pracy z językiem angielskim z akcentem arabskim
- Wyniki na poziomie szeptu w przypadku języka angielskiego z akcentem w 52,6% przypadków
Cohere oferuje licencję Apache 2.0. Oznacza to, że programiści mogą tworzyć suwerenne systemy AI bez pytania o pozwolenie. Modelka jest już dostępna na Hugging Face. Dostęp jest również możliwy poprzez Cohere API (z limitami żądań) lub płatne dedykowane wdrożenie Model Vault do nieograniczonego wykorzystania w środowisku produkcyjnym.
Połączenia z Arabią Saudyjską
Ważna jest także terminowość. Firma Cohere ogłosiła wprowadzenie tego produktu w związku z zawarciem umowy z HUMAIN, krajową agencją AI w Arabii Saudyjskiej. Do tej pory HUMAIN budował swoje arabskie możliwości wokół modelu ALLaM. SDAIA uruchomiła go w 2023 r. jako pierwszy suwerenny model Królestwa.
Nowe partnerstwo zmienia układ sił. Cohere i HUMAIN wspólnie opracują modele arabskie i specjalistyczne narzędzia do użytku w przedsiębiorstwach. To pierwszy znaczący krok HUMAIN w kierunku współpracy z liczącym się deweloperem LLM.
Cohere oferuje poważne zasoby. Zebrali ponad 1,6 miliarda dolarów. Inwestorzy to Nvidia, AMD, Salesforce, Oracle, Cisco. Wsparcie takich legend jak Geoffrey Hinton i Fei-Fei Lee.
Czy to rozwiąże z dnia na dzień problem bariery językowej? Najprawdopodobniej nie. Pole jest szerokie, a dialekty głębokie. Ale po raz pierwszy od dłuższego czasu rozpoznawanie mowy arabskiej nie może zająć drugiego miejsca.
