Компания из Торонто, Cohere, устроила настоящий переворот, представив Cohere Transcribe Arabic. Это решение с открытым исходным кодом претендует на первое место по точности преобразования речи в текст для арабскоязычных пользователей. И цифры это подтверждают.
Ревьюеры — носители арабского языка — выбрали результат Cohere перед выходом Whisper в 95,8% случаев в прямых сравнительных тестах.
Это разгромная победа. Модель содержит 2 миллиарда параметров. На лидерборде Hugging Face её коэффициент ошибки распознавания слов (WER) составляет 25,88%. Решение от Meta, OmniASR, отстаёт с показателем 28,32%. OpenAI Whisper Large v3 отстает ещё сильнее — 36,86%. В Cohere говорят, что их модель «разносит» конкурентов по всем диалектам.
Проблема диалектов
Арабский язык сложен для машин. Около 30 миллионов человек на Ближнем Востоке и в Северной Африке говорят на нём. Но они используют не только современный литературный арабский язык (MSA). Существует около 30 диалектов, хотя единая письменная норма только одна.
Современные инструменты ИИ здесь буксуют. Они часто сводят региональную речь к стандартному MSA. Или «запинаются», когда говорящий переходит с арабского на английский (code-switching). Это типично для профессиональной среды. Существующие модели искажают рабочие термины, такие как «HRIS» (система управления персоналом) или «annual leave» (ежегодный отпуск). Модель Cohere сохраняет их нетронутыми. Она учитывает региональные особенности фразировки и справляется с хаосом реальной живой речи.
Почему это важно? Крупные сервисные провайдеры хотят взаимодействовать с пользователями на их родном языке, включая региональные особенности. Обработка диалектов имеет коммерческое значение. Существующие инструменты не выдерживают этой проверки. Transcribe Arabic — выдерживает.
Что под капотом
Модель построена на архитектуре предыдущего выпуска Cohere Transcribe от марта. Но она работает быстрее. Заметно быстрее. Она оптимизирована под vLLM для использования в production-среде. Её коэффициент реальной скорости обработки (RTFM) составляет 525. У Whisper этот показатель — 146, у OmniASR — 66.
Модель также запускается на потребительском оборудовании. Для локального выполнения не требуются облачные сервисы.
Показатели по диалектам показывают её сильные стороны:
- Первое место по четырём из шести составных тестовых наборов
- Поддержка диалектов MSA, египетского, ближневосточного (Галф), левантийского и магрибского
- Наибольший прогресс в разговорных сценариях с множественными датасетами, таких как Casablanca
- Выбор в 77,2% тестов против исходной модели Cohere при работе с английским языком с арабским акцентом
- Оценка на уровне Whisper для английского с акцентом в 52,6% случаев
Cohere предлагает лицензию Apache 2.0. Это значит, что разработчики могут создавать суверенные системы ИИ, не запрашивая разрешения. Модель уже доступна на Hugging Face. Доступ также возможен через API Cohere (с лимитами запросов) или платное выделенное развертывание Model Vault для безлимитного использования в production.
Связи с Саудовской Аравией
Важна и своевременность. Cohere анонсировала этот продукт параллельно с закрытием сделки с HUMAIN — национальным агентством ИИ Саудовской Аравии. До сих пор HUMAIN строила арабские возможности вокруг модели ALLaM. SDAIA запустила её в 2023 году как первую суверенную модель Королевства.
Новое партнерство меняет расстановку сил. Cohere и HUMAIN будут совместно разрабатывать арабские модели и специализированные инструменты для корпоративного использования. Это первый значимый шаг HUMAIN к сотрудничеству с крупным разработчиком LLM.
Cohere привносит серьезные ресурсы. Они привлекли более 1,6 млрд долларов. Среди инвесторов — Nvidia, AMD, Salesforce, Oracle, Cisco. Поддержка таких легенд, как Джеффри Хинтон и Фэй-Фэй Ли.
Решит ли это проблему языкового барьера в одночасье? Скорее всего, нет. Поле широкое, а диалекты глубоки. Но впервые за долгое время распознавание арабской речи может не занимать второе место.
