Cohere de Toronto lançou uma bomba. Cohere Transcrever Árabe. Código aberto. Ele reivindica o primeiro lugar em precisão na conversão de fala em texto para falantes de árabe. E os dados comprovam isso.
Revisores nativos de língua árabe escolheram Cohere em vez do resultado de Whisper em 95,8% dos testes comparativos.
Isso é um deslizamento de terra. O modelo possui 2 bilhões de parâmetros. Ele obtém uma taxa de erro de palavras (WER) de 25,88 na tabela de classificação Hugging Face. O OmniASR da Meta está atrasado em 28,32. O Whisper Large v3 da OpenAI fica ainda mais atrás em 36,86. Cohere chama isso de “comer” a competição entre dialetos.
O problema do dialeto
O árabe é complicado para máquinas. Aproximadamente 30 milhões de falantes vivem no Oriente Médio e no Norte da África. Mas eles não falam apenas o árabe padrão moderno. Existem cerca de 30 dialetos. Existe apenas uma forma escrita.
As ferramentas atuais de IA enfrentam dificuldades aqui. Eles tendem a nivelar o discurso regional em MSA padrão. Ou engasgam quando o código do locutor alterna entre árabe e inglês. Isso é comum em ambientes profissionais. Os modelos existentes distorcem o vocabulário do local de trabalho, como “HRIS” ou “licença anual”. O modelo de Cohere os mantém intactos. Ele preserva o fraseado regional. Ele lida com a realidade confusa de como as pessoas realmente falam.
Por que isso importa? Grandes provedores de serviços desejam envolver os usuários com sua voz nativa. O manuseio do dialeto é comercialmente importante. As ferramentas existentes falham nesse teste. Transcrever árabe passa.
Sob o capô
O modelo segue a arquitetura do lançamento anterior do Transcribe da Cohere, de março. Mas corre mais rápido. Muito mais rápido. Ele é otimizado em torno do vLLM para uso em produção. Ele atinge um múltiplo de velocidade de processamento em tempo real (RTFM) de 525. Whisper atinge 146. OmniASR atinge 66.
Ele também roda em hardware de consumo. Não são necessários serviços em nuvem para execução local.
A divisão por dialeto mostra onde ele brilha:
- Fica em primeiro lugar em quatro dos seis conjuntos de testes compostos
- Abrange dialetos MSA, egípcio, do Golfo, levantino e magrebino
- Maiores ganhos em cenários conversacionais com vários conjuntos de dados, como Casablanca
- Preferido para inglês com sotaque árabe em 77,2% dos testes em relação ao modelo original de Cohere
- Avaliado aproximadamente no mesmo nível do Whisper para inglês com sotaque em 52,6% dos casos
Cohere oferece licenciamento Apache 2.0. Isso significa que os desenvolvedores podem construir sistemas soberanos de IA sem pedir permissão. Já está disponível no Hugging Face. Você pode acessá-lo através da API Cohere com limites de taxa. Ou pague pela implantação dedicada do Model Vault para uso de produção ilimitado.
Conexões sauditas
O tempo é importante. Cohere anunciou isso enquanto fechava um acordo com a HUMAIN. Entidade nacional de IA da Arábia Saudita. Até agora, a HUMAIN construiu capacidade árabe em torno do ALLaM. A SDAIA lançou esse modelo em 2023 como o primeiro modelo soberano do Reino.
A nova parceria muda o cenário. Cohere e HUMAIN irão co-desenvolver modelos árabes. Além de ferramentas específicas do setor para uso empresarial. Isso marca o primeiro movimento significativo da HUMAIN em parceria com um grande desenvolvedor de LLM.
Cohere traz um apoio sério à mesa. Eles arrecadaram mais de US$ 1,6 bilhão. Nvidia. AMD. Força de vendas. Oráculo. Cisco. Apoiado por lendas como Geoffrey Hinton e Fei-Feei Li.
Isso resolverá a lacuna linguística da noite para o dia? Provavelmente não. O campo é amplo e os dialetos são mais profundos. Mas pela primeira vez em muito tempo. O reconhecimento de fala árabe pode não ficar em segundo lugar.
