Cohere di Toronto menjatuhkan bom. Cohere Transkripsikan Bahasa Arab. Sumber terbuka. Ia mengklaim posisi teratas dalam hal akurasi ucapan-ke-teks bagi penutur bahasa Arab. Dan data mendukungnya.
Peninjau yang berbahasa Arab memilih Cohere dibandingkan hasil Whisper dalam 95,8 persen pengujian tatap muka.
Itu adalah tanah longsor. Model ini memiliki 2 miliar parameter. Ini mencetak tingkat kesalahan kata (WER) sebesar 25,88 di papan peringkat Hugging Face. OmniASR Meta tertinggal di 28,32. Whisper Large v3 OpenAI tertinggal lebih jauh di 36,86. Cohere menyebutnya “memakan” persaingan antar dialek.
Masalah dialek
Bahasa Arab rumit untuk mesin. Sekitar 30 juta penuturnya tinggal di Timur Tengah dan Afrika Utara. Namun mereka tidak hanya berbicara bahasa Arab Standar Modern. Ada sekitar 30 dialek. Hanya ada satu bentuk tertulis.
Alat AI saat ini mengalami kesulitan di sini. Mereka cenderung meratakan pidato daerah ke dalam standar MSA. Atau mereka tersedak ketika pembicara beralih kode antara bahasa Arab dan Inggris. Hal ini biasa terjadi dalam lingkungan profesional. Model yang ada saat ini mengacaukan kosakata di tempat kerja seperti “HRIS” atau “cuti tahunan”. Model Cohere menjaga mereka tetap utuh. Ini mempertahankan frase regional. Ini menangani realitas yang berantakan tentang bagaimana orang sebenarnya berbicara.
Mengapa ini penting? Penyedia layanan besar ingin melibatkan pengguna dengan suara asli mereka. Penanganan dialek penting secara komersial. Alat yang ada gagal dalam pengujian tersebut. Transkripsikan bahasa Arab melewatinya.
Di bawah tenda
Model ini mengikuti arsitektur peluncuran Transcribe Cohere sebelumnya pada bulan Maret. Tapi itu berjalan lebih cepat. Jauh lebih cepat. Ini dioptimalkan di sekitar vLLM untuk penggunaan produksi. Ini mencapai kelipatan kecepatan pemrosesan waktu nyata (RTFM) 525. Whisper mencapai 146. OmniASR mencapai 66.
Ini juga berjalan pada perangkat keras konsumen. Tidak diperlukan layanan cloud untuk eksekusi lokal.
Pengelompokan berdasarkan dialek menunjukkan di mana ia bersinar:
- Peringkat pertama pada empat dari enam set pengujian komposit
- Meliputi dialek MSA, Mesir, Teluk, Levantine, dan Maghrebi
- Keuntungan terbesar pada skenario multi-dataset percakapan seperti Casablanca
- Lebih disukai untuk bahasa Inggris dengan aksen Arab di 77,2 persen pengujian dibandingkan model asli Cohere
- Dinilai kira-kira setara dengan Whisper untuk bahasa Inggris beraksen dalam 52,6 persen kasus
Cohere menawarkan lisensi Apache 2.0. Artinya, pengembang dapat membangun sistem AI yang berdaulat tanpa meminta izin. Ini tersedia di Hugging Face sekarang. Anda dapat mengaksesnya melalui Cohere API dengan batas kecepatan. Atau bayar penerapan Model Vault khusus untuk penggunaan produksi tanpa batas.
Koneksi Saudi
Waktu itu penting. Cohere mengumumkan ini sambil mendapatkan kesepakatan dengan HUMAIN. Entitas AI nasional Arab Saudi. Hingga saat ini, HUMAIN membangun kemampuan bahasa Arab di sekitar ALLaM. SDAIA meluncurkan model tersebut pada tahun 2023 sebagai model kedaulatan pertama Kerajaan Arab Saudi.
Kemitraan baru ini mengubah lanskap. Cohere dan HUMAIN akan bersama-sama mengembangkan model Arab. Ditambah alat khusus sektor untuk penggunaan perusahaan. Ini menandai langkah signifikan pertama HUMAIN untuk bermitra dengan pengembang LLM besar.
Cohere memberikan dukungan serius. Mereka telah mengumpulkan lebih dari $1,6 miliar. Nvidia. AMD. Tenaga Penjualan. Peramal. Cisco. Didukung oleh legenda seperti Geoffrey Hinton dan Fei-Feei Li.
Apakah ini akan memperbaiki kesenjangan bahasa dalam semalam? Mungkin tidak. Bidangnya luas dan dialeknya lebih dalam. Tapi untuk pertama kalinya setelah sekian lama. Pengenalan ucapan bahasa Arab mungkin bukan yang kedua.
