Tiếng Ả Rập bị phân mảnh - Tại sao ASR chung thất bại phương ngữ và làm thế nào để che chúng
Các phương ngữ Ả Rập khác nhau hoàn toàn (Gulf/Egyptian/Levantine/Maghrebi). ASR chung được đào tạo trên MSA không thành công trên phương ngữ. VoiVision huấn luyện lại hàng ngàn giờ tiếng Ả Rập có giọng để đẩy độ chính xác của phương ngữ vượt qua 90%.
Tiếng Ả Rập: không phải là "một", mà là "nhiều"
Bẫy lớn nhất trong tiếng Ả Rập ASR: bạn nghĩ rằng bạn đang nhận ra "Arab" - nhưng không có tiếng Ả Rập duy nhất. Người Ai Cập, vùng Vịnh, Levantine và Bắc Phi nói hầu như các ngôn ngữ khác nhau.
Đối xử với MSA như là "tiếng Ả Rập" là vấp ngã đầu tiên nhiều đội làm cho tiếng Ả Rập ASR - ngôn ngữ viết và âm thanh của một đường phố Cairo đơn giản là không giống nhau.
Tại sao các giải pháp chung thất bại: điểm chuẩn của chúng tôi
Chúng tôi đã xác nhận các giải pháp chung từng giải pháp một trên các cuộc họp thực tế ở Dubai, Riyadh và Cairo và âm thanh trung tâm cuộc gọi; kết luận là nhất quán:
| Giải pháp | Hiệu suất trên ngôn ngữ này | Nguyên nhân gốc |
|---|---|---|
| SaaS chung chung ASR | Lỗi từ rất cao trên phương ngữ | Được đào tạo chủ yếu về MSA; phủ sóng phương ngữ yếu |
| OpenAI Whisper | Nhiều lỗi hơn dưới phương ngữ mạnh | Mô hình cơ sở giới hạn độ bền cho các phương ngữ; cần tinh chỉnh |
| Microsoft nguồn mở ASR | Lỗi lớn khi trộn phương ngữ | Không có mô hình đa phương ngữ Ả Rập chuyên dụng |
Cuộc xung đột cốt lõi: Các mô hình chung được đào tạo trên MSA, trong khi ngôn ngữ hàng ngày của Vịnh, Ai Cập, Levantine và Maghreb mỗi tạo thành hệ thống riêng của nó - rất khác nhau, chúng tiếp cận các ngôn ngữ riêng biệt.
Cách tiếp cận của VoiVision: đào tạo lại tiếng Ả Rập đa phương ngữ
Chúng tôi không cho rằng một "tiêu chuẩn tiếng Ả Rập" tồn tại; thay vào đó chúng tôi mô hình hóa mỗi phương ngữ như là nhiệm vụ riêng của nó:
- Sưu tập bài phát biểu trong khu vực: Xây dựng một tập hợp tiếng Ả Rập hàng ngàn giờ qua các phương ngữ Ai Cập, Vịnh, Levantine và Maghrebi, với các kịch bản năng lượng / tài chính / chính phủ thực sự.
- Đào tạo lại thích ứng phương ngữ: dạy cho người giải mã sự thay đổi phát âm của mỗi phương ngữ, trao đổi từ vựng và thói quen ngữ pháp.
- Domain từ khóa tiêm: tiêm dầu khí, tài chính và các điều khoản chính phủ để cắt lỗi từ chuyên nghiệp.
- Sản xuất hạ cánh: triển khai đường ống trên thiết bị theo yêu cầu đám mây và trên prem của KSA / UAE; âm thanh và bản ghi không bao giờ rời khỏi cơ sở của khách hàng.
Kết quả đo: mỗi phương ngữ ≥90%
Đo trên âm thanh của khách hàng Ả Rập thực sự, nhận dạng phương ngữ Ai Cập / Vịnh / Levantine / Maghreb đạt 90%+, với lỗi từ trên các phát âm hỗn hợp phương ngữ thấp hơn nhiều các giải pháp chung.
Phương ngữ Ma-rốc (Maghrebi) - xa nhất từ MSA và nơi các mô hình chung sai lầm nhiều nhất - cho thấy lợi ích lớn nhất sau khi đào tạo lại.
Kỹ thuật & tuân thủ: Chủ quyền dữ liệu Trung Đông
Tàu với máy chủ Speech Engine và VV05 / VV10 trên prem của chúng tôi, hoàn toàn trên prem, độ trễ <1s, không có rò rỉ dữ liệu - đáp ứng năng lượng / tài chính / chính phủ Trung Đông.
Các điểm tuân thủ chính:
- Saudi Arabia, UAE và các nước khác yêu cầu dữ liệu chính phủ / năng lượng được địa phương hóa hoặc trên đám mây có chủ quyền;
- Sau khi triển khai tại chỗ, âm thanh và bản sao không bao giờ rời khỏi cơ sở của khách hàng;
- Tích hợp với khách hàng kiểm toán bảo mật hiện có và tuân thủ cơ sở hạ tầng quan trọng.
Các trường hợp sử dụng điển hình
- Các cuộc họp năng lượng / tài chính xuyên biên giới
- Trung tâm cuộc gọi tiếng Ả Rập QA
- Chính phủ / tổ chức đa ngôn ngữ biên bản cuộc họp
Các khuyến nghị triển khai
- Đánh giá phạm vi phủ sóng phương ngữ đầu tiên: bản đồ các quốc gia / phương ngữ mà doanh nghiệp của bạn chạm vào, với một đường cơ sở lỗi từ trên mỗi phương ngữ;
- Đào tạo lại theo ngành: tùy chỉnh dầu khí, tài chính, các thuật ngữ chính phủ và phương ngữ ưu tiên;
- Ra mắt trên Sovereign Cloud cuối cùng: triển khai trong môi trường cục bộ hoặc đám mây chủ quyền được khách hàng chỉ định.
Cần chuẩn nhận dạng phương ngữ Ả Rập?Đặt một Demo và đội ngũ của chúng tôi sẽ cung cấp cho bạn một kế hoạch đào tạo lại cụ thể và cơ sở chính xác.
Câu hỏi thường gặp
Q: Tại sao tiếng Ả Rập ASR khó như vậy?
A: Các phương ngữ (Ai Cập / Vịnh / Levantine / Maghreb) khác nhau hoàn toàn; các mô hình chung được đào tạo trên MSA nhận ra sai chúng.
Q: Tại sao Whisper thất bại trên phương ngữ Ả Rập?
A: Cơ sở của Whisper tập trung vào MSA với phạm vi phủ sóng phương ngữ yếu; cần điều chỉnh mục tiêu.
Q: Làm thế nào để VoiVision đạt được 90%+?
A: Hàng ngàn giờ đào tạo lại tiếng Ả Rập đa phương ngữ + thích nghi phương ngữ + tiêm từ khóa.
Q: Những phương ngữ nào được bao gồm?
A: Ai Cập, Vịnh, Levantine, Maghrebi và nhiều hơn nữa, với tùy chỉnh theo từng quốc gia / từng ngành công nghiệp.
