Как мы решаем акцентный китайский и английский ASR в Юго-Восточной Азии (точность 90%+)

В Юго-Восточной Азии «стандартный акцент» не существует

Для китайского и английского ASR легко предположить, что учебных корпусов «стандартного мандарина» и «британского / американского английского» достаточно.В тот момент, когда ваш бизнес достигает Юго-Восточной Азии, это предположение рухнет.

В Юго-Восточной Азии нет «стандартного акцента» - одна встреча может смешивать сингапурский мандарин, малазийский мандарин и синглиш, с акцентами, заимствованными словами и переплетающимися диалектами.Общие модели ASR едва справляются.

Именно поэтому многие команды по глобализации сообщают: SaaS распознавание речи, который отлично работал внутри страны, внезапно «не может понять людей» в залах встреч в Сингапуре, Куала-Лумпуре и Бангкоке.

Почему общие SaaS и модели с открытым исходным кодом терпят неудачу

Мы использовали общие готовые решения по реальным сценариям в Юго-Восточной Азии.Приговор был последовательным:

Решение	Использование на юго-азиатских акцентах	Коренная причина
Общий SaaS ASR	Заметно более высокий уровень ошибок в словах	Обучен на стандартном мандаринском / британско-американском английском языке; слабое освещение акцентом
OpenAI Whisper	Больше ошибок при сильных акцентах	Базовая модель имеет ограниченную акцентную надежность; требует целевой тонкой настройки
Microsoft open source ASR	Большие ошибки при заимствовании слов / смешивании диалектов	Нет специального моделирования многоязычных заимствованных слов и акцентов Юго-Азиатского языка

Основный конфликт: Языковые способности этих моделей построены на стандартной речи, в то время как повседневная коммуникация в Юго-Восточной Азии построена на слое за слоем смещения акцентов.

• Юго-азиатский мандарин: сингапурский и малазийский мандарин встраивают английские слова непосредственно ("Я бронирую комнату lah") и смешивают термины на хоккианском, теочевском, хаккаском диалектах;
• Южно-азиатский английский: Синглийский и манглийский используют интонацию китайского стиля; тайский и вьетнамский английский резко отличаются от британского / американского английского в согласных и связанной речи.

Общие модели декодирования «стандартным звуком» естественно увеличивают ошибку на этих входах.

Подход VoiVision: переподготовка на тысячи часов

Вместо того, чтобы заставлять одну «универсальную модель» обрабатывать каждый акцент, мы Переподготовка модели с собственным голосом Юго-Восточной Азии:

1. Сбор речи в регионе: Создать мандаринский + английский корпус Тысячи часов, охватывающий множество национальных акцентов, извлеченных из реального общения в Сингапуре, Малайзии, Таиланде, Вьетнаме и других странах;
2. Переподготовка с акцентом: применять адаптацию акцентов на верхней части базовой возможности, чтобы декодер узнал общие сдвиги произношения, тона и заимствованные слова в регионе;
3. Доменное введение ключевое слово: динамически вводит отраслевые термины, названия и аббревиатуры клиента в качестве ключевое слово, чтобы еще больше сократить количество ошибок в профессиональных сценариях;
4. Инженер по производству: в паре с процессором на устройстве из нашего ASR Recognition Optimization solution (AGC / AEC / ANC + OCR экрана ключевое слово инъекция) для запуска переобученной модели на помещениях заказчика.

Результат: акцентный мандарин и акцентный английский ≥90%

Измеренные на реальных встречах с клиентами в Юго-Восточной Азии и аудио в колл-центре:

• Акцентированный мандарин (сингапурский / малазийский мандарин и т. д.)Точность ≥90%;
• Английский с акцентом (Singlish, Manglish, Thai / Vietnamese English и т. д.)Точность ≥90%;
• Коэффициент ошибок в словах при заимствованных словах и смешанных диалектах резко падает по сравнению с общим SaaS / Whisper.

Ключевым является не «большая модель», а «модель, которая понимает звук этой земли.Тысячи часов речи в регионе превращают слово «не понимаю» в «слышно». "

Инженерное обеспечение и соответствие требованиям: жесткие требования для глобализации

Юго-Восточная Азия часто связана с трансграничным соблюдением и ограничениями проживания данных.Переобученная модель VoiVision не опирается на выводы публичного облака:

• Корабли с Speech Engine (software only) и VV05 / VV10 on-prem servers;
• Запускает полностью на месте, сквозная латента менее 1 секунды;
• Аудио и транскрипты Никогда не покидайте помещения, отвечающие требованиям для предприятий глобализации и транснациональных корпораций;
• Интегрирует с WeCom / DingTalk / Feishu OA - см. OA Integration in Practice.

Типичные случаи использования

• Многонациональные совещания: команды по Сингапуру, Куала-Лумпуру и Бангкоку в одном звонке, точно транскрибировано несмотря на смешанные акценты;
• Юго-Восточной Азии Call Centers: auto-речевая транскрипция и QA тайских / вьетнамских английских звонков поддержки;
• Трансграничная подготовка кадров и практикумы: структурированный захват многоакцентных дискуссий и обучения.

Рекомендации по развертыванию

• Оценка сначала: отправьте нам реальные записи от ваших команд в Юго-Восточной Азии для проверки распознавания акцентов, чтобы увидеть текущий разрыв в ошибках слов;
• Переподготовка: создание регионального ретрайна плюс настройка ключевое слово на тысячи часов акцентированной речи;
• Развертывание: входит в частный сектор, интегрируется с существующими OA и системами записи.

Нужна оценка признания акцентов для вашего бизнеса в Юго-Восточной Азии? Book a Demo и наша техническая команда предоставим вам конкретный план переподготовки и исходную точку.