Предел точности — в микрофоне, а не в модели: захват звука в переговорной и многоканальная параллельность для локальных протоколов
Почему в одной комнате показатель точности измерений достигает 98%, а в другой – всего 80%? Разница обычно не связана с самой моделью микрофона – она связана с условиями использования микрофона в данной комнате. В этой статье рассматривается разница между тремя способами использования микрофонов, как расстояние до объекта и акустика комнаты влияют на результаты измерений, что такое двусторонние микрофоны с функцией передачи звука через кость, и как правильно подбирать количество микрофонов для работы в одной комнате или в нескольких комнатах.
Тот же самый модель ASR показал результат в 98% случаев в одной комнате для проведения собраний. В другой комнате результат составил всего 80% – это модель О нас.
Многие оценки заключаются в том, что вся бюджетная сумма используется для проверки точности модели. Однако при утверждении проекта выясняется, что даже при использовании соответствующего лексикона и добавлении ключевых слов, уровень ошибок все равно не снижается. Причина проста:
Модель может функционировать лишь в пределах ограничений входного аудио. Плохое качество звука не может быть исправлено ни одной моделью.
: Цифры, указанные как опубликованные значения, взяты из продукта Характеристики. Уровни производительности являются типичными для данной среды. Эти значения могут меняться в зависимости от акустических условий, расстояния до датчика и стратегии обработки данных. Необходимо измерять эти параметры на месте.
Уровень точности при захвате данных ограничен.
Начнем с факта, который легко можно упустить: распознавание речи – это тот этап в цепочке, который не может компенсировать то, что произошло до него.
Модель может исправить ошибки, связанные с неправильным распознаванием определенных слов. Но она не может исправить ситуацию, когда предложение вообще не было четко записано. Второй случай проявляется акустически как три проблемы.
| Проблемы с аудио-возможностями | Акустические причины | Можно улучшить модель, чтобы она стала более подходящей для использования. |
|---|---|---|
| Уменьшение сигнала в дальней области распространения | Энергия речи уменьшается по мере удаления от источника звука. Кроме того, уровень сигнала снижается. | По сути, ничего. |
| Остатки реверберации | Отражения в комнате мешают восприятию речи. | Частично |
| Многоканальный перекрестный эффект | Перекрытие диапазонов голосов, смешивание каналов передачи данных | Нет |
По мере увеличения расстояния до устройства, энергия прямого голосового сигнала значительно снижается, в то время как окружающий шум остается неизменным. В результате соотношение сигнала к шуму ухудшается. Увеличение чувствительности приводит к тому, что шум становится более заметным, а точность передачи сигнала может ухудшиться.
Вывод: захват является первой переменной во всей этой цепочке процессов. Это также объясняет, почему «одна и та же машина может работать совершенно по-разному в разных помещениях». Различается не сама машина, а само помещение, в котором она находится.
Реальная разница между тремя подходами к захвату
Возможности записи собраний можно разделить на три основные категории. Необходимо выбрать подходящий вариант для каждой из этих категорий.
| Подход | Принципы | Многоголосое выступление | Офлайн-режим подходит для использования внутри компании. |
|---|---|---|---|
| Особенная микрофонная технология, предназначенная для использования в условиях неоднозначного окружения | Микроэлектронные массивы + обработка сигналов в массиве | Сильный, предназначенный для использования в группе людей, сидящих за одним столом. | Native |
| Составление информации о системе встреч | Использует уже существующую систему для обработки различных видов выходных данных. | Средний уровень, ограниченный этим системой | Необходима проверка на интегративность. |
| Программное обеспечение для локальной записи | Программное обеспечение клиента записывает местный звук. | Слабый канал связи, всего один канал. | В целом не подходят |
ЗУРИХЗ предназначены для людей, сидящих за столом. Чувствительность устройства примерно одинакова в всех направлениях. Вместе с функциями подавления шума и устранения эхо, несколько динамиков обеспечивают стабильное качество звука. Устройство ЗУАЗ использует микрофоны с универсальным радиусом действия через стандартные интерфейсы. Для подключения внешних микрофонов достаточно просто подключить их к устройству.
кажется удобным решением – можно использовать аудиопоток существующей системы совещаний. Но качество сочетания звуков в данном случае полностью зависит от самой системы. Если система создана для человеческого слуха, то её динамический диапазон и уровень шумности могут быть недостаточными для модели. Необходимо проверить функциональность Разделение каналов в ситуациях множественных партий. Ведь при сочетании нескольких каналов часто возникает ситуация, когда разделение по спикерам не имеет подходящих входных данных.
Программное обеспечение для локальной записи в принципе не подходит для использования в локальных условиях. Он позволяет захватить только один канал связи; также не может разделять звуковые сигналы во время многолюдных собраний. Кроме того, его использование требует наличия соответствующего клиентского программного обеспечения.
Общие режимы отказа
- Превращение выражения “может записывать” в выражение “может транскрибировать”: Аудио в системе для встреч смешано таким образом, чтобы оно было понятным для человеческого уха, а не для моделей.
- Тестирование проводится только вблизи пульта управления.: Истинные условия эксплуатации заключаются в четырех углах и в самом дальнем месте.
- Игнорировать количество каналов: Когда каналы объединяются в один, у разделение по спикерам не остается каких-либо входных данных.
Расстояние до динамика и акустика помещения
Расстояние до датчика – это параметр, который чаще всего задают пользователи. Однако ответы на этот вопрос часто являются нечеткими. С использованием настольного компьютера и внешнего микрофона с возможностью обзора вокруг, эффективный диапазон захвата звука составляет примерно 5 до 10 метров. Это подходит для небольших и средних конференц-залов.
Правильный ответ – Больше пунктов доставки, а не какое-либо увеличение чувствительности устройства. Это связано с особенностями акустики: энергия речи уменьшается по мере удаления от источника звука, в то время как шум не уменьшается. Поэтому усилитель усиливает оба типа звуков одинаково.
Акустика в комнате также имеет большое значение.
- : Стеклянные стены, гладкая половая поверхность и огромные пустые комнаты сильно отражают звуки, тем самым нарушая чистоту речи.
- Статический шум: Кондиционирование воздуха, проекторы, оборудование для работы в условиях наружного использования – все это имеет стабильную спектральнуюCHARАТУР и, по крайней мере, может быть обработано с помощью алгоритмов.
- Временные шумы: движение стула, громкий удар по двери, вибрация телефона – самые распространенные причины того, почему все устройства начинают функционировать неправильно.
Проведите два теста на приемлемость.: один из помещений имеет кондиционер и проектор; в другом помещении царит тишина. Тест, проводимый только в тихом помещении, не является полноценным тестом – в большинстве конференц-залов общая уровень шума составляет около 40–50 дБ.
Двойные микрофоны с возможностью работы в обоих направлениях; также имеются микрофоны для передачи звука через кости. Не требуется использовать больше микрофонов.
Обычно при использовании портативных записывающих устройств принято добавлять ещё больше микрофонов. Но количество микрофонов не влияет на качество записи. Множество микрофонов без соответствующего обработки сигнала приводит к тому, что записывается несколько шумных копий одного и того же сигнала.
Эффективный подход – это Комплементарные механизмы захвата.
| Механизм | Что именно оно фиксирует? | Сила | Слабость |
|---|---|---|---|
| Воздушное сообщение (омнимик) | Звуковые волны | Широкий диапазон возможностей, естественность | SNR коллапсирует при высокой степени шума. |
| Конduction костей | Вибрация через твердые поверхности | Понимание текста сохраняется даже при сильном шуме. | Узкая полоса требует контакта с объектом. |
В случае использования метода передачи звука через кости это особый случай.: Когда кондиционеры, вентиляторы проектора или шум снаружи уже разрушают воздушные волны, аудиоданные, полученные через микрофоны, остаются относительно неповрежденными. Это не просто ещё один микрофон – это отдельный канал захвата звука.
Например, персональная карта для записи данных использует дизайн Двухсторонний микрофон с функцией передачи звука по каналам как в одном, так и в другом направлении, плюс функция передачи звука через кости.. Дальность приема сигнала составляет от 5 до 10 метров. Записи автоматически сохраняются на локальном сервере. Это позволяет создать цепочку действий: одним кликом можно записать данные, а затем их можно преобразовать в текст с помощью ИИ. Такая система подходит для мобильной работы, интервью и полевых исследований, когда невозможно использовать стационарные устройства.
От одной комнаты к многим: оценка возможности одновременной работы
Как только проблема с захватом решена, следующий вопрос заключается в определении количества каналов на одну коробку. Здесь существует одна распространенная ошибка: принимают за единственный показатель количество каналов на одну коробку.
В реальных ситуациях необходимо учитывать два разных фактора.: множественные разделение по спикерам в одной комнате, а также параллельное использование ресурсов в разных комнатах. Первый вариант – разделение по спикерам внутри одного аудиосигнала; второй вариант – Множество аудиопотоков транскрибируется параллельно.. Они используют вычислительные ресурсы по-разному.
Три уровня по размеру комнаты:
| Tier | Случай использования | Типичная конфигурация | Ключевые показатели |
|---|---|---|---|
| Портативный хост | Одна маленькая комната, стол для личных нужд | 46 TOPS – процессор с высокой производительностью; 8 ГБ оперативной памяти; 128 ГБ встроенного объема хранения данных, который можно расширить. | Задержка менее 1 секунды (опубликовано) |
| Сервер отдела | Центры исследований и разработок, финансовые подразделения, региональные сети | 5 одновременных канала связи, 166 TOPS, 24 ГБ памяти с высокой пропускной способностью | Время передачи данных от начала до конца составляет менее 1,5 секунд. |
| Энтерпрайз сервер | Правительство, оборонная сфера, финансы, медицинская сфера и другие сферы, требующие высокой степени соблюдения правил | 10 одновременных каналов связи, 326 битов памяти для передачи данных, 48 ГБ высокопроизводительной памяти. | Показатель RTF ниже 0,3; время обработки данных от начала до конца составляет менее 1 секунды. |
Размер должен соответствовать количеству комнат, в которых одновременно проходят собрания. Необходимо оставить запас в 20% от обычного размера. предназначен для использования в специальных сессиях. Использование корпоративного сервера только для одной комнаты – это бесполезно. А использование настольных серверов для нескольких параллельных комнат приводит к необходимости ожидания в очереди.
Множество комнат: аудиообработка и управление кластерами
Серверы на уровне отделов поддерживают функцию Распределение аудио-сигналов по сети – аудиоматериалы из нескольких комнат собираются на один сервер для последующего обработки. Для управления этим процессом используется веб-консоль. Это позволяет избежать необходимости развертывания отдельных систем для каждой комнаты, а также обеспечивает централизованное управление записями и данными о звуке.
На более крупном уровне множество хостов управляется с помощью Платформа управления для контроля кластера: осуществляется единая аутентификация, удаленное настройка и согласованное планирование действий. Протоколы и записи также управляются централизованно. Указанные цифры применимы и к 50+ каналов с множественной одновременной работой.
Если каналы, поступающие из агрегирующей сети, не синхронизированы, то устройство разделение по спикерам будет не функционировать корректно из-за несоответствия каналов друг другу. Это необходимо проверить на месте с помощью записи речи, в которой все каналы совпадают друг с другом. Нельзя судить об этом только на основании результатов работы одного канала.
Контрольный список приемки
| # | Пункт | Метод | Критерий прохождения |
|---|---|---|---|
| 1 | Охват покрытия | Записываем результат в четырех углах и в самом дальнем месте. | Все проходят |
| 2 | Толерантность к шуму | Один проход с использованием AC и проектора. | Уровень ошибок не снижается. |
| 3 | Мульти-ЗКЯЗ | Запись трех и более участников сливается в одну запись. | Отсутствие ошибочного присвоения всего сегмента |
| 4 | Преимущества передачи звука через кости | Сравните каналы, находящиеся в условиях сильного шума. | Понятность текста улучшается. |
| 5 | Конкурентность | Тест на усталость при учете фактического количества комнат | ~20% свободного пространства для мозга |
| 6 | Аудио-агрегаторы | Тесты в многоуровневой сетевой среде | Время отправки и времени обработки данных согласованы. |
| 7 | Управление кластерами | Унифицированный консоль с множеством хостов | Авторизация/конфигурация/распределение задач |
| 8 | Субтитры и воспроизведение | Проверьте результаты работы устройства HDMI. | Обладатель голоса / Время / Оригинал / Перевод |
Пункты 1 и 2 чаще всего пропускаются.: Один раз тестирование вблизи пьедестала, ещё один раз – в тихой комнате. Это классический случай, когда происходит проверка на соответствие требованиям, а затем происходят неудачи при производственной сборке.
Дополнительная литература: Beyond 98% accuracy: five engineering stages that decide minutes quality | Running meeting transcription on Ascend 310P | Choosing an on-premise ASR solution
FAQ
Q: Почему один и тот же модель показывает совершенно разную точность работы в разных конференц-залах?
A: Поскольку максимальная точность обработки звука определяется входным сигналом, модель может приближаться к этой точке, но не превышать её. Уменьшение четкости звука в дальней области, остаточные эффекты реверберации и проблемы с перекрытием сигналов между несколькими каналами – это проблемы, которые никак не могут быть решены за счет увеличения объема обработки данных. Чем больше расстояние до источника звука, тем сильнее реверберация в помещении. Чем больше людей говорят одновременно, тем ниже уровень соотношения сигнал/шум, а тем выше уровень ошибок в обработке звука.
Q: В чем разница между полностью беспередним микрофоном и обычным микрофоном?
A: Омнидирективный микрофон имеет примерно одинаковую чувствительность во всех направлениях. Это удобно для людей, сидящих за столом. Обычные микрофоны имеют ограниченную директивность: они хорошо работают, когда находятся рядом с одним устройством звучания, но их производительность значительно снижается, когда люди перемещаются или несколько человек говорят одновременно. В конференц-залах также необходимо обеспечить снижение шума и устранение эха. Установка возможности записи и транскрибирования звука – это два разных процесса.
Q: Для чего используется метод передачи звука через кости?
A: Система передачи звука по костям фиксирует вибрации через твердую поверхность, а не через воздух. Ее преимущество заключается в том, что она обеспечивает четкое восприятие голоса даже при сильном шуме. Когда шум от кондиционеров, вентиляторов или других источников шума уже делает соотношение звука и шума нечетким, голос все равно может быть правильно воспринят благодаря этой системе.
Q: Что на самом деле означает дальность действия устройства в пределах от 5 до 10 метров?
A: Это определяет размер помещения, который может быть охвачен одним микрофоном. При использовании настольного хоста вместе с внешним микрофоном эффективная площадь захвата составляет примерно 5–10 метров. Это подходит для небольших и средних конференц-залов. После этого диапазона энергия речи начинает снижаться, а эффект реверберации усиливается. Увеличение чувствительности лишь усиливает шум вместе с речью. Правильный выбор – это больше точек захвата, а не увеличение уровня генерации звука.
Q: Как мне выбрать количество одновременно доступных каналов?
A: Рассчитывайте количество серверов исходя из количества комнат, в которых одновременно проводятся собрания. Для одной небольшой комнаты достаточно одного сервера. Для множества комнат на уровне отделов необходим сервер с пятью каналами обработки данных. Для штаб-квартир, государственных или медицинских учреждений, где несколько комнат работают параллельно, требуется сервер с десятью каналами обработки данных. Множество серверов также можно управлять как один кластер, с использованием единого механизма авторизации, удаленной конфигурации и координации расписания работы серверов. Обычно используется более 50 каналов для обработки данных в режиме кластера.
Q: Как осуществляется объединение аудиозаписей из нескольких конференц-залов?
A: Серверы на уровне отделов обеспечивают распределенную обработку аудиоданных через сеть: аудиоматериал из нескольких комнат собирается на один сервер для последующей обработки. Для управления этим процессом используется веб-консоль. Это позволяет избежать необходимости развертывания отдельной системы для каждой комнаты, а также позволяет централизованно управлять транскриптами и записями.
Q: Должны ли оборудование для захвата и движок речевая транскрипция производиться одним и тем же поставщиком?
A: Не обязательно, но необходимо проверить совместимость интерфейсов и синхронизацию таймсекунд. Сторона речевая транскрипция, как правило, использует USB-микрофоны или аудиоустройства местной конференц-системы через стандартные интерфейсы. Если устройства для записи звука и речевая транскрипция производятся разными компаниями, необходимо проверить формат аудио, частоту дискретизации и синхронизацию таймсекунд. В противном случае устройство разделение по спикерам не сможет работать корректно из-за несоответствия каналов передачи данных.
Q: Как обеспечивается безопасность данных для оборудования для захвата информации в локальной среде?
A: Устройства класса Recorder синхронизируют записи с локального сервера, а не с облачных серверов. Также процесс генерации данных речевая транскрипция и протокол совещания происходит полностью в локальной среде; поэтому аудио и текст никогда не покидают интранет. Во время выбора необходимо убедиться, что целевым сервером для синхронизации является локальный сервер, а сам канал синхронизации зашифрован.