정확도의 한계는 모델이 아닌 마이크에 있다: 온프레미스 회의록을 위한 회의실 녹음과 다중 채널 선택

같은 ASR 모델을 사용했더니, 한 회의실에서는 98%의 성능을 보였지만, 다른 회의실에서는 80%에 그쳤습니다. 반면, 회사 소개 모델은 그렇지 않았습니다.

많은 평가에서 전체 예산을 “이 모델이 정확한가?”라는 질문에만 집중합니다. 하지만 실제로 시스템을 사용해보면, 단어장을 설정하고 중요한 단어들을 추가했음에도 불구하고 오류율이 줄어들지 않는다는 것을 알게 됩니다. 그 이유는 간단합니다.

모델은 입력된 오디오 데이터의 한계 내에서만 작동할 수 있습니다. 음질이 나쁜 오디오 파일은 어떠한 모델로도 수정될 수 없습니다.

참고: 공개된 값으로 표시된 수치들은 사양 제품에서 얻은 것입니다. 성능 수준은 일반적인 환경을 기준으로 한 값이며, 음향 조건, 수신 거리, 동시 접속 수 등에 따라 달라질 수 있습니다. 실제 현장에서 측정해야 합니다.

정확도의 최대치는 수집 단계에서 결정됩니다.

먼저, 간과하기 쉬운 사실부터 살펴보겠습니다: 음성 인식는 그 체인에서 가장 중요한 단계 중 하나이며, 이 단계에서는 이전에 일어났던 모든 것을 보상할 수 없습니다.

모델은 “이 단어가 잘못 인식된 것일 수 있다”는 문제를 해결할 수 있습니다. 하지만 “이 문장이 전혀 명확하게 기록되지 않았다”는 문제는 해결할 수 없습니다. 후자의 경우, 음성적으로 세 가지 문제가 발생합니다.

오디오 관련 문제가 있어요.	음향적 원인	더 나은 모델을 사용하여 수정할 수 있습니다.
원거리에서의 감쇠	발언의 에너지는 거리가 멀어질수록 감소합니다. 또한 신호 대 잡음비도 저하됩니다.	기본적으로는 아무것도 없어요.
반향 잔여물	방의 반사광이 말을 오염시킵니다.	부분적으로만
다중 채널 상호작용	중첩된 발언, 채널의 혼합	아니오

첫 번째는 가장 치명적인 것입니다.: 픽업 거리가 증가할수록 직접적인 음성 에너지는 급격히 감소합니다. 반면, 주변 소음은 그대로 유지됩니다. 따라서 신호 대 잡음비는 악화됩니다. 이때 감도를 높이면 소리뿐만 아니라 잡음도 함께 증폭됩니다. 그 결과 소리가 더 크게 들리지만, 정확도는 오히려 떨어질 수 있습니다.

결론적으로, ‘포획’은 이 전체 과정에서 가장 중요한 요소입니다.. 이는 “같은 엔진이라도 다른 공간에서는 전혀 다른 성능을 보인다”는 현상도 설명해줍니다. 즉, 문제가 되는 것은 엔진 자체가 아니라, 바로 그 공간입니다.

세 가지 포착 방법 간의 실제적인 차이점

회의실 화면을 캡처하는 방법에는 대체로 세 가지가 있습니다. 선택할 때는 이 세 가지 방법 중에서 적절한 방법을 선택해야 합니다.

접근 방법	원칙	여러 사람이 함께 말하는 경우	온프레미스 방식이 적합합니다.
전용 오브젝트형 마이크	마이크 배열 + 배열 신호 처리	강력한 성능을 자랑하는 제품으로, 테이블 주변에 모인 사람들을 위해 설계되었습니다.	원주민
회의 시스템의 조합	기존 시스템의 혼합된 출력을 재사용합니다.	중간의 범위, 그 시스템에 의해 결정되는	통합 검증이 필요합니다.
소프트웨어 기반의 로컬 녹음 기능	클라이언트 소프트웨어는 로컬 오디오를 기록합니다.	약한 성능을 가진, 단일 채널만 사용하는 방식입니다.	일반적으로 적합하지 않음

**전방향 음성 수신을 가능하게 하는 특수 설계된 하드웨어 마이크들입니다.**는 테이블 주위에 앉아 있는 사람들을 위해 설계된 제품입니다. 감도는 모든 방향에서 거의 동일합니다. 또한, 소음 억제 기능과 에코 캔슬링 기능이 결합되어 있어, 여러 스피커가 함께 사용해도 음질이 안정적으로 유지됩니다. 음성 전사 모델은 표준 인터페이스를 통해 USB 방향성 마이크를 연결할 수 있으며, 데스크톱 호스트는 외부 마이크를 플러그 앤 플레이 방식으로 연결할 수 있습니다.

회의 시스템의 조합는 편리한 방법처럼 보입니다. 기존 회의 시스템의 오디오 출력을 재사용할 수 있기 때문입니다. 하지만 믹싱의 품질은 그 시스템에 전적으로 의존합니다. 만약 그 시스템이 인간의 청각을 고려하여 설계된 것이 아니라면, 그 시스템의 동적 범위와 신호대잡음비가 모델에 적합하지 않을 수도 있습니다. 따라서 다자간 상황에서의 채널 분리를 반드시 확인해야 합니다. 왜냐하면 믹싱 과정에서 여러 채널이 하나로 합쳐지기 때문에, 화자 분리에는 사용할 수 있는 입력이 남지 않을 수 있기 때문입니다.

소프트웨어 기반의 로컬 녹음 기능는 기본적으로 온프레미스 환경에서 사용하기에 적합하지 않습니다. 단일 채널만을 캡처할 수 있으며, 여러 사람이 함께 참여하는 회의에서는 스피커를 분리할 수 없습니다. 또한, 는 클라이언트가 설치되어야만 작동합니다.

일반적인 장애 모드

• “기록할 수 있다”는 표현을 “번역할 수 있다”로 바꾸는 것.: 회의 시스템에서 사용되는 음성은 인간의 귀를 위해 믹싱된 것이며, 모델들을 위한 것은 아닙니다.
• 포디움 근처에서만 테스트를 진행합니다.: 네 모퉁이와 가장 멀리 있는 자리는 바로 실제 작동 가능한 구역입니다.
• 채널 수를 무시하기: 채널들이 하나로 합쳐지면, 화자 분리는 아무런 입력도 받지 못합니다.

수신 거리와 공간의 음향 성능

pickup distance는 가장 자주 질문되는 항목이며, 대부분의 경우에 대해서는 모호한 답변만이 제공됩니다. 데스크탑 호스트와 외부 전방향 마이크를 사용할 경우, 효과적인 수신 범위는 대략 5에서 10미터까지 정도입니다. 이는 소규모 및 중간 규모의 회의실에 적합합니다.

정답은 더 많은 픽업 지점들입니다. 더 많은 감도를 요구하는 것은 아닙니다. 이는 음향학적인 원인 때문입니다. 말의 에너지는 거리가 멀어질수록 점차 줄어들지만, 소음은 그렇지 않습니다. 따라서 게인을 높이면 두 경우 모두 동일하게 증폭됩니다.

방의 음향 상태도 매우 중요합니다.

• 반향/영향: 유리로 된 벽들, 매끄러운 바닥, 그리고 넓은 공간들은 그 자체의 울림으로 인해 말하는 사람의 목소리를 방해합니다.
• 정상 상태 소음: 에어컨, 프로젝터, 야외 교통 시설 등은 안정적인 특성을 가지고 있으며, 적어도 알고리즘적으로 처리하기에도 적합합니다.
• 일시적인 소음: 의자의 움직임, 문을 세게 닫는 소리, 전화기의 진동 소리 등이 바로 이러한 문제를 일으키는 가장 흔한 원인입니다.

수락 과정에서 두 번의 검토를 진행해야 합니다.: 에어컨이 작동하고 프로젝터도 켜져 있는 상태에서의 테스트와, 조용한 방에서 진행되는 테스트가 있습니다. 조용한 방에서만 진행되는 테스트는 실제 상황과는 다릅니다. 대부분의 회의실에서는 약 40~50 데시벨 정도의 배경 소음이 있습니다.

듀얼 전방향 마이크 + 뼈를 통한 소리 전달 기능: 더 이상 마이크가 필요하지 않습니다.

휴대용 녹음 장치의 경우, 흔히 사용되는 원칙은 “마이크를 더 많이 추가하는 것”입니다. 하지만 마이크의 수가 많다고 해서 음질이 좋아지는 것은 아닙니다. 여러 마이크를 사용하더라도, 그 마이크들이 생성하는 신호는 모두 혼동된 형태로 전달될 뿐입니다.

효과적인 접근 방법은 보완적인 회수 메커니즘입니다.

메커니즘	그것이 포착하는 것은 무엇일까요?	힘	약점
공기 전달 방식 (옴니 마이크)	소리의 파동	넓은 범위의 가능성, 자연스러움	SNR은 과도한 소음에 의해 붕괴됩니다.
뼈를 통한 전달	단단한 표면을 통과하는 진동	심한 소음에도 불구하고, 이해 가능성은 그대로 유지됩니다.	좁은 대역을 사용하려면, 반드시 접촉이 필요합니다.

뼈 전달 값의 경우는 특정한 상황에 해당합니다.: 에어컨, 프로젝터 팬, 또는 야외의 소음이 공기 중의 신호를 이미 손상시켰다면, 접촉을 통해 수집된 음성 데이터는 상대적으로 온전한 상태로 남아 있습니다. 이는 “또 하나의 마이크”가 아니라, 별도의 수집 채널입니다.

예를 들어, 개인용 녹음 카드는 이중 전방향 마이크와 뼈를 통한 소리 전달 기능을 갖춘 장치입니다. 디자인을 사용하며, 5~10미터 범위 내에서 소리를 수집할 수 있습니다. 또한, 녹음된 내용은 자동으로 로컬 서버에 동기화되어 저장됩니다. 이를 통해 “한 번의 터치로 녹음을 하여 AI가 해당 내용을 분석해주는” 방식이 가능합니다. 이러한 기능은 모바일 작업, 인터뷰, 현장 조사와 같은 상황에 매우 유용합니다.

한 방에서 많은 방으로: 동시 실행의 크기 조정

일단 포획이 성공했다면, 다음으로 해야 할 문제는 계산 및 채널들입니다. 여기에는 흔한 실수가 있습니다. 바로 “박스당 채널 수”만을 유일한 기준으로 생각하는 것입니다.

실제 상황에서는 두 가지 별개의 요소를 고려해야 합니다.: 한 방 안에 여러 개의 화자 분리가 존재하는 경우, 그리고 여러 방에서 병렬적으로 작동하는 경우도 있습니다. 첫 번째는 **하나의 오디오 스트림 내에 화자 분리가 포함되어 있습니다.**이고, 두 번째는 **여러 개의 오디오 스트림을 병렬로 번역합니다.**입니다. 이 두 방식은 컴퓨팅 성능을 매우 다르게 활용합니다.

객실 크기에 따라 3개의 층으로 나뉩니다.

티어	사용 사례	일반적인 구성	주요 지표들
데스크톱 호스트	작은 방 하나만 있어요. 개인용 책상도 있습니다.	46TOPS 엣지 컴퓨팅 기능을 갖추고 있으며, 8GB의 메모리와 128GB의 확장 가능한 저장 공간을 제공합니다.	지연 시간이 1초 미만입니다. (공개된 내용)
부서 서버	R&D 센터, 금융 부서, 지역별 네트워크	5개의 동시 채널, 166TOPS, 24GB의 고용량 메모리	엔드투엔드 지연 시간이 1.5초 미만입니다.
엔터프라이즈 서버	정부, 국방, 재정, 의료 분야 및 기타 높은 수준의 규제가 요구되는 분야	10개의 동시 채널, 326개의 TOPS 코드, 48GB의 고용량 메모리	RTF 수치가 0.3 미만이며, 엔드투엔드 지연 시간은 1초 이하입니다.

**“동시에 회의가 진행될 수 있는 공간의 크기”를 기준으로 결정합니다. 그리고 회사 소개의 경우 20% 정도의 여유 공간을 남겨두어야 합니다.**는 특정 장소를 위한 세션을 위해 사용됩니다. 단일 방을 위해 엔터프라이즈 서버를 운영하는 것은 낭비입니다. 여러 방을 위해 데스크톱 호스트를 운영한다면, 대기 시간이 발생할 수밖에 없습니다.

여러 개의 방: 오디오 신호를 집중시키고 클러스터를 제어하기 위한 기능

부서 수준의 서버는 네트워크를 통해 오디오 데이터를 분산하여 처리하는 방식입니다. 기능을 지원합니다. 즉, 여러 방에서 나온 오디오 신호를 하나의 서버에 집중시켜 통합적으로 처리할 수 있습니다. 또한, 웹 콘솔을 통해 시스템을 관리할 수 있습니다. 이렇게 하면 각 방마다 별도의 시스템을 구축할 필요가 없으며, 녹음된 내용도 중앙에서 관리할 수 있습니다.

더 큰 규모에서는, 여러 호스트들이 관리 플랫폼를 통해 관리됩니다. 이를 통해 통합된 인증, 원격 설정, 조율된 스케줄링이 가능하며, 모든 활동에 대한 기록과 녹화도 중앙에서 관리됩니다. 이러한 방식은 **50개 이상의 채널들이 동시에 작동할 수 있습니다.**에도 적용됩니다.

만약 집합 네트워크에서 전송된 채널들이 동기화되지 않는다면, 화자 분리는 채널 불일치로 인해 작동하지 않게 됩니다. 이는 현장에서 오버랩된 음성 녹음을 통해 확인해야 하며, 단일 채널의 결과로 판단해서는 안 됩니다.

수락 체크리스트

#	품목	방법	통과 기준
1	픽업 커버리지	네 개의 모퉁이에서 기록된 최장 거리, 그리고 가장 멀리 위치한 자리	모두 통과합니다.
2	소음에 대한 적응력	AC와 프로젝터를 사용하여 한 번만 작동시킵니다.	오류 발생률은 감소하지 않습니다.
3	멀티-화자 분리	3명 이상의 발언자가 동시에 말하는 경우의 녹음	전체 세그먼트 잘못 지정 없음
4	뼈 전달 효과	높은 소음이 있는 상황에서의 채널들을 비교해보세요.	이해하기 쉬운 정도가 향상되었습니다.
5	동시성	실제로 사용되는 방의 수를 기준으로 한 스트레스 테스트	~20%의 헤드룸 여유
6	오디오 파일의 집계/결합	다중 방을 연결한 네트워크 테스트	타임스탬프가 일치합니다.
7	클러스터 제어	다중 호스트를 통합한 콘솔	로그인/설정/작업 스케줄링
8	자막 및 재생 기능	HDMI의 출력을 점검해 주세요.	발언자 / 시간 / 원문 / 번역

1번과 2번 항목은 가장 자주 무시되는 항목들입니다.: 포디움 근처에서 한 번 테스트를 해보고, 조용한 방에서도 한 번 더 테스트를 하는 것은, 전형적인 “성공은 인정되지만, 실제 생산에서는 실패”라는 상황입니다.

---

더 자세한 정보를 원하시면 다음을 참조해 주세요: Beyond 98% accuracy: five engineering stages that decide minutes quality | Running meeting transcription on Ascend 310P | Choosing an on-premise ASR solution