VoiVision 가 대학 교실에서 높은 ASR 정확도를 달성하는 방법

대학 교실의 ' Jargon Wall '

대학 강의실은 일반 ASR 엔진에 악몽입니다.한 교수가 ' 라그란지 승수법 ' 이라고 말했고, 엔진은 ' 라그란지 복수 발사법 ' 을 기록했다. "미토콘드리아 내막 호흡 체인 " 은 " 내 발가락 건조 골목 내막 호흡 체인 " 이 된다. "

엔진이 고장난 것은 아닙니다 - 단순히 이러한 도메인에 대한 사전 지식이 없습니다.

핵심 문제: 일반 ASR 언어 모델은 "일상 중국어 + 일반 뉴스" 를 다루고 있습니다. "대조적으로, 대학 캠퍼스는 수백 개의 틈새 분야에 걸쳐 있으며, 각각은 자체 용어, 약어 및 기호 읽기 규칙을 가지고 있습니다.

VoiVision 교실 파이프라인: 4 단계 폐쇄 루프

VoiVision 는 대학 교실을 위해 특별히 "스크린 콘텐츠가 ASR 를 공급" 하는 파이프라인을 설계했습니다.

단계	무슨 일이 일어나는지	구성요소
1.화면 캡처	강사의 슬라이드 / 화이트보드는 유선 또는 무선 캐스팅을 통해 캡처됩니다.	BJ66 박스 (HDMI - in + AirPlay / Miracast / BJcast 무선)
2. 온디바이스 OCR	프레임별로 OCR 가 슬라이드에서 텍스트를 추출합니다.	온디바이스 대형 모델 OCR 를 사용하는 오프라인 음성 전사 서버
3.도메인 탐지 + KB 스위치	OCR 텍스트는 코스 도메인을 자동으로 검색하고 일치하는 지식 기반으로 전환하는 데 사용됩니다.	지식 기반 엔진 (200 개 이상의 학문 사전 사전 사전 로드)
4. ASR 에 핫워드 주입	도메인 용어, 이름 및 공식 기호는 ASR 디코더에 핫워드 로 동적으로 주입됩니다.	오프라인 음성 전사 서버 (VV05 / VV10)

왜 OCR + ASR 가 ' 더 큰 모델을 훈련하라 ' 를 이길까

전통적인 접근 방식 - "모든 분야를 다루는 하나의 거대 언어 모델을 훈련" - 은 다음과 같은 이유로 작동하지 않습니다:

• 도메인 범위가 너무 넓어서 모델 크기 및 지연 시간을 제어할 수 없습니다.
• 새로운 과정과 업데이트 된 교과서가 매년 나타나지만, 정적 모델은 따라갈 수 없습니다.

키 인사이트: ASR 에 존재하는 모든 단어를 가르치지 마십시오. 지금 이 강의의 슬라이드입니다. 에 있는 단어만 가르쳐주세요

슬라이드의 텍스트는 이 강의에 대한 정확한 "어휘 범위" 를 제공합니다. OCR - 추출된 텍스트는 ASR 디코더의 검색 공간을 좁히고, 100, 000 개의 후보 중에서 "Lagrange multiplier method" 를 상위 몇 개로 밀어 넣습니다.

하드웨어 구성

• 화면 캡처: Bijie BJ66 Collaboration System, 16 개의 동시 스트림, 유선 HDMI 및 무선 캐스팅을 통한 듀얼 채널 캡처;
• 음성 전사 & OCR: VV05 department server (중형 교실) 또는 VV10 enterprise server (대형 강의실), 완전히 오프라인;
• 배포: 교실 또는 캠퍼스별 온 - 프레미스 사설 클라우드, 인터넷 필요 없음.

실제 결과

NEU NLP 랩에서 테스트 (수학, 물리학, 화학, 컴퓨터 과학 및 법률을 포함 - 5 분야에 걸쳐 50 강의 시간):

• 도메인 용어 인식 정확도 는 72% (일반 엔진) 에서 94% 이상 (전체 음성 전사 정확도 ≥ 98%) 로 향상되었습니다.
• 500 ms 미만의 핫워드 주입 지연 시간, 실시간 음성 전사 에 영향을 미치지 않습니다;
• 학생들은 QR 코드를 통해 타임 스탬프가 지정된 구조화된 강의 노트를 받습니다.

권장 사항

• 단일 교실: BJ66+ VV10, 하나의 장치가 화면 캡처 및 음성 전사 를 모두 처리합니다.
• 건물 전체: 교실당 BJ66 를 배포하고, 음성 전사 를 장비실의 VV10 에 합계합니다.
• 기존 강의 캡처 시스템: 기존 비디오 스트림 및 화면 피드와 통합하기 위해 software-only engine 를 배포합니다.

private deployment guide 와 domestic accelerator guide 를 참조하십시오.당신의 캠퍼스에 대한 평가를 원하십니까? Book a Demo.