VoiVision が大学の教室で高い ASR 精度を達成する方法

大学の教室における「ジャルゴンの壁」

大学の講義室はジェネリック ASR エンジンにとって悪夢です。教授が「ラグランジュ乗数法」と言い、エンジンは「ラグランジュ多発火法」と転写します。“ミトコンドリア内膜呼吸連鎖 ” は“ 私のつま先コン乾燥路地内膜呼吸列車 ” になります。"

エンジンは壊れていません — これらのドメインの事前の知識はありません。

コア問題： 一般的な ASR 言語モデルは「毎日の中国語 + 一般ニュース」をカバーする。「対照的に、大学のキャンパスは何百ものニッチな分野にまたがっており、それぞれ独自の用語、略語、記号読み取りの慣習があります。

VoiVision 教室パイプライン： 4 段階のクローズドループ

VoiVision は、大学の教室向けに「スクリーンコンテンツフィード ASR 」パイプラインを設計しました。

ステップ	何が起こるか	コンポーネント
1.画面をキャプチャ	講師のスライド / ホワイトボードは、有線または無線キャストで撮影されます。	BJ66 ボックス （ HDMI—in + AirPlay / Miracast / BJCast 無線 ）
2. オンデバイス OCR	フレーム単位で OCR はスライドからテキストを抽出します	オンデバイス大型モデル OCR を搭載したオフライン音声文字起こしサーバー
3.ドメイン検出 + KB スイッチ	OCR テキストは、コースドメインを自動的に検出し、マッチングする知識ベースに切り替えるために使用されます。	ナレッジベースエンジン （ 200 以上の学問辞書がプリロードされています ）
4. ASR へのホットワード注入	ドメイン用語、名前、式記号は ASR デコーダにホットワードとして動的に注入されます。	オフライン音声文字起こしサーバー （ VV05 / VV10 ）

OCR + ASR が「より大きなモデルを訓練するだけ」を打ち負かす理由

「すべての分野をカバーする 1 つの巨大な言語モデルを訓練する」という伝統的なアプローチは、以下のために機能しません。

• ドメインスパンが広すぎて、モデルサイズとレイテンシが制御不能です。
• 新しいコースや更新された教科書が毎年出てきますが、静的なモデルは追いつくことができません。

キーインサイト： ASR に存在するすべての単語を教えないでください。この講義のスライドです の単語のみを教えます

スライドのテキストは、この講義の正確な「語彙範囲」を提供します。OCR で抽出されたテキストは、 ASR デコーダの検索空間を狭め、 10 万候補の中から「ラグランジュ乗数法」を上位数に押し込みます。

ハードウェア構成

• スクリーンキャプチャ： Bijie BJ66 Collaboration System 、 16 の同時ストリーム、有線 HDMI および無線鋳造によるデュアルチャネルキャプチャ；
• 音声文字起こし & OCR： VV05 department server （ 中型教室 ） または VV10 enterprise server （ 大型講堂 ） 、完全にオフライン；
• 展開： 教室またはキャンパスプライベートクラウドあたりオンプレミス、インターネット不要。

実世界の結果

NEU NLP ラボでのテスト （ 数学、物理学、化学、コンピュータサイエンス、法学をカバー — 5 つの分野にわたって 50 時間の講義 ）：

• ドメイン用語の認識精度 を 72% （ ジェネリックエンジン ） から 94%+ （ 全体的な音声文字起こし精度 ≥ 98% ） に改善しました。
• 500ms の下のホットワードの注入のレイテンシー、リアルタイム音声文字起こしに影響なし；
• 学生は QR コードでタイムスタンプの構造化された講義ノートを受け取ります。

推奨事項

• シングル教室： BJ66+ VV10 、 1 つのデバイスはスクリーンキャプチャと音声文字起こしの両方を処理します。
• 建物全体： 教室ごとに BJ66 を展開し、機器室の VV10 に音声文字起こしを集約します。
• 既存の講義キャプチャシステム： software-only engine をデプロイして、既存のビデオストリームやスクリーンフィードと統合します。

private deployment guide と domestic accelerator guide を参照。キャンパスのアセスメントをしたいですか？Book a Demo。