VoiVision, Üniversite Sınıflarında Yüksek ASR Haksızlığını Nasıl Başarıyor
Üniversite dersleri, genel ASR doğruluğunu öldüren yoğun jargonla yüzlerce disiplini kapsamaktadır.İşte VoiVision 'nin "BJ66 döküm kutusu + çevrimdışı konuşma transkripsiyonu sunucu + cihaz üzerinde OCR + bilgi tabanı sıcak kelime enjeksiyonu" boru hattı, tanıma hassasiyetini artırmak için öğretim görevlisinin kendi slaytlarını nasıl kullanıyor.
Üniversite Sınıflarındaki "Jargon Duvarı "
Üniversite ders salonları, genel ASR motorları için bir kabustur. Bir profesör "Lagrange çarpanı yöntemi" diyor ve motor "La Grange çoklu ateş yöntemi" yazıyor. "Mitochondrial inner membrane respiratory chain" becomes "My parmak con dry alley inner membrane respiratory train. "
Motor bozulmamıştır - bu alanlar hakkında önceden bilgi sahibi değildir.
Temel sorun: Genel ASR dil modelleri "gündelik Çince + genel haberleri kapsamaktadır. Buna karşılık, bir üniversite kampüsü, yüzlerce niş disiplini kapsar - her biri kendi terminolojisi, kısaltmaları ve sembol okuma sözleşmelerine sahiptir.
VoiVision Sınıf Boru hattı: Dört Adımlı Kapalı Döngü
VoiVision, özel olarak üniversite sınıfları için "ekran içeriği ASR beslemeleri" boru hattı tasarladı:
| adım | Ne oluyor | Bileşen |
|---|---|---|
| 1. Ekranı yakalayın | Öğretmenin slaytları / beyaz tahta kablolu veya kablosuz döküm yoluyla yakalanır | BJ66 kutusu (HDMI-in + AirPlay / Miracast / BJCast kablosuz) |
| 2. cihaz üzerinde OCR | Kare-karede OCR slaytlardan metni çıkarır | cihaz üzerinde büyük model OCR ile çevrimdışı konuşma transkripsiyonu sunucusu |
| 3. Domain tespiti + KB anahtarı | OCR metni, ders alanını otomatik olarak tespit etmek ve eşleşen bilgi tabanına geçmek için kullanılır | Bilgi tabanı motoru (200+ disiplin sözlükleri önceden yüklenmiş) |
| 4. sıcak kelime enjeksiyonu ASR içine | Domain terimleri, isimleri ve formül sembolleri dinamik olarak sıcak kelime olarak ASR çözücüye enjekte edilir. | Çevrimdışı konuşma transkripsiyonu sunucusu (VV05 / VV10) |
Neden OCR + ASR "Sadece Daha Büyük Bir Model Eğitmek "
Geleneksel yaklaşım - "tüm disiplinleri kapsayan dev bir dil modeli eğitmek " - işe yaramaz çünkü:
- Alan aralığı çok geniş, model boyutunu ve gecikmeyi kontrol edilemez hale getirir;
- Yeni kurslar ve güncellenmiş ders kitapları her yıl ortaya çıkıyor; statik bir model ayak uyduramaz.
Anahtar İçgörü: ASR 'ye var olan her kelimeyi öğretmeyin. Ona sadece Bu dersin slaytları, şu anda. 'deki kelimeleri öğret
Slaytlardaki metin, bu ders için tam "kebelim kapsamı" sunar. OCR tarafından çıkarılan metin, ASR çözücü 'nin arama alanını daraltır ve "Lagrange çarpan yöntemi" 100.000 aday arasından ilk birkaç adayın arasına itmektedir.
Donanım Yapılandırması
- Ekran yakalama: Bijie BJ66 Collaboration System, 16 eşzamanlı akış, kablolu HDMI ve kablosuz döküm aracılığıyla çift kanallı yakalama;
- konuşma transkripsiyonu & OCR: VV05 department server (orta boyutlu sınıflar) veya VV10 enterprise server (büyük ders salonları), tamamen çevrimdışı;
- Deployment: Sınıf başına veya kampüs özel bulut için on-premises, internet gerekmiyor.
Gerçek dünya sonuçları
NEU NLP Laboratuvarında testlerde (Matematik, Fizik, Kimya, Bilgisayar Bilimleri ve Hukuk kapsamında - 5 disiplinde 50 ders saatleri):
- Domain-term recognition accuracy (Domain-terim tanıma doğruluğu)% 72 (generik motor) % 94+ (genel konuşma transkripsiyonu doğruluğu ≥ 98%) geliştirildi;
- 500ms altında sıcak kelime enjeksiyon gecikmesi, gerçek zamanlı konuşma transkripsiyonu üzerinde hiçbir etki;
- Öğrenciler zaman damgalanmış, yapılandırılmış ders notlarını QR kodu aracılığıyla alırlar.
Öneriler
- Tek sınıfı: BJ66+ VV10, bir cihaz hem ekran yakalama hem de konuşma transkripsiyonu'yi idare eder;
- Bütün bina: sınıf başına bir BJ66 dağıtın, ekipman odasındaki bir VV10 'ye konuşma transkripsiyonu' yi toplayın;
- Mevcut Ders Yakalama Sistemleri: mevcut video akışları ve ekran akışları ile entegre etmek için software-only engine'yi dağıtın.
private deployment guide ve domestic accelerator guide'e bakın. Kampüsünüz için bir değerlendirme mi istiyorsunuz? - Book a Demo.
SSS
Q: konuşma tanıma neden üniversite sınıflarında toplantılardan daha zor?
A: Üniversite kursları, yoğun, alana özgü terminolojiye sahip yüzlerce disiplini kapsar - ileri matematikten biyokimyaya, hukuka kadar. Genel ASR motorları, bu alanlar için dil modelleri ve sıcak kelime sözlüklerinden yoksundur, bu da isimler, formüller, jargonlar ve kısaltmalar üzerinde ağır hatalara neden olur.
Q: VoiVision, ASR doğruluğunu artırmak için ekran içeriğini nasıl kullanır?
A: BJ66 kutusu, öğretim görevlisinin kablosuz veya kablolu ekran akışını yakalar. Bir cihaz üzerinde büyük model OCR motoru, slaytlardaki metni gerçek zamanlı olarak okur ve bu metni ASR çözücüye bağlam olarak enjekte eder ve etki alanı terimi hata oranlarını dramatik olarak azaltır.
Q: Bilgi tabanlı sıcak kelime enjeksiyonu nasıl çalışır?
A: OCR tarafından tanınan öğretim içeriğine dayalı olarak, sistem otomatik olarak ders alanını tanımlar (örneğin, "Gelişmiş Matematik," "Organik Kimya"), ilgili bilgi tabanına geçiyor ve alan terimlerini, isimleri ve formül sembollerini sıcak kelime olarak ASR dil modeline dinamik olarak yükler.
Q: Bu bir internet bağlantısı gerektirir mi?
A: Hayır. BJ66 ekran yakalaması, çevrimdışı konuşma transkripsiyonu sunucusu ASR + OCR ve bilgi tabanı eşleştirme hepsi yerel olarak çalışır - genel internet olmadan kampüs intraneti veya özel bulut dağıtımına uygundur.