Làm thế nào VoiVision đạt được độ chính xác cao ASR trong các lớp học đại học

"Bức tường Jargon " trong các lớp học đại học

Các phòng giảng dạy của các trường đại học là một cơn ác mộng đối với các động cơ ASR chung. Một giáo sư nói "Phương pháp nhân Lagrange," và động cơ ghi lại "Phương pháp bắn nhiều La Grange. "Mitochondrial inner membrane respiratory chain" trở thành "My toe con dry alley inner membrane respiratory train. "

Công cụ không bị hỏng - nó đơn giản là không có kiến thức trước về các lĩnh vực này.

Vấn đề cốt lõi: Các mô hình ngôn ngữ chung của ASR bao gồm "tiếng Trung hàng ngày + tin tức chung ". Ngược lại, một khuôn viên trường đại học trải dài hàng trăm ngành học - mỗi ngành có thuật ngữ riêng, viết tắt và các quy ước đọc biểu tượng.

Đường ống lớp học VoiVision: Một vòng khép kín bốn bước

VoiVision đã thiết kế một đường ống "nội dung màn hình cấp nguồn cấp ASR" đặc biệt cho các lớp học đại học:

Bước	Chuyện gì xảy ra	Thành phần
1. Chụp màn hình	Các slide / whiteboard của giảng viên được chụp thông qua đúc có dây hoặc không dây	Hộp BJ66 (HDMI-in + AirPlay / Miracast / không dây BJCast)
2. trên thiết bị OCR OCR	Frame-by-frame OCR trích xuất văn bản từ các trang chiếu	Máy chủ phiên âm giọng nói ngoại tuyến với trên thiết bị mô hình lớn OCR
3. Phát hiện miền + Chuyển đổi KB	Văn bản OCR được sử dụng để tự động phát hiện tên miền khóa học và chuyển sang cơ sở kiến thức phù hợp	Công cụ cơ sở kiến thức (200+ từ điển kỷ luật được tải trước)
4. Tiêm từ khóa vào ASR	Các thuật ngữ miền, tên và các biểu tượng công thức được tiêm động dưới dạng từ khóa vào bộ giải mã ASR	Máy chủ phiên âm giọng nói ngoại tuyến (VV05 / VV10)

Tại sao OCR + ASR đánh bại "Chỉ cần đào tạo một mô hình lớn hơn"

Cách tiếp cận truyền thống - "đào tạo một mô hình ngôn ngữ khổng lồ bao gồm tất cả các ngành " - không hiệu quả vì:

• Phạm vi miền quá rộng, làm cho kích thước mô hình và độ trễ không thể kiểm soát được;
• Các khóa học mới và sách giáo khoa được cập nhật xuất hiện mỗi năm; một mô hình tĩnh không thể theo kịp.

Chìa khóa Góc nhìn: Đừng dạy ASR mọi từ trong sự tồn tại. Chỉ dạy nó những từ trên Các slide của bài giảng này, ngay bây giờ.

Văn bản trên các slide cung cấp "phạm vi từ vựng" chính xác cho bài giảng này. Văn bản được trích xuất bằng OCR thu hẹp không gian tìm kiếm của bộ giải mã ASR, đẩy "phương pháp nhân Lagrange" từ trong số 100.000 ứng cử viên vào một số ít hàng đầu.

Cấu hình phần cứng

• Chụp màn hình: Bijie BJ66 Collaboration System, 16 luồng đồng thời, chụp hai kênh thông qua HDMI có dây và đúc không dây;
• phiên âm giọng nói & OCR: VV05 department server (phòng học cỡ trung) hoặc VV10 enterprise server (phòng giảng dạy lớn), hoàn toàn ngoại tuyến;
• Triển khai: Tại chỗ trên mỗi lớp học hoặc đám mây riêng trong khuôn viên trường, không cần internet.

Kết quả thực tế

Trong thử nghiệm tại Phòng thí nghiệm NEU NLP (bao gồm Toán học, Vật lý, Hóa học, Khoa học Máy tính và Luật - 50 giờ giảng trên 5 ngành):

• Độ chính xác nhận dạng tên miền được cải thiện từ 72% (động cơ chung) đến 94%+ (chính xác phiên âm giọng nói tổng thể ≥98%);
• Độ trễ tiêm từ khóa dưới 500ms, không ảnh hưởng đến phiên âm giọng nói thời gian thực;
• Học sinh nhận được ghi chú bài giảng được đóng dấu thời gian, có cấu trúc thông qua mã QR.

Đề xuất

• Phòng học đơn: BJ66+ VV10, một thiết bị xử lý cả chụp màn hình và phiên âm giọng nói;
• Toàn bộ tòa nhà: triển khai một BJ66 cho mỗi lớp học, tổng hợp phiên âm giọng nói thành một VV10 trong phòng thiết bị;
• Hệ thống ghi lại bài giảng hiện tại: triển khai software-only engine để tích hợp với các luồng video hiện có và nguồn cấp dữ liệu màn hình.

Xem private deployment guide và domestic accelerator guide. Bạn muốn đánh giá cho khuôn viên của bạn? Book a Demo.