วิธี VoiVision บรรลุความแม่นยําสูง ASR ในห้องเรียนของมหาวิทยาลัย

"กําแพงจาร์กอน" ในห้องเรียนของมหาวิทยาลัย

ห้องบรรยายของมหาวิทยาลัยเป็นฝันร้ายสําหรับเครื่องยนต์ ASR ทั่วไปศาสตราจารย์กล่าวว่า "วิธีการคูณ Lagrange" และเครื่องยนต์ถอดความ "La Grange วิธีการยิงหลาย" "Mitochondrial ห่วงโซ่การหายใจเยื่อหุ้มชั้นใน" กลายเป็น "นิ้วเท้าของฉัน con ซอยแห้งเยื่อหุ้มชั้นในรถไฟการหายใจ"

เครื่องยนต์ไม่ได้เสีย - มันก็ไม่มีความรู้ก่อนหน้านี้ของโดเมนเหล่านี้

ปัญหาหลัก: รูปแบบภาษา ASR ทั่วไปครอบคลุม "ข่าวจีน + ทั่วไปในชีวิตประจําวัน"วิทยาเขตมหาวิทยาลัยในทางตรงกันข้ามครอบคลุมหลายร้อยสาขาวิชาเฉพาะ - แต่ละคนมีคําศัพท์ของตัวเอง, ตัวย่อ, และการประชุมการอ่านสัญลักษณ์

ท่อท่อห้องเรียน VoiVision: ห่วงปิดสี่ขั้นตอน

VoiVision ได้ออกแบบท่อส่ง "เนื้อหาหน้าจอฟีด ASR" โดยเฉพาะสําหรับห้องเรียนของมหาวิทยาลัย:

ขั้นตอน	จะเกิดอะไรขึ้น	ส่วนประกอบ
1.จับภาพหน้าจอ	ภาพนิ่ง / กระดานไวท์บอร์ดของวิทยากรจะถูกจับภาพผ่านการหล่อแบบมีสายหรือไร้สาย	กล่อง BJ66 (HDMI-in + AirPlay / Miracast / BJCast ไร้สาย)
2. บนอุปกรณ์ OCR OCR	เฟรมโดยเฟรม OCR สกัดข้อความจากภาพนิ่ง	เซิร์ฟเวอร์การถอดเสียงเป็นข้อความแบบออฟไลน์กับบนอุปกรณ์รุ่นใหญ่ OCR
3.การตรวจจับโดเมน + สวิตช์ KB	ข้อความ OCR ใช้ในการตรวจจับโดเมนหลักสูตรโดยอัตโนมัติและเปลี่ยนไปใช้ฐานความรู้ที่ตรงกัน	เครื่องยนต์ฐานความรู้ (พจนานุกรมวินัย 200+ ที่โหลดไว้ล่วงหน้า)
4.การฉีดคำสำคัญลงใน ASR	คําศัพท์โดเมนชื่อและสัญลักษณ์สูตรจะถูกฉีดแบบไดนามิกเป็นคำสำคัญลงในตัวถอดรหัส ASR	เซิร์ฟเวอร์การถอดเสียงเป็นข้อความแบบออฟไลน์ (VV05 / VV10)

ทําไม OCR + ASR เอาชนะ "เพียงแค่ฝึกโมเดลที่ใหญ่กว่า"

วิธีการแบบดั้งเดิม - "การฝึกอบรมรูปแบบภาษายักษ์หนึ่งที่ครอบคลุมทุกสาขาวิชา" - ไม่ทํางานเพราะ:

• ช่วงโดเมนกว้างเกินไปทําให้ขนาดแบบจําลองและความหน่วงไม่สามารถควบคุมได้
• หลักสูตรใหม่และตําราเรียนที่ปรับปรุงปรากฏขึ้นทุกปี; แบบจําลองคงที่ไม่สามารถติดตามได้

คีย์ข้อมูลเชิงลึก: อย่าสอน ASR ทุกคําที่มีอยู่สอนเฉพาะคําพูดใน ภาพนิ่งของการบรรยายนี้ตอนนี้

ข้อความบนสไลด์ให้ "ขอบเขตคําศัพท์" ที่แน่นอนสําหรับการบรรยายนี้ข้อความที่สกัดจาก OCR จํากัดพื้นที่การค้นหาของตัวถอดรหัส ASR จํากัดผลักดัน "วิธีคูณ Lagrange" จากท่ามกลางผู้สมัคร 100,000 เข้าสู่ไม่กี่อันดับแรก

การกําหนดค่าฮาร์ดแวร์

• การจับภาพหน้าจอ: Bijie BJ66 Collaboration System, 16 สตรีมพร้อมกัน, การจับภาพสองช่องทางผ่าน HDMI แบบมีสายและการหล่อแบบไร้สาย;
• การถอดเสียงเป็นข้อความ & OCR: VV05 department server (ห้องเรียนขนาดกลาง) หรือ VV10 enterprise server (ห้องบรรยายขนาดใหญ่) ออฟไลน์อย่างเต็มที่;
• การปรับใช้: ในสถานที่ต่อห้องเรียนหรือคลาวด์ส่วนตัวของมหาวิทยาลัยไม่จําเป็นต้องใช้อินเทอร์เน็ต

ผลลัพธ์ในโลกจริง

ในการทดสอบที่ห้องปฏิบัติการ NEU NLP (ครอบคลุมวิชาคณิตศาสตร์ฟิสิกส์เคมีวิทยาศาสตร์คอมพิวเตอร์และกฎหมาย - 50 ชั่วโมงการบรรยายใน 5 สาขาวิชา):

• ความถูกต้องในการจดจําระยะโดเมน ปรับปรุงจาก 72% (เครื่องยนต์ทั่วไป) เป็น 94%+ (ความแม่นยําโดยรวมของการถอดเสียงเป็นข้อความ ≥98%);
• ความล่าช้าในการฉีดคำสำคัญภายใต้ 500ms ไม่มีผลกระทบต่อการถอดเสียงเป็นข้อความแบบเรียลไทม์
• นักเรียนจะได้รับบันทึกการบรรยายที่มีโครงสร้างและประทับตราเวลาผ่าน QR Code

คําแนะนํา

• ห้องเรียนเดี่ยว: BJ66+ VV10, อุปกรณ์เดียวจัดการทั้งการจับภาพหน้าจอและการถอดเสียงเป็นข้อความ;
• อาคารทั้งหมด: ใช้ BJ66 ต่อห้องเรียนรวมการถอดเสียงเป็นข้อความเป็น VV10 ในห้องอุปกรณ์;
• ระบบการบรรยายที่มีอยู่: ปรับใช้ software-only engine เพื่อบูรณาการกับสตรีมวิดีโอที่มีอยู่และฟีดหน้าจอ

ดู private deployment guide และ domestic accelerator guideต้องการการประเมินสําหรับมหาวิทยาลัยของคุณ? Book a Demo.