كيف تحقق VoiVision دقة عالية ASR في الفصول الدراسية الجامعية
تمتد المحاضرات الجامعية على مئات التخصصات مع المصطلحات الكثيفة التي تقتل الدقة ASR العامة.إليك كيف يستخدم خط أنابيب VoiVision "BJ66 الصب مربع + خادم تفريغ الصوت غير متصل بالإنترنت + على الجهاز OCR + حقن كلمة مفتاحية قاعدة المعرفة" الشرائح الخاصة بالمحاضر لتعزيز دقة التعرف.
"جدار الجارغون" في الفصول الدراسية الجامعية
قاعات المحاضرات الجامعية هي كابوس لمحركات ASR العامة.يقول البروفيسور "طريقة مضاعف لاغرانج" ، والمحرك ينسخ "طريقة لا غرانج متعددة النار. " "سلسلة التنفس الغشاء الداخلي الميتوكوندريا" تصبح "إصبع قدمي مع الزقاق الجاف الغشاء الداخلي التنفس القطار. "
المحرك ليس معطولاً - ببساطة ليس لديه معرفة مسبقة بهذه المجالات.
المشكلة الأساسية: تغطي النماذج اللغوية ASR العامة "الأخبار الصينية اليومية + العامة.على النقيض من ذلك ، يمتد الحرم الجامعي على مئات التخصصات المتخصصة - ولكل منها مصطلحاته الخاصة والاختصارات واتفاقيات قراءة الرموز.
خط أنابيب الصفوف الدراسية في VoiVision: حلقة مغلقة من أربع خطوات
صممت VoiVision خط أنابيب "محتوى الشاشة يغذي ASR" خصيصًا لفصول الدراسة الجامعية:
| خطوة | ما الذي يحدث | المكون |
|---|---|---|
| 1.التقاط الشاشة | يتم التقاط شرائح المحاضر / اللوح الأبيض عبر الصب السلكي أو اللاسلكي | مربع BJ66 (HDMI-in + AirPlay / Miracast / BJCast لاسلكي) |
| 2. على الجهاز OCR | الإطار بإطار OCR استخراج النص من الشرائح | خادم تفريغ الصوت غير متصل مع على الجهاز نموذج كبير OCR |
| 3.الكشف عن النطاق + KB التبديل | يتم استخدام نص OCR للكشف التلقائي عن نطاق الدورة والتحول إلى قاعدة المعرفة المطابقة | محرك قاعدة المعرفة (200+ قاموس الانضباط تحميل مسبق) |
| 4.حقن كلمة مفتاحية في ASR | يتم حقن مصطلحات النطاق والأسماء ورموز الصيغة ديناميكيًا كـ كلمة مفتاحية في جهاز فك تشفير ASR | خادم تفريغ الصوت غير متصل (VV05 / VV10) |
لماذا OCR + ASR يتفوق على "مجرد تدريب نموذج أكبر"
النهج التقليدي - "تدريب نموذج لغوي عملاق واحد يغطي جميع التخصصات" - لا يعمل لأنه:
- نطاق المجال واسع جدًا ، مما يجعل حجم النموذج والكمون لا يمكن السيطرة عليه ؛
- تظهر دورات جديدة وكتب مدرسية محدثة كل عام ؛ لا يمكن للنموذج الثابت مواكبة.
مفتاح رؤية: لا تعلم ASR كل كلمة في الوجود.علمه فقط الكلمات على شرائح هذه المحاضرة، الآن.
يوفر النص الموجود في الشرائح "نطاق المفردات" الدقيق لهذه المحاضرة.يضيق النص المستخرج من OCR مساحة البحث الخاصة بفك تشفير ASR ، مما يدفع "طريقة مضاعف لاغرانج" من بين 100000 مرشح إلى القليل الأوائل.
تكوين الأجهزة
- التقاط الشاشة: Bijie BJ66 Collaboration System ، 16 تيارات متزامنة ، التقاط مزدوج القناة عبر HDMI السلكية والصب اللاسلكي ؛
- تفريغ الصوت & OCR: VV05 department server (الفصول الدراسية متوسطة الحجم) أو VV10 enterprise server (قاعات المحاضرات الكبيرة) ، بشكل كامل دون اتصال بالإنترنت ؛
- النشر: في الموقع لكل فصل دراسي أو سحاب خاص في الحرم الجامعي ، لا يلزم إنترنت.
نتائج العالم الحقيقي
في الاختبار في مختبر NEU NLP (غطي الرياضيات والفيزياء والكيمياء وعلوم الكمبيوتر والقانون - 50 ساعة محاضرة عبر 5 تخصصات):
- تحسنت دقة التعرف على مصطلح النطاق من 72 ٪ (محرك عام) إلى 94٪ + (دقة تفريغ الصوت الإجمالية ≥98 ٪) ؛
- كلمة مفتاحية حقن الكمون أقل من 500ms ، لا تأثير على تفريغ الصوت في الوقت الحقيقي ؛
- يتلقى الطلاب مذكرات محاضرات منظمة ومختومة زمنياً عبر رمز الاستجابة السريعة.
التوصيات
- فصل واحد: BJ66+ VV10 ، جهاز واحد يتعامل مع كل من التقاط الشاشة و تفريغ الصوت ؛
- المبنى بأكمله: نشر BJ66 لكل فصل دراسي ، تجميع تفريغ الصوت إلى VV10 في غرفة المعدات ؛
- نظم التقاط المحاضرات القائمة: نشر software-only engine للاندماج مع تيارات الفيديو الموجودة ومغذيات الشاشة.
انظر إلى private deployment guide و domestic accelerator guide.هل تريد تقييمًا لحرمك الجامعي؟Book a Demo.
الأسئلة الشائعة
Q: لماذا التعرف على الكلام أصعب في الفصول الدراسية الجامعية من في الاجتماعات؟
A: تمتد الدورات الجامعية على مئات التخصصات مع مصطلحات كثيفة ومحددة للمجال - من الرياضيات المتقدمة إلى الكيمياء الحيوية إلى القانون.تفتقر محركات ASR العامة إلى نماذج اللغة وقواميس كلمة مفتاحية لهذه الحقول ، مما يتسبب في أخطاء كثيفة في الأسماء والصيغ والمصطلحات والاختصارات.
Q: كيف تستخدم VoiVision محتوى الشاشة لتحسين دقة ASR؟
A: يلتقط صندوق BJ66 تغذية الشاشة اللاسلكية أو السلكية للمحاضر.يقرأ محرك OCR ذو الطراز الكبير من على الجهاز النص على الشرائح في الوقت الفعلي ويحقن هذا النص كسياق في جهاز فك تشفير ASR ، مما يقلل بشكل كبير من معدلات الخطأ في المجال.
Q: كيف يعمل حقن قاعدة المعرفة كلمة مفتاحية؟
A: استنادًا إلى المحتوى التعليمي المعترف به من قبل OCR ، يحدد النظام تلقائيًا مجال الدورة التدريبية (على سبيل المثال ،"الرياضيات المتقدمة" ، "الكيمياء العضوية") ، تتحول إلى قاعدة المعرفة المقابلة ، وتحميل مصطلحات النطاقات والأسماء ورموز الصيغ بشكل ديناميكي كـ كلمة مفتاحية في نموذج لغة ASR.
Q: هل يتطلب هذا اتصالًا بالإنترنت؟
A: لا. التقاط الشاشة BJ66 ، وخادم تفريغ الصوت غير المتصل بالإنترنت ASR + OCR ، ومطابقة قاعدة المعرفة كلها تعمل محليًا - مناسبة للإنترانت الحرم الجامعي أو نشر السحابة الخاصة دون إنترنت عام.