اختيار ASR في الموقع: الاستضافة الذاتية المفتوحة المصدر مقابل الحزم الخاصة السحابية مقابل المحركات التجارية

لا توجد مفاهيم هنا - سؤال واحد فقط: أي طريق يناسب سيناريوك.

هذا يقسم عمل اختيار ASR في الموقع الذي تم القيام به على مواقع العملاء الحكومية والمالية والطاقة إلى جدول قرار ، ونموذج تكلفة لمدة ثلاث سنوات ، والحواجز الحقيقية أمام الاستضافة الذاتية مفتوحة المصدر.

1.الإجابة في المقدمة: جدول قرار واحد

إذا كان لديك ثلاثة محضر الاجتماع ، فإن هذه الجدول كافية.

وضعك	المسار الموصى به	لماذا
لديك مهندسي ML ، والسيناريو يتسامح مع الخطأ (القوالب الداخلية ، الترجمات الترجمية)	الاستضافة الذاتية مفتوحة المصدر (faster-whisper / Paraformer)	صفر تكلفة الترخيص، جيدة بما فيه الكفاية
التزام بالفعل ببائع سحابي واحد ، الخروج الصوتي مقبول	Cloud API	أسرع لإطلاق ، لا تفرط في البناء
متطلبات الامتثال ولكنها غير مصنفة، وانخفاض التزامن	حزمة خاصة بائع السحابة	تسليم سريع، مألوفة النظام البيئي
إقامة البيانات هو خط أحمر صلب / Xinchuang / مصنف / العديد من التيارات المتزامنة	محرك تجاري في الموقع	الطرق الأخرى لا تستطيع الوصول إليها
الانتقال إلى المسرعات المحلية (Ascend / Cambricon / Hygon)	محرك تجاري مع الدعم الأصلي	نقلها بنفسك مكلف للغاية

أولوية واحدة الناس عكس بشكل روتيني: يقارن معظم المشترين الدقة أولاً ، ولكن ما يقتل المشروع بالفعل عادةً ما يكون ما إذا كانت البيانات قد تغادر المجال.

نقطتين من الدقة يمكن البقاء على قيد الحياة ؛ مغادرة البيانات للمجال يعني أن المشروع لا يحصل على الموافقة أبدًا.لذلك الترتيب الصحيح هو:

1. الخط الأحمر للامتثال (إقامة البيانات ، Xinchuang) → يلغي نصف الخيارات بشكل مباشر
2. التزامن والكمون (كم عدد تيارات، في الوقت الحقيقي أم لا) → يحدد مواصفات الأجهزة
3. Language and dialect → يحدد قدرة المحرك
4. الدقة → مقارنة فقط بين الخيارات التي مرت 1-3
5. مجموع التكلفة → الأخير، ولكن لا تنسى أن تحسب الناس

2.في الموقع مقابل السحابة: ثلاثة دفاتر الأستاذ ، وليس فقط الأمن

The latency ledger

الكمون السحابي لـ API هو: تحميل + قائمة انتظار + استنتاج + عودة.

يستغرق تسجيل اجتماع لمدة ساعة واحدة (16 كيلو هرتز أحادي ، ما يقرب من 115 ميغابايت) من نحن 10 ثوانٍ لتحميلها عبر شبكة إنترانت بسرعة 100 ميغابايت في الثانية ؛ عبر الإنترنت العام إلى نقطة نهاية سحابية ، يمكنك إضافة التوتر في الأعلى. بالنسبة لدفعة تفريغ الصوت هذا لا يهم.بالنسبة للتعليقات التعليقية المباشرة ، فهي قاتلة.

الصوت في الموقع لا يترك أبدا NIC، لذلك الاستدلال المحلي RTF هو ميزانية الكمون بأكملها.

القاعدة الأساسية: إذا كنت بحاجة إلى تعليقات حية أو محضر الاجتماع حية ، فإن بنية الكمون السحابي محرومة هيكليًا - تفضل في الموقع.

دفتر الأستاذ التكلفة (الذي يتم حسابه بشكل خاطئ في أغلب الأحيان)

مقارنة "سعر السحابة في الساعة" مباشرة مقابل "شراء الخادم لمرة واحدة" خاطئة.يجب أن تشمل مدة التكلفة الشاملة لثلاث سنوات ما يلي:

سيناريو: 50 ساعة من الصوت الاجتماعي يوميًا ، أيام العمل ، أفق ثلاث سنوات.

بند التكلفة	Cloud API	الاستضافة الذاتية مفتوحة المصدر	محرك تجاري في الموقع
رسوم تفريغ الصوت	الفواتير في الساعة ، عشرات الآلاف على مدى 3 سنوات	0	0
الأجهزة	0	خادم بطاقة واحدة (مردية)	شملت
ترخيص البرمجيات	0	0 (مفتوح المصدر)	رخصة لمرة واحدة (بحسب مستوى التزامن)
Implementation effort	0	1-2شخص-شهور	شملت
3-جهد العمليات السنوية	0	0.3-0.5 FTE	معظمها مدعوم من البائعين
الفشل الاحتياطي	البائع SLA	على أنت	SLA التعاقدي

قد تنظر إلى هذا وتسأل: زكريش

لا. الاستضافة الذاتية توفر رسوم الترخيص وتكلف الناس.وأن تكاليف الموظفين ثابتة - تحتاج النماذج إلى الترقية ، ويحتاج المشغلون إلى التكيف ، وأجهزة العملاء الجديدة تعني إعادة تحويل النماذج. 0.3-0.5 FTE أعلاه هو محافظ ؛ مع المسرعات المحلية والنشر الفجوة الهوائية يرتفع.

في سطر واحد: بالنسبة للسيناريوهات العامة المنخفضة الحجم دون قيود الامتثال ، عادة ما يكون لدى واجهات برمجة التطبيقات السحابية TCO أقل.تصل نقطة التحول الاقتصادية للموقع المحلي عندما يكون ضغط التزامن مرتفعًا أو الامتثال يحظر السحابة.

دفتر الأستاذ المخاطر

من الصعب قياسها كمياً ، ولكنها حاسمة في كثير من الأحيان:

• مخاطر الاتصال - على شبكة إنترانت معزولة ، تكون الخيارات السحابية خارج الطاولة على الفور
• قفل البائع - تحويل واجهات برمجة التطبيقات السحابية يعني إعادة التكامل ؛ تحويل المحركات في الموقع يعني إعادة نشر
• المسؤولية عن مراجعة الحسابات - عندما يكسر شيء ما ، مع السحابة هي "مشكلة البائع" ؛ المستضافة ذاتية ، إنها لك

3.الحواجز الحقيقية أمام الاستضافة الذاتية مفتوحة المصدر

الهمس الاستضافة الذاتية هو موضوع بحث كبير، والذي يخبرك الكثير من الفرق التي تفكر في ذلك. لقد فعلنا ذلك. وهنا هو النسخة الصادقة.

الحصول على تشغيله ليس من الصعب

# faster-whisper is the default choice today
pip install faster-whisper

# 8GB VRAM can run large-v3-turbo with INT8 quantization
python -c "
from faster_whisper import WhisperModel
m = WhisperModel('large-v3-turbo', device='cuda', compute_type='int8_float16')
segments, info = m.transcribe('meeting.wav', language='zh')
print(f'language {info.language}, probability {info.language_probability:.2f}')
for s in segments:
    print(f'[{s.start:6.1f}s -> {s.end:6.1f}s] {s.text}')
"

يمكنك الحصول على عرض تجريبي قيد التشغيل في عشرة محضر الاجتماع. الانتقال من العرض التجريبي إلى الإنتاج هو الجزء الصعب.

5 حواجز لا تواجهها إلا في الإنتاج

1.لا كلمة مفتاحية

الأكثر إيلاما في سيناريوهات المؤسسات.أسماء الشركات ، الأسماء الرمزية للمنتجات ، أسماء الأشخاص ، اختصارات المشاريع - سوف يكتبونها Whisper باستمرار كشخصيات مماثلة. initial_prompt لا يعطي سوى توجيه ضعيف ، يتحلل على الصوت الطويل ، و لا يفرض أي شيء.

إذا كانت اجتماعات عملائك مليئة بالأسميات المناسبة ، فلن تتجنب ذلك.

2.لا يوجد فصل المتحدثين المدمج

الهمس يخرج النص ، وليس "من قال ذلك.إن إنتاج اجتماع محضر الاجتماع يعني إضافة pyannote أو وحدة فصل المتكلمين NeMo بشكل منفصل ومواءمة الطوابع الزمنية بنفسك.نموذج آخر، شريحة أخرى من VRAM، شيء آخر يمكن أن ينكسر.

3.التدفق هو ضعف هيكلي

لم يتم تصميم Whisper's البنية للبث.الحل الاحتياطي الشائع هو البث المجزأ (تغذية نوافذ 5-10 ثانية) ، والذي يكلف أخطاء الحدود عند نقاط الانقسام - يتم قطع الجملة إلى النصف ، ويتم نسخ كل نصف بشكل مستقل ، وينتج التماس أحرفًا خاطئة.تجربة سيئة للتعليقات التعليقية المباشرة.

4.في الأساس لا لهجات

تمتلك large-v3 رمز yue (الكانتونية) ، لكن الجودة ليست في أي مكان قريبة من جاهزة للإنتاج.وو ، مين نان ، سيتشوانية ، السهول الماندرينية الوسطى - لا أحد مدعوم من قبل النماذج الرسمية.

5.تتطلب المسرعات المحلية نقلها بنفسك

يعمل تصدير ONNX من Whisper بالإضافة إلى تحويل Ascend ATC ، ولكنك ستلتقي بما يلي: إصدارات opset غير مدعومة ، وتكوين المحور الديناميكي ، وأخفاق المشغل غير المدعوم الصامتة ، والنماذج التي تحتاج إلى إعادة التحويل بعد ترقية الإصدار.انظر Ascend 910B private ASR walkthrough للتفاصيل.

عندما تكون الاستضافة الذاتية المفتوحة المصدر هي المكالمة الصحيحة

أن تكون منصفة من نحن حيث يناسب:

• لديك مهندسي ML الذين يمكنهم تعديل النماذج
• السيناريو يتسامح مع الخطأ (ملاحظات الاجتماعات الداخلية ، الترجمات الترجمية للفيديو)
• الماندرين العامة، دون أحمال سمية صحيحة ثقيلة
• لا متطلبات في الوقت الحقيقي
• لا يوجد ولاية مسرع محلي

إذا عقدت جميع الخمسة ، فإن الاستضافة الذاتية هي قيمة ممتازة.إذا لم يفعل اثنان أو أكثر ذلك ، فقم بتشغيل أرقام تكلفة الأشخاص بعناية.

4.مقارنة القدرات عبر الطرق الثلاثة

البعد	الاستضافة الذاتية مفتوحة المصدر	حزمة خاصة بائع السحابة	محرك تجاري في الموقع
تكلفة الترخيص	0	متوسطة	عالية
Implementation effort	عالية (1-2 شخص-شهر)	متوسطة (1-2 أسابيع)	منخفضة (تسليمها البائع)
الدقة الصينية (الاجتماعات)	متوسطة	متوسطة عالية	عالية
كلمة مفتاحية / الأسماء الصحيحة	None	نعم	نعم
فصل المتحدثين	وحدة منفصلة مطلوبة	نعم	بنيت في
بث في الوقت الحقيقي	ضعيفة	نعم	نعم
دعم اللهجة	أساسا لا شيء	Limited	22
دعم المسرع المحلي	بورتها بنفسك	جزئي	Native
العملية الهوائية	حزمها بنفسك	يعتمد على البائع	دعم
MLPS / الدعم السري	الأوراق الخاصة بك	جزئي	الوثائق المقدمة
مسؤولية العمليات	تماما لك	البائع	البائع + SLA

والصفين الأكثر التقليل من شأنهما هما جهد التنفيذ ومسؤولية العمليات.إنهم لا يظهرون أبدًا في عرض أسعار ، لكنهم يستهلكون الفريق باستمرار.

5.ما يطلبه MLPS المستوى 3 أثناء الاختيار

هذا هو السؤال الأكثر شيوعًا من العملاء الحكوميين والماليين.من بين متطلبات MLPS المستوى 3 (GB / T 22239-2019) لتسجيل الاجتماعات وأنظمة محضر الاجتماع ، هذه هي المتطلبات التي تشكل الاختيار:

التحكم	متطلبات MLPS L3	السؤال الذي يجب طرحه
إقامة البيانات	الصوت والنص المخزنة محليا، لا تحميل عام	"هل يقوم أي جزء من تفريغ الصوت بإجراء مكالمة شبكة عامة؟- بما في ذلك فحوصات الترخيص وتنزيل النموذج والقياس عن بعد
التحكم في الوصول	التحقق من الهوية، الأذونات القائمة على الأدوار	"هل يمكن دمجها مع LDAP / OAuth الحالية لدينا؟"
التدقيق الأمني	عمليات تتبع، سجلات الاحتفاظ	"من يمكنه تصدير محضر الاجتماع؟هل يتم تسجيل التصدير؟كم من الوقت يتم الاحتفاظ بالسجلات؟"
تشفير النقل	الاتصالات الداخلية المشفرة	"هل يتم تطبيق TLS على الشبكة الداخلية أيضًا ، أم فقط على الجانب العام؟"
حماية المعلومات المتبقية	يجب أن تكون البيانات المحذوفة غير قابلة للاسترداد	"بعد حذف اجتماع ، هل يتم مسح مخازن النموذج المؤقتة والملفات المؤقتة أيضًا؟"

الأول والأخير هما الأكثر تفوتاً.

تدعي العديد من الحلول "لا تسرب البيانات" ، ومع ذلك يصل التحقق من صحة الترخيص إلى الإنترنت العام ، وتنزيل أوزان النموذج عند الإطلاق الأول ، وهواتف القياس عن بعد الرئيسية - أي مكالمة عامة واحدة تضع مطالبة عدم الخروج في شك أثناء تقييم MLPS.اسأل هذا واحد حتى تحصل على إجابة صعبة.

وبالمثل ، إذا كان "حذف الاجتماع" يزيل فقط صف قاعدة البيانات ويترك الملفات الوسيطة ومخازن التخزين المؤقتة لل ناقلات على القرص ، فستفشل حماية المعلومات المتبقية.

انظر MLPS Level 3 compliance breakdown للتفاصيل الكاملة.

6. 8 أسئلة يجب الإجابة عليها قبل الاختيار

ارسل هذه القائمة إلى البائعين ، أو اسأل فريقك الخاص.أي خيار لا يمكن الإجابة عليه خارج:

1. هل تقوم شركة أي جزءًا من خط أنابيب تفريغ الصوت بمكالمة شبكة عامة؟(الترخيص والنموذج والقياس عن بعد جميع العد)
2. ما هو عدد التدفقات المتزامنة مستدامة لكل خادم؟مستدامة، وليس ذروة
3. هل يدعم كلمة مفتاحية؟قيود صعبة أم توجيه ناعم؟
4. هل فصل المتحدثين مدمج ، أو أضيفت كوحدة منفصلة؟كيف يتم التعامل مع التداخل في الكلام؟
5. ما هي dialects المدعومة؟ما هي الدقة القياسية؟هل يمكنك مشاركة مجموعة الاختبار؟
6. هل يدعم Ascend / Cambricon / Hygon؟محليًا ، أم تم نقلها في الموقع؟
7. هل يتم دعم نشر الهواء فجوة؟ما الذي تحتوي عليه الحزمة غير المتصلة بالإنترنت؟
8. ما هو الوثائق المقدمة لتقييم MLPS؟(طوبولوجيا النشر، مخطط تدفق البيانات، مواصفات سجل التدقيق)

السؤالين 1 و 7 هما المفترق المائي.البائع الذي لا يستطيع الإجابة عليها لم يسلم في بيئة امتثال حقيقية.

7.متى لا تذهب في الموقع

كلمة ضد مصالحنا الخاصة ، لذلك لا يقرأ هذا على أنه ملعب.

تخطي في الموقع إذا:

• الحجم اليومي صغير (بضع ساعات في اليوم) - السحابة المدفوعة مقابل الاستخدام أرخص ولا تحمل أي عبء عمليات
• لا يوجد شرط الامتثال - إذا كان بإمكانك استخدام السحابة ، فلا تنفق ستة أرقام على الخوادم للحصول على شعور بالأمان
• لا أحد في الفريق يقوم بالعمليات - بعد الذهاب في الموقع ، ترقيات النموذج ، وأخفاق الأجهزة وضبط الأداء كلها لك
• تحتاج إلى تفريغ الصوت مرة واحدة - شراء خادم لنسخ دفعة واحدة ومن ثم الخاملة انها تجارة سيئة

الزناد الصحيح للموقع هو الخط الأحمر للامتثال أو الضغط المتزامن المستمر - وليس "يشعر أكثر أمانًا. "

8.كيف تقوم شركة VoiVision بذلك

تقوم VoiVision ببناء اجتماع المؤسسة في الموقع تفريغ الصوت ، مع المكدس الكامل الذي تم تطويره داخليًا من الواجهة الأمامية للكلام من خلال ASR ، والفصل عن المتحدثين والهيكلة الدلالية:

• 52 عامًا من معالجة اللغة الطبيعية of NLP research ، تأسست في عام 1973 باسم مختبر NEU NLP
• أكثر من 200 ورقة المنشورة (20+ CCF-A) ، أكثر من 110 براءات اختراع (54 منح)
• NiuTrans ، محرك الترجمة الآلية ، استخدم أكثر من 100000 مرة في جميع أنحاء العالم
• الاستدلال أسرع 4x من LLMs السائدة للأغراض العامة على الأجهزة المعادلة
• الدعم الأصلي لـ Ascend 310P / 910B و Cambricon MLU370 / 590 و Hygon DCU و NVIDIA T4 / L4 / A10 / A100 ، بالإضافة إلى عملية CPU فقط
• 22 لهجة، ونشر الفجوة الهوائية
• ≥98٪ دقة تفريغ الصوت الصينية ، مع مجموعات تدعم أكثر من 50 تيارات متزامنة

استخدم الأسئلة الثمانية أعلاه كما هي.أي حل لا يستطيع الإجابة عليها يستحق نظرة ثانية ، بغض النظر عن مدى انخفاض الاقتباس.

هل تحتاج إلى تقييم مقابل مستوى MLPS وهدف التزامن الخاص بك؟Book a demo ، أو ابدأ مع complete private deployment guide.