การเลือก ASR บนสถานที่: โฮสติ้งด้วยตนเองแบบโอเพนซอร์สกับแพ็คเกจส่วนตัวของคลาวด์กับเครื่องยนต์เชิงพาณิชย์

ไม่มีแนวคิดที่นี่ - เพียงคําถามเดียว: เส้นทางที่เหมาะสมกับสถานการณ์ของคุณ

สิ่งนี้จะแบ่งงานการคัดเลือก ASR ในสถานที่ที่ทําในไซต์ของรัฐบาลการเงินและลูกค้าด้านพลังงานลงในตารางการตัดสินใจรูปแบบต้นทุนสามปีและอุปสรรคที่แท้จริงในการโฮสติ้งด้วยตนเองแบบโอเพนซอร์ส

1.คําตอบขึ้นด้านหน้า: ตารางการตัดสินใจเดียว

หากคุณมีสามบันทึกการประชุมตารางนี้ก็เพียงพอแล้ว

สถานการณ์ของคุณ	เส้นทางที่แนะนํา	ทําไม
คุณมีวิศวกร ML, สถานการณ์ทนต่อข้อผิดพลาด (ยืนขึ้นภายใน, คําบรรยาย)	โฮสติ้งด้วยตนเองแบบโอเพนซอร์ส (faster-whisper / Paraformer)	ค่าใช้จ่ายในใบอนุญาตเป็นศูนย์ดีพอ
มีความมุ่งมั่นกับผู้ขายคลาวด์รายหนึ่งแล้วทางออกเสียงเป็นที่ยอมรับ	คลาวด์ API	เร็วที่สุดในการเปิดตัวอย่าสร้างมากเกินไป
ข้อกําหนดในการปฏิบัติตามกฎระเบียบแต่ไม่ได้จัดประเภทการทํางานร่วมกันต่ํา	แพคเกจส่วนตัวของผู้ขายคลาวด์	จัดส่งที่รวดเร็วคุ้นเคยระบบนิเวศ
ที่อยู่อาศัยของข้อมูลเป็นเส้นสีแดงแข็ง / Xinchuang / จัดหมวดหมู่ / หลายกระแสพร้อมกัน	เครื่องยนต์ในสถานที่เชิงพาณิชย์	เส้นทางอื่นๆไม่สามารถเข้าถึงได้
ย้ายไปเร่งความเร็วในประเทศ (Ascend / Cambricon / Hygon)	เครื่องยนต์เชิงพาณิชย์ที่มีการสนับสนุนพื้นเมือง	การพอร์ตด้วยตัวเองมีราคาแพงมาก

คนที่มีความสําคัญอย่างหนึ่งกลับเป็นประจํา: ผู้ซื้อส่วนใหญ่เปรียบเทียบ ความถูกต้อง ก่อนแต่สิ่งที่ฆ่าโครงการจริงๆมักจะเป็น ไม่ว่าข้อมูลจะออกจากโดเมนหรือไม่

สองจุดความแม่นยําจะอยู่รอด; ข้อมูลออกจากโดเมนหมายความว่าโครงการไม่เคยได้รับการอนุมัติดังนั้นคําสั่งที่ถูกต้องคือ:

1. การปฏิบัติตามเส้นสีแดง (ข้อมูลที่อยู่อาศัย, Xinchuang) →กําจัดครึ่งหนึ่งของตัวเลือกทันที
2. การทํางานร่วมกันและความล่าช้า (กี่สตรีมแบบเรียลไทม์หรือไม่) → ตั้งค่าข้อมูลจําเพาะฮาร์ดแวร์
3. ภาษาและภาษาถิ่น→ตั้งค่าความสามารถของเครื่องยนต์
4. ความถูกต้อง →เปรียบเทียบเฉพาะในหมู่ตัวเลือกที่ผ่าน 1-3
5. ค่าใช้จ่ายรวม → สุดท้ายแต่อย่าลืมที่จะนับคน

2. On-Premise vs Cloud: สามบัญชีแยกประเภทไม่เพียงแต่ความปลอดภัย

การแฝงบัญชีแยกประเภท

ความล่าช้าของ Cloud API คือ: อัปโหลด + คิว + สรุป + กลับมา

การบันทึกการประชุมหนึ่งชั่วโมง (16 kHz โมโน, ประมาณ 115 MB) ใช้เวลาเกี่ยวกับเรา 10 วินาทีในการอัปโหลดผ่านอินทราเน็ต 100 Mbps; ผ่านอินเทอร์เน็ตสาธารณะไปยังคลาวด์เอนด์พอยท์คุณเพิ่มความกระวนกระวายใจด้านบนสําหรับชุดการถอดเสียงเป็นข้อความนี้ไม่สําคัญสําหรับคําอธิบายภาพสดมันเป็นอันตรายถึงชีวิต

เสียงในสถานที่ไม่เคยออกจาก NIC ดังนั้น RTF การอนุมานท้องถิ่นจึงเป็นงบประมาณแฝงทั้งหมด

กฎนิ้วหัวแม่มือ: หากคุณต้องการ คําอธิบายภาพสดหรือสดบันทึกการประชุม โครงสร้างความล่าช้าของคลาวด์จะด้อยโอกาสในโครงสร้าง - ชอบในสถานที่

ต้นทุนบัญชีแยกประเภท (หนึ่งที่มักจะคํานวณผิด)

การเปรียบเทียบ "การกําหนดราคาคลาวด์ต่อชั่วโมง" โดยตรงกับ "การซื้อเซิร์ฟเวอร์ครั้งเดียว" นั้นผิดTCO สามปีควรประกอบด้วย:

สถานการณ์: 50 ชั่วโมงของการประชุมเสียงต่อวัน, วันทําการ, ขอบฟ้าสามปี.

รายการต้นทุน	คลาวด์ API	โฮสติ้งด้วยตนเองแบบโอเพนซอร์ส	เครื่องยนต์ในสถานที่เชิงพาณิชย์
ค่าธรรมเนียมการถอดเสียงเป็นข้อความ	การเรียกเก็บเงินต่อชั่วโมง, นับหมื่นกว่า 3 ปี	0	0
ฮาร์ดแวร์	0	เซิร์ฟเวอร์การ์ดเดี่ยว (ครั้งเดียว)	รวม
ใบอนุญาตซอฟต์แวร์	0	0 (โอเพนซอร์ส)	ใบอนุญาตครั้งเดียว (ตามระดับการทํางานร่วมกัน)
ความพยายามในการดําเนินการ	0	1-2คนเดือน	รวม
3-ปีความพยายามในการดําเนินงาน	0	0.3-0.5 FTE	ส่วนใหญ่ได้รับการสนับสนุนจากผู้ขาย
ความล้มเหลว Fallback	ผู้ขาย SLA	เกี่ยวกับคุณ	สัญญา SLA

คุณอาจดูสิ่งนี้และถาม: การโฮสติ้งด้วยตนเองไม่ได้ถูกที่สุดหรือไม่?

ไม่การโฮสติ้งด้วยตนเองช่วยประหยัดค่าใช้จ่าย ค่าธรรมเนียมใบอนุญาต และ คนและต้นทุนบุคลากรนั้นคงที่ - รุ่นต้องอัพเกรดผู้ประกอบการต้องปรับตัวและฮาร์ดแวร์ของลูกค้าใหม่หมายถึงการแปลงรุ่นใหม่0.3-0.5 FTE ข้างต้นเป็นอนุรักษ์นิยม; กับเร่งในประเทศและการปรับใช้อากาศช่องว่างมันจะสูงขึ้น

ในบรรทัดเดียว: สําหรับสถานการณ์ทั่วไปที่มีปริมาณต่ําโดยไม่มีข้อจํากัดในการปฏิบัติตามข้อกําหนด API ของระบบคลาวด์มักจะมี TCO ที่ต่ํากว่าจุดให้ทิปทางเศรษฐกิจสําหรับในสถานที่มาถึงเมื่อแรงกดดันแบบพร้อมกันสูงหรือการปฏิบัติตามกฎระเบียบห้ามคลาวด์

สมุดบัญชีความเสี่ยง

ยากที่จะวัดปริมาณแต่มักจะเด็ดขาด:

• ความเสี่ยงต่อการเชื่อมต่อ - บนอินทราเน็ตที่แยกตัวเลือกคลาวด์จะออกจากโต๊ะทันที
• ล็อคอินผู้ขาย - การเปลี่ยน API ของระบบคลาวด์หมายถึงการบูรณาการการทําใหม่การเปลี่ยนเครื่องยนต์ในสถานที่หมายถึงการปรับใช้ใหม่
• ความรับผิดชอบในการตรวจสอบ - เมื่อมีบางสิ่งบางอย่างแตกหักด้วยคลาวด์มันเป็น "ปัญหาของผู้ขาย"; โฮสต์ด้วยตนเองมันเป็นของคุณ

3.อุปสรรคที่แท้จริงในการโฮสติ้งด้วยตนเองแบบโอเพนซอร์ส

กระซิบโฮสติ้งด้วยตนเองเป็นหัวข้อที่ค้นหาอย่างหนักซึ่งบอกคุณว่ามีทีมงานมากมายกําลังพิจารณาเราทําแล้วนี่คือรุ่นที่ซื่อสัตย์

การใช้งานไม่ยาก

# faster-whisper is the default choice today
pip install faster-whisper

# 8GB VRAM can run large-v3-turbo with INT8 quantization
python -c "
from faster_whisper import WhisperModel
m = WhisperModel('large-v3-turbo', device='cuda', compute_type='int8_float16')
segments, info = m.transcribe('meeting.wav', language='zh')
print(f'language {info.language}, probability {info.language_probability:.2f}')
for s in segments:
    print(f'[{s.start:6.1f}s -> {s.end:6.1f}s] {s.text}')
"

คุณสามารถใช้งานสาธิตได้ในสิบบันทึกการประชุม การเดินทางจากการสาธิตสู่การผลิตเป็นส่วนที่ยากลําบาก

อุปสรรคห้าประการที่คุณพบในการผลิตเท่านั้น

1.ไม่มีคำสำคัญ

หนึ่งที่เจ็บปวดที่สุดในสถานการณ์องค์กรชื่อบริษัท, ชื่อรหัสสินค้า, ชื่อคน, ตัวย่อของโครงการ - Whisper จะเขียนเป็นตัวอักษรที่ฟังดูคล้ายกันอย่างสม่ําเสมอinitial_prompt ให้คําแนะนําที่อ่อนแอเท่านั้นสลายตัวผ่านเสียงที่ยาวนานและ ไม่บังคับใช้อะไร

หากการประชุมของลูกค้าของคุณเต็มไปด้วยคํานามที่เหมาะสมคุณจะไม่หลีกเลี่ยงสิ่งนี้

2.ไม่มีการแยกผู้พูดในตัว

กระซิบเอาต์พุตข้อความไม่ได้" ที่บอกว่ามัน" การผลิตการประชุมบันทึกการประชุมหมายถึงการเพิ่ม pyannote หรือโมดูลแยกลําโพง NeMo แยกต่างหากและจัดตําแหน่งเวลาด้วยตัวคุณเองอีกหนึ่งรุ่นอีกหนึ่งชิ้นของ VRAM อีกหนึ่งสิ่งที่สามารถแตก

3.การสตรีมมิ่งเป็นจุดอ่อนของโครงสร้าง

สถาปัตยกรรมของ Whisper ไม่ได้ออกแบบมาสําหรับการสตรีมมิ่งวิธีแก้ปัญหาทั่วไปคือการสตรีมมิ่งแบบก้อน (ฟีด 5-10 วินาทีหน้าต่าง) ซึ่งมีค่าใช้จ่าย ข้อผิดพลาดขอบเขตที่จุดแยก - ประโยคถูกตัดเป็นครึ่งหนึ่งแต่ละครึ่งจะถูกถอดความเป็นอิสระและตะเข็บสร้างตัวอักษรที่ไม่ถูกต้องประสบการณ์ที่ไม่ดีสําหรับคําอธิบายภาพสด

4.เป็นหลักไม่มีภาษาถิ่น

large-v3 มีโทเค็น yue (กวางตุ้ง) แต่คุณภาพไม่มีที่ไหนใกล้เคียงกับการผลิตพร้อมWu, Min Nan, เสฉวน, ที่ราบภาคกลางจีนกลาง - ไม่มีการสนับสนุนโดยแบบอย่างเป็นทางการ

5.เครื่องเร่งความเร็วในประเทศต้องพอร์ตด้วยตัวคุณเอง

การส่งออก ONNX ของ Whisper บวกกับการแปลง Ascend ATC ทํางานได้แต่คุณจะพบกับ: รุ่น opset ที่ไม่ได้รับการสนับสนุนการกําหนดค่าแกนแบบไดนามิกความล้มเหลวของผู้ประกอบการที่ไม่ได้รับการสนับสนุนแบบเงียบและรุ่นที่ต้องการการแปลงใหม่หลังจากอัพเกรดเวอร์ชันดู Ascend 910B private ASR walkthrough สําหรับรายละเอียด

เมื่อโฮสติ้งด้วยตนเองแบบโอเพนซอร์สเป็นสายที่ถูกต้อง

การเป็นธรรมเกี่ยวกับเราที่เหมาะสม:

• คุณมีวิศวกร ML ที่สามารถปรับเปลี่ยนโมเดลได้
• สถานการณ์ยอมรับข้อผิดพลาด (บันทึกการประชุมภายใน, คําบรรยายวิดีโอ)
• ภาษาจีนกลางทั่วไปโดยไม่ต้องโหลดคํานามที่เหมาะสมหนัก
• ไม่จําเป็นต้องใช้เวลาจริง
• ไม่มีคําสั่งเร่งความเร็วในประเทศ

หากทั้งห้าถือโฮสติ้งด้วยตนเองเป็นค่าที่ยอดเยี่ยมหากสองคนหรือมากกว่าไม่ใช้ให้เรียกใช้ตัวเลขค่าใช้จ่ายคนอย่างระมัดระวัง

4.การเปรียบเทียบความสามารถของทั้งสามเส้นทาง

มิติ	โฮสติ้งด้วยตนเองแบบโอเพนซอร์ส	แพคเกจส่วนตัวของผู้ขายคลาวด์	เครื่องยนต์ในสถานที่เชิงพาณิชย์
ค่าใช้จ่ายของใบอนุญาต	0	ขนาดกลาง	สูง
ความพยายามในการดําเนินการ	สูง (1-2 คน-เดือน)	ระดับกลาง (1-2 สัปดาห์)	ต่ํา (จัดส่งโดยผู้ขาย)
ความถูกต้องของภาษาจีน (การประชุม)	ขนาดกลาง	ปานกลาง-สูง	สูง
คำสำคัญ / คํานามที่เหมาะสม	ไม่มี	ใช่ใช่	ใช่ใช่
การแยกผู้พูด	ต้องใช้โมดูลแยกต่างหาก	ใช่ใช่	สร้างขึ้นใน
สตรีมมิ่งแบบเรียลไทม์	อ่อนแอ	ใช่ใช่	ใช่
การสนับสนุนภาษาถิ่น	เป็นหลักไม่มี	ลิมิเต็ด	22
การสนับสนุนตัวเร่งในประเทศ	พอร์ตด้วยตัวคุณเอง	บางส่วน	พื้นเมือง
การดําเนินงานแบบอากาศ	แพคเกจเอง	ขึ้นอยู่กับผู้ขาย	สนับสนุน
MLPS / การสนับสนุนแบบจัดประเภท	เอกสารของคุณเอง	บางส่วน	เอกสารที่ให้ไว้
ความรับผิดชอบในการดําเนินงาน	ของคุณทั้งหมด	ผู้ขาย	ผู้ขาย + SLA

สองแถวที่มักถูกประเมินต่ําสุดคือความพยายามในการดําเนินการและความรับผิดชอบในการดําเนินงานพวกเขาไม่เคยปรากฏในใบเสนอราคาแต่พวกเขากินทีมอย่างต่อเนื่อง

5.สิ่งที่ MLPS ระดับ 3 ต้องการในระหว่างการคัดเลือก

นี่คือคําถามที่พบบ่อยที่สุดจากลูกค้าภาครัฐและการเงินจากข้อกําหนดของ MLPS Level 3 (GB / T 22239-2019) สําหรับการบันทึกการประชุมและระบบบันทึกการประชุมเหล่านี้เป็นสิ่งที่กําหนดการเลือก:

การควบคุม	ข้อกําหนด MLPS L3	คําถามที่จะถาม
ที่อยู่อาศัยของข้อมูล	เสียงและข้อความที่เก็บไว้ในท้องถิ่นไม่มีการอัปโหลดสาธารณะ	"ส่วนใดส่วนหนึ่งของการถอดเสียงเป็นข้อความทําการโทรเครือข่ายสาธารณะหรือไม่? " - รวมถึงการตรวจสอบใบอนุญาตการดาวน์โหลดแบบจําลองและ telemetry
การควบคุมการเข้าถึง	การตรวจสอบตัวตน, สิทธิ์ตามบทบาท	"สามารถบูรณาการกับ LDAP / OAuth ที่มีอยู่ของเราได้หรือไม่? "
การตรวจสอบความปลอดภัย	การดําเนินงานที่สามารถตรวจสอบย้อนหลังได้บันทึกที่เก็บไว้	" ใครสามารถส่งออกบันทึกการประชุมได้?มีการบันทึกการส่งออกหรือไม่?บันทึกจะถูกเก็บไว้นานแค่ไหน? "
การเข้ารหัสการขนส่ง	การสื่อสารภายในที่เข้ารหัส	" TLS ถูกบังคับใช้ในอินทราเน็ตด้วยหรือเฉพาะในด้านสาธารณะเท่านั้น? "
การป้องกันข้อมูลที่เหลืออยู่	ข้อมูลที่ถูกลบต้องไม่สามารถกู้คืนได้	"หลังจากที่ลบการประชุมแล้วแคชโมเดลและไฟล์ชั่วคราวจะถูกล้างด้วยหรือไม่? "

คนแรกและคนสุดท้ายเป็นคนที่พลาดมากที่สุด

โซลูชันหลายแห่งอ้างว่า "ไม่มีการรั่วไหลของข้อมูล" แต่การตรวจสอบใบอนุญาตถึงอินเทอร์เน็ตสาธารณะการดาวน์โหลดน้ําหนักแบบจําลองในการเปิดตัวครั้งแรกและโทรศัพท์ telemetry หน้าแรก - การโทรสาธารณะเพียงครั้งเดียวทําให้การเรียกร้องที่ไม่มีทางออกเป็นคําถามในระหว่างการประเมิน MLPSถามเรื่องนี้จนกว่าคุณจะได้รับคําตอบที่ยากลําบาก.

ในทํานองเดียวกันหาก "ลบการประชุม" จะลบแถวฐานข้อมูลเท่านั้นและทิ้งไฟล์กลางและแคชเวกเตอร์ไว้บนดิสก์การป้องกันข้อมูลที่เหลือล้มเหลว

ดู MLPS Level 3 compliance breakdown สําหรับรายละเอียดทั้งหมด

6. 8 คําถามที่ต้องตอบก่อนเลือก

ส่งรายการนี้ไปยังผู้ขายหรือถามทีมงานของคุณเองตัวเลือกใดๆที่ไม่สามารถตอบได้จะหมด:

1. ใดๆ เป็นส่วนหนึ่งของท่อการถอดเสียงเป็นข้อความทําการโทรเครือข่ายสาธารณะหรือไม่? (ใบอนุญาตรุ่นและเทเลโมเมตริทั้งหมดนับ)
2. จํานวนสตรีมพร้อมกันของ ยั่งยืน ต่อเซิร์ฟเวอร์คืออะไร?ยั่งยืนไม่ใช่จุดสูงสุด
3. คำสำคัญ ได้รับการสนับสนุนหรือไม่ข้อจํากัดที่แข็งหรือคําแนะนําที่อ่อน?
4. การแยกผู้พูด ในตัว หรือเพิ่มเป็นโมดูลแยกต่างหาก?คําพูดที่ทับซ้อนกันจะได้รับการจัดการอย่างไร?
5. ภาษาถิ่น ตัวไหนที่รองรับ?ความถูกต้องในการวัดคืออะไร?คุณสามารถแบ่งปันชุดทดสอบได้หรือไม่?
6. Ascend / Cambricon / Hygon ได้รับการสนับสนุนหรือไม่ในพื้นที่หรือพอร์ตในไซต์?
7. มีการสนับสนุนการปรับใช้ อากาศช่องว่าง หรือไม่?แบ็กเกจออฟไลน์มีอะไรบ้าง
8. เอกสาร มีอะไรให้สําหรับการประเมิน MLPS? (โทโพโลยีการปรับใช้แผนภาพการไหลของข้อมูลข้อกําหนดบันทึกการตรวจสอบ)

คําถามที่ 1 และ 7 คือลุ่มน้ําผู้ขายที่ไม่สามารถตอบคําถามเหล่านั้นได้ไม่ได้ส่งมอบในสภาพแวดล้อมการปฏิบัติตามที่แท้จริง

7.เมื่อไม่ใช้งานในสถานที่

คําที่ต่อต้านความสนใจของเราเองดังนั้นสิ่งนี้จึงไม่ได้อ่านเป็นสนาม

ข้ามการใช้งานในสถานที่หาก:

• ปริมาณรายวันมีขนาดเล็ก (ไม่กี่ชั่วโมงต่อวัน) - คลาวด์แบบจ่ายเงินต่อการใช้งานมีราคาถูกกว่าและไม่มีภาระการดําเนินงาน
• ไม่มีข้อกําหนดในการปฏิบัติตาม - หากคุณสามารถใช้คลาวด์ได้อย่าใช้จ่ายหกตัวเลขบนเซิร์ฟเวอร์เพื่อความรู้สึกปลอดภัย
• ไม่มีใครในทีมทําการดําเนินงาน - หลังจากไปในสถานที่, การอัพเกรดรุ่น, ความล้มเหลวของฮาร์ดแวร์และการปรับแต่งประสิทธิภาพทั้งหมดของคุณ
• คุณจําเป็นต้องใช้การถอดเสียงเป็นข้อความครั้งเดียว - ซื้อเซิร์ฟเวอร์ที่จะถอดความหนึ่งชุดแล้วไม่ได้ใช้งานมันเป็นการค้าที่ไม่ดี

ทริกเกอร์ที่เหมาะสมสําหรับในสถานที่คือ การปฏิบัติตามเส้นสีแดง หรือ แรงกดดันการทํางานร่วมกันอย่างต่อเนื่อง - ไม่ใช่ "มันรู้สึกปลอดภัยกว่า"

8. VoiVision ทําอย่างไร

VoiVision สร้างการประชุมองค์กรในสถานที่การถอดเสียงเป็นข้อความด้วยกองเต็มรูปแบบที่พัฒนาขึ้นในบ้านจาก frontend พูดผ่าน ASR การแยกลําโพงและโครงสร้างความหมาย:

• 52 ปีของ NLP ของการวิจัย NLP ก่อตั้งขึ้นในปี 1973 ในชื่อ NEU NLP Lab
• เอกสาร 200+ เผยแพร่ (20+ CCF-A), สิทธิบัตรการประดิษฐ์ 110+ (54 ได้รับ)
• NiuTrans เครื่องมือแปลภาษาด้วยเครื่องใช้มากกว่า 100,000 ครั้งทั่วโลก
• การอนุมาน เร็วกว่า LLM วัตถุประสงค์หลัก 4 เท่า บนฮาร์ดแวร์เทียบเท่า
• สนับสนุนพื้นเมืองสําหรับ Ascend 310P / 910B, Cambricon MLU370 / 590, Hygon DCU และ NVIDIA T4 / L4 / A10 / A100 รวมถึงการดําเนินงาน CPU เท่านั้น
• 22 ภาษาถิ่นและการปรับใช้ที่ช่องว่างทางอากาศ
• ≥98% ความแม่นยําของการถอดเสียงเป็นข้อความจีนพร้อมคลัสเตอร์ที่สนับสนุน 50+ กระแสพร้อมกัน

ใช้คําถามทั้งแปดข้อข้างต้นตามที่เป็นอยู่โซลูชันใดๆที่ไม่สามารถตอบพวกเขาสมควรได้รับการดูครั้งที่สองไม่ว่าราคาจะต่ําแค่ไหน

ต้องการการประเมินกับระดับ MLPS และเป้าหมายการทํางานร่วมกันของคุณหรือไม่? Book a demo หรือเริ่มต้นด้วย complete private deployment guide