การทํางานการประชุมหลายภาษาแบบออฟไลน์: การแปลแบบ On-Prem และการซิงค์คําบรรยาย

การประชุมสี่ฝ่ายที่ครอบคลุมภาษาจีนอังกฤษญี่ปุ่นและเกาหลีผู้เข้าร่วมแต่ละคนพูดภาษาของตัวเองและในตอนท้ายชุดบันทึกการประชุมทุกคนสามารถอ่านได้พร้อมป้ายลําโพงรวมถึงบันทึกข้อมูลการประชุม

นั่นฟังดูเหมือนเพียงขั้นตอนเดียวเกินกว่า "เสียงเป็นข้อความ"ในทางปฏิบัติมันเป็นปัญหาที่แตกต่างกันอย่างสิ้นเชิง

หมายเหตุข้อมูล: ตัวเลขที่ทําเครื่องหมายว่า "สเปคที่เผยแพร่" มาจากผลิตภัณฑ์สาธารณะข้อมูลจำเพาะคําอธิบายของความแฝงและการทํางานร่วมกันคือ ขนาดอ้างอิง ในสภาพแวดล้อมทั่วไปและค่าที่แท้จริงแตกต่างกันไปตามขนาดของโมเดลสภาพเสียงและกลยุทธ์การทํางานร่วมกัน - วัดตามภาระงานของคุณเอง

1.ส่วนที่ยากของการประชุมหลายภาษาไม่ได้แปล

สัญชาตญาณแรกของคนส่วนใหญ่คือการประชุมหลายภาษาเป็นสองขั้นตอน - จดจําแล้วแปล - และความยากลําบากคือคุณภาพการแปลเมื่อคุณเรียกใช้โครงการแล้วคุณจะพบ บล็อกเกอร์ไม่เคยแปลคุณภาพแต่สี่สิ่งเหล่านี้:

ความยากที่แท้จริง	อาการ	ทําไมมันถึงยาก
การตัดสินใจภาษา	ผู้เข้าร่วมประชุมแตกต่างกันคุณไม่ทราบว่าใครพูดอะไร	การตรวจจับที่ไม่ถูกต้องหนึ่งครั้งทําให้ทางเดินทั้งหมดไม่ถูกต้อง
การจัดตําแหน่งเวลา	แปลล่าช้า, คําบรรยายไม่เคยเรียงรายขึ้น	การจดจําและการแปลเป็นสองท่อแต่ละบัฟเฟอร์
การผูกลําโพง	คําบรรยายที่ระบุว่าเป็นบุคคลที่ไม่ถูกต้อง	การแยกผู้พูดต้องผูกกับบรรทัดคําบรรยาย
ขอบเขตข้อมูล	ไม่ว่าจะเป็นเสียงอาจออกจากอินทราเน็ต	การตัดสิทธิ์โดยอัตโนมัติที่ตัดสินสถาปัตยกรรม

คนที่มีความสําคัญได้รับถอยหลัง: เช่นเดียวกับการเลือก ASR ในสถานที่เกณฑ์ที่แท้จริงครั้งแรกคือ ไม่ว่าข้อมูลจะออกจากเครือข่ายหรือไม่ ไม่ใช่คุณภาพการแปล

การแปลที่เลวร้ายยิ่งเล็กน้อยเป็นที่ยอมรับ; เสียงออกจากเครือข่ายฆ่าโครงการ

2.โครงสร้างความล่าช้าของการตีความเมฆเป็นอันตรายถึงชีวิตของคําบรรยายสด

นี่คือจุดที่ถูกมองข้ามมากที่สุดในการเลือก

ท่อการตีความระบบคลาวด์มีลักษณะเช่นนี้:

[local] capture audio -> upload -> [cloud] queue -> recognize -> translate -> synthesize -> return -> [local] display
                          ^                                                                                ^
                    public jitter                                                                     public jitter

การบันทึกการประชุมหนึ่งชั่วโมง (16 kHz mono, เกี่ยวกับเรา 115 MB) ใช้เวลาประมาณ 10 วินาทีในการอัปโหลดบนอินทราเน็ต 100 Mbps สําหรับการแปลหลังการประชุมแบบชุดที่ไม่เกี่ยวข้องสําหรับคําบรรยายสดมันเป็นปัญหาที่ร้ายแรง

ที่สําคัญกว่านั้นความล่าช้าของคลาวด์คือ ไม่สามารถควบคุมได้ เพราะขึ้นอยู่กับความยาวของคิวความกระวนกระวายสาธารณะและแบนด์วิดธ์ที่ส่งคืน - อาการสะอึกและคําบรรยายแตก

ในสถานที่แตกต่างกันทั้งหมด:

[local] capture audio -> streaming ASR -> LLM translation -> subtitle display

เสียงไม่เคยสัมผัสการ์ดเครือข่าย; ความแฝงมาจากการอนุมานท้องถิ่นเท่านั้นกับ ไม่มีการอัปโหลดไม่มีคิวไม่มีการคืนไม่มีความกระวนกระวายสาธารณะ

กฎของนิ้วหัวแม่มือ: หากคุณต้องการคําบรรยายสดหรือสดบันทึกการประชุมโครงสร้างความล่าช้าของคลาวด์ไม่เอื้ออํานวยโดยธรรมชาติ - ชอบในสถานที่

3.ท่อส่งที่สมบูรณ์แบบในสถานที่มีลักษณะอย่างไร

ท่อส่งการแปลการประชุมหลายภาษาการผลิตมีลักษณะเช่นนี้ (ท้องถิ่นทั้งหมด):

Microphone array / meeting audio system
 | 
        v
   [ Language auto-detection ]  <- first sentence or rolling window
 | 
        v
   [ Streaming ASR ]  <- 30 languages + 22 dialects, live punctuation, smart segmentation
 | 
        +-------------+
        v             v
[ Speaker separation ]  [ LLM translation ]  <- glossary constraints
(voiceprint / channel) | 
 | v
        +------> [ Subtitle sync and display ]
                 speaker / time / source / translation

ทุกขั้นตอนมีข้อผิดพลาดหนึ่งทีละคน

3.1การตรวจจับภาษา: การโทรผิดหนึ่งครั้งทําให้ทางเดินไม่ถูกต้อง

เมื่อผู้เข้าร่วมประชุมได้รับการแก้ไข (พูดว่า "การประชุมครั้งนี้เป็นภาษาจีน - ภาษาอังกฤษ") ล็อคภาษาและได้รับความแม่นยําสูงสุด

เมื่อผู้เข้าร่วมประชุมแตกต่างกัน ASR จะต้องตัดสินใจข้อเสนอแนะในทางปฏิบัติ:

เปิดใช้งานการตรวจจับอัตโนมัติแต่อนุญาตให้ล็อคด้วยตนเอง

การตรวจจับอัตโนมัติทํางานจากประโยคแรกหรือหน้าต่างกลิ้งและตัดสินผิดสําเนียงหนักการสลับรหัสหรือคําย่อภาษาอังกฤษที่สะกดออกมาหากผิดคุณต้องสลับ แก้ไขส่วนที่ได้รับการยอมรับแล้วย้อนหลัง ด้วยการคลิกเดียว - มิฉะนั้นการแปลการประชุมทั้งหมดจะสูญเปล่า

3.2การสตรีมมิ่ง ASR: การรับรู้และการแปลต้องไม่แยกบัฟเฟอร์

นี่คือสาเหตุอันดับหนึ่งของการดริฟท์คําบรรยาย

หากการจดจําและการแปลทํางานเป็นท่อแยกสองท่อแต่ละท่อมีบัฟเฟอร์ของตัวเองการแปลจะล่าช้าในการจดจําโดยรอบบัฟเฟอร์หนึ่งรอบหรือมากกว่าและคําบรรยายจะอยู่เบื้องหลังอย่างถาวร

วิธีการที่ถูกต้องคือการมี การรับรู้การแปลและการแยกผู้พูดแบ่งปันระยะเวลาหนึ่ง: เวลาเริ่มต้นและสิ้นสุดของแต่ละส่วนที่ได้รับการยอมรับกลายเป็นจุดยึดเวลาของหน่วยแปลและการแปลจะถูกเติมกลับเข้าไปในช่องเวลาที่สอดคล้องกัน

3.3 การแยกผู้พูด: คําบรรยายต้องไม่ถูกระบุผิด

ในการประชุมหลายฝ่าย "ใครพูด" มีความสําคัญมากกว่า "สิ่งที่พูด"เส้นทางโดยทั่วไป:

• การจดจําลายเสียง: สกัดลายเสียงลําโพงเพื่อแยกแยะผู้เข้าร่วมด้วยการจัดการไลบรารีลายเสียง (ลงทะเบียน / เปลี่ยนชื่อ / ลบ)
• การแยกช่อง: รวมกับระบบการประชุมและเสียงในท้องถิ่นเพื่อแยกลําโพงตามช่องทาง
• การผูกพันไทม์ไลน์: ผูกตัวตนลําโพงกับบรรทัดคําบรรยายแทนที่จะคาดเดาหลังจากนั้น

บรรทัดคําบรรยายสุดท้ายควรจะดําเนินการทั้งสี่ของ ลําโพงเวลาข้อความต้นฉบับและการแปล - ซึ่งเป็นสิ่งที่ผู้ใช้เห็นเมื่อส่งออกไปยังจอแสดงผลห้องประชุมมากกว่า HDMI

3.4ความสอดคล้องกันของคําศัพท์: การรับรู้และการแปลต้องใช้รายการคําเดียว

นี่เป็นปัญหาที่เห็นได้ชัดมากที่สุดในการประชุมหลายภาษา

ชื่อบริษัทรหัสผลิตภัณฑ์บุคคลและคําศัพท์อุตสาหกรรมได้รับการแสดงผลที่ไม่สอดคล้องกันโดยแบบจําลองทั่วไป: ชื่อผลิตภัณฑ์เดียวกันแปลทางหนึ่งในทางเดินแรกและอีกทางหนึ่งในทางที่สามทําให้ผู้ชมหายไป

การแก้ไขคือ ฐานคําศัพท์ที่ใช้ร่วมกันโดยทั้งการรับรู้และการแปล:

ที่มา	เป้าหมาย	ข้อจํากัด
คํานามที่เหมาะสม / ชื่อสินค้า	แบบฟอร์มคงที่ต่อภาษา	การทําแผนที่บังคับ
คําศัพท์อุตสาหกรรม	ระยะมาตรฐานต่อภาษา	การทําแผนที่บังคับ
บุคคล / ตัวย่อ	เก็บแหล่งที่มาหรือ transliterate	ตามนโยบาย

การจดจําใช้รายการคำสำคัญเพื่อเพิ่มความถูกต้องของคํานามที่เหมาะสมการแปลใช้คําศัพท์เพื่อล็อคการแสดงผล - เมื่อทั้งสองฝ่ายเห็นด้วยในระยะเดียวกันจะไม่เปลี่ยนรูปในผลลัพธ์

4.แปดคําถามที่จะถามเกี่ยวกับเราการแปลการประชุมหลายภาษา

นํารายการนี้ไปหาผู้ขายผู้ที่ไม่สามารถตอบได้จะออก:

1. ไม่ ท่อทั้งหมดทําให้การโทรเครือข่ายสาธารณะ? (รุ่น, เงื่อนไขและ telemetry นับทั้งหมด)
2. การรับรู้ ครอบคลุมภาษาใดบ้างการแปลครอบคลุมจํานวนเท่าใด?เครื่องยนต์หนึ่งหรือหลายเย็บเข้าด้วยกัน?
3. ภาษา ตรวจจับอัตโนมัติ หรือคู่มือ?การตรวจจับผิดสามารถเป็น แก้ไขย้อนหลัง ได้หรือไม่
4. ความล่าช้าสด คืออะไร?จากจุดสิ้นสุดของประโยคไปจนถึงการแปลบนหน้าจอ - วินาทีหรือมากกว่านั้น?
5. การแปลรองรับ ฐานคําศัพท์ / ข้อจํากัดของคําศัพท์ หรือไม่?สามารถแบ่งปันรายการ ASR คำสำคัญได้หรือไม่?
6. การแยกผู้พูด ถูกสร้างขึ้นภายในหรือภายนอก?คําพูดที่ทับซ้อนกันจะได้รับการจัดการอย่างไร?
7. คําบรรยายแสดง ทั้งสี่องค์ประกอบ (ลําโพง / เวลา / แหล่งที่มา / การแปล)?พวกเขาสามารถส่งออกผ่าน HDMI?
8. รองรับการปรับใช้ อากาศช่องว่าง หรือไม่?แพคเกจแบบออฟไลน์มีอะไรบ้าง

คําถามที่ 1 และ 3 คือลุ่มน้ําความล้มเหลว 1 หมายความว่าไม่เคยส่งมอบในสภาพแวดล้อมที่สอดคล้อง; ความล้มเหลว 3 หมายความว่าระบบไม่เคยเรียกใช้การประชุมหลายภาษา

5.เมื่อไม่จําเป็นต้องไปแปลภาษาในสถานที่

ไม่กี่คําในทางกลับกันดังนั้นจึงไม่อ่านเป็น advertorial

หลีกเลี่ยงการใช้งานในสถานที่เมื่อ:

• คุณจัดการประชุมสากลภาษาเพียงหนึ่งหรือสองครั้ง: การตีความระบบคลาวด์คือการจ่ายเงินต่อการใช้งานและมีปัญหาน้อยกว่ามาก
• คุณจําเป็นต้องมีการแปลผลการเรียนหลังการประชุมเท่านั้น: ส่งการบันทึกไปยังบริการคลาวด์สําหรับการแปลแบบแบทช์ในราคาที่ต่ํากว่าไม่จําเป็นต้องใช้เซิร์ฟเวอร์
• ไม่จําเป็นต้องปฏิบัติตามข้อกําหนดและไม่จําเป็นต้องใช้คําบรรยายสด: คุณค่าหลักของระบบในสถานที่ไม่สัมผัสทั้งสองดังนั้นจึงเป็นการลงทุนมากเกินไป

ทริกเกอร์ที่เหมาะสมสําหรับการแปลหลายภาษาในสถานที่คือ ข้อมูลที่อาจไม่ออกจากเครือข่าย หรือ ความจําเป็นในการบรรยายสองภาษาสด - เมื่อถือไว้อย่างใดอย่างหนึ่งมันจะจ่ายออก

6. VoiVision ทําอย่างไร

สายผลิตภัณฑ์ของ VoiVision แบ่งออกเป็น "ผู้ช่วยการประชุม AI" และ "ล่ามการประชุม AI" ทําให้การแปลหลายภาษาเป็นความสามารถหลักมากกว่า add-on:

• การรับรู้ x การแปล: สตรีมมิ่งในตัว ASR ครอบคลุม 30 ภาษา + 22 ภาษาถิ่น -> 100 ภาษา ของการแปล / สรุปผ่าน LLM (ข้อมูลจําเพาะที่เผยแพร่)
• การแปลด้วยเครื่องที่ 800+ ตัวอักษรต่อวินาที, ไฟล์การถอดเสียงเป็นข้อความที่ 10:1 (เผยแพร่ข้อมูลจําเพาะ)
• คําบรรยายสี่องค์ประกอบบนหน้าจอ: HDMI เอาท์พุตซิงค์ลําโพง, ตราประทับเวลา, ข้อความต้นฉบับและการแปล
• การแยกผู้พูด + พิมพ์เสียง: บูรณาการกับระบบการประชุมและเสียงในท้องถิ่นเพื่อติดป้ายลําโพงโดยอัตโนมัติพร้อมการจัดการห้องสมุดเสียงพิมพ์
• ท่อออฟไลน์อย่างเต็มที่: การตรวจจับภาษาการจดจําการแปลการสรุปและการส่งออกคําบรรยายทั้งหมดทํางานบนอินทราเน็ตโดยไม่มีการโทรสาธารณะสนับสนุนการปรับใช้แบบอากาศ
• การสนับสนุนพื้นเมืองสําหรับการคํานวณในประเทศ: Ascend 310P / 910B, Cambricon MLU370 / 590, Hygon DCU และช่วง NVIDIA เต็มรูปแบบ; การอนุมานแบบเรียลไทม์ใน CPU เพียงอย่างเดียว
• รากฐานทางเทคนิค: จากห้องปฏิบัติการประมวลผลภาษาธรรมชาติ NEU ก่อตั้งขึ้นในปี 1973 - เอกสาร 200+ (20+ CCF-A), สิทธิบัตรสิ่งประดิษฐ์ 110+ (54 ได้รับ); เครื่องมือแปลภาษาด้วยเครื่อง NiuTrans ใช้มากกว่า 100,000 ครั้งทั่วโลกทํางานเร็วกว่ารุ่นทั่วไปหลัก 4 เท่า

ใช้คําถามทั้งแปดข้อนี้และใช้โดยตรง - ผู้ขายที่ไม่สามารถตอบคําถามเหล่านี้ได้นั้นคุ้มค่ากับการดูอีกครั้งไม่ว่าราคาจะเป็นอย่างไร

ต้องการการประเมินการปรับใช้สําหรับการผสมผสานภาษาการทํางานร่วมกันและระดับการปฏิบัติตามกฎระเบียบของคุณหรือไม่Book a demo สําหรับการให้คําปรึกษาแบบตัวต่อตัวหรือดู On-Premise ASR Selection และ Running On-Premises ASR on Ascend 910B

---

*ตีพิมพ์ครั้งแรกโดยทีมวิศวกรรม VoiVision AI โปรดให้เครดิตที่มาเมื่อเผยแพร่ใหม่ตัวเลขความแฝงและความพร้อมกันเป็นขนาดอ้างอิงในสภาพแวดล้อมทั่วไปและอาจแตกต่างกันไปตามขนาดของรุ่นและฮาร์ดแวร์ *