Cách tiếp nhận hệ thống biên bản cuộc họp: Bảng đánh giá sáu tiêu chí dành cho người mua
Độ chính xác phiên âm giọng nói ≥98% chỉ là điều kiện tiên quyết. Dưới đây là sáu tiêu chí chấp nhận – độ chính xác, phân tách người nói, khả năng duy trì kết quả, tính đầy đủ của các hạng mục hành động, độ trễ và hoạt động ngoại tuyến – kèm theo các phương pháp kiểm tra, ngưỡng đạt yêu cầu và những cạm bẫy thường gặp, cùng với một bảng đánh giá mà bạn có thể sử dụng ngay trong quy trình mua sắm.

Trong quá trình mua sắm, hầu hết các đội đều tập trung toàn bộ sự chú ý vào một con số duy nhất: Độ chính xác phiên âm giọng nói. Con số chính thức là ≥98% đối với tiếng Quan thoại chuẩn – điều này dĩ nhiên rất quan trọng. Nhưng một báo cáo thường gặp sau khi ra mắt là: “chúng tôi vẫn phải cử người đến dọn dẹp lại.”
Vấn đề là một số được sử dụng để chấp nhận một hệ thống nhiều giai đoạn. Độ chính xác của phiên âm giọng nói chỉ có câu trả lời "là các ký tự đúng", trong khi liệu biên bản cuộc họp có thể được sử dụng hay không cũng phụ thuộc vào việc loa có được cho là chính xác hay không, liệu kết luận có tồn tại được tóm tắt hay không, liệu các vật phẩm hành động có thuộc về chủ sở hữu hay không, cho dù độ trễ có thể chấp nhận được hay không, và-trong các tình huống nhạy cảm Tuân thủ-cho dù toàn bộ chuỗi thực sự giữ nguyên vị trí.
Ghi chú: Bài viết này được tổ chức theo quan điểm chấp nhận của người mua. Độ chính xác, độ chính xác phương ngữ, độ trễ từ đầu đến cuối, tốc độ dịch máy và hiệu quả File-phiên âm giọng nói được công bố chính thức Thông số kỹ thuật; các tiêu Chí còn lại cung cấp Phương pháp và định nghĩa thử nghiệm, vì các nhà cung cấp khác nhau về cách họ đếm. Căn chỉnh các định nghĩa này trước khi thử nghiệm.
1. Khắc phục tiêu chuẩn chấp nhận trước khi bạn chọn Nhà cung cấp
Trình tự phổ biến nhất trong quy trình mua sắm là: xem demo sản phẩm của nhà cung cấp, lựa chọn một giải pháp, sau đó tiến hành đàm phán và ký kết hợp đồng. Hai hệ quả được rút ra.
Trước hết, các chỉ số trở nên không thể so sánh được. Đối với cùng một bản ghi, một nhà cung cấp báo cáo “độ chính xác ký tự 98,2%” còn nhà cung cấp khác lại ghi nhận “độ chính xác từ 97,6%” – những con số trông gần nhau nhưng lại đo lường các khía cạnh hoàn toàn khác biệt. Một người tính cả dấu câu, người kia thì không; một người dùng phòng yên tĩnh, người kia lại tổ chức cuộc họp thực sự. Nếu không có các định nghĩa được thống nhất từ trước, bất kỳ con số nào cũng có thể được giải thích theo hướng có lợi cho nhà cung cấp.
Thứ hai, những điểm yếu sẽ bị triệt tiêu khi tính trung bình. Nếu sáu tiêu chí được kết hợp thành một điểm số tổng hợp, thì một hệ thống đạt “độ chính xác 99%, phân tách người nói 55%” vẫn có thể đạt kết quả cao – năm tiêu chí còn lại sẽ nâng mức trung bình lên. Nhưng đối với người dùng, nó tạo ra biên bản cuộc họp nơi không ai biết ai đã nói gì, và khả năng sử dụng thực tế của nó tiếp cận bằng không.
Một cách tiếp cận khả thi chia việc chấp nhận thành hai tầng:
| Lớp | Mục đích | Nó được đánh giá như thế nào |
|---|---|---|
| Đường chuyền | Giá trị tối thiểu chấp nhận được cho mỗi trong sáu tiêu Chí | Veto: bất kỳ tiêu Chí nào dưới dòng sản phẩm đều thất bại trong toàn bộ đánh giá |
| Điểm xếp hạng | Ứng viên nào tốt hơn, một khi tất cả các tiêu Chí đều vượt qua | Tổng trọng lượng, để so sánh giữa các nhà cung cấp |
Các dòng thông số phải được ghi vào yêu cầu kỹ thuật trước khi mời thầu. Sau khi hợp đồng được ký kết, bên cung cấp dịch vụ nắm giữ vị thế thương mại mạnh hơn.
2. Sáu tiêu chuẩn chấp nhận
Dưới đây là một khung tham chiếu gồm sáu tiêu chí được đề xuất. Các đường truyền cần được điều chỉnh cho phù hợp với bối cảnh cụ thể của bạn, nhưng bộ tiêu chí không nên bị cắt giảm – mỗi tiêu chí bạn bỏ qua lại là thêm một điểm mù, chỉ bộc lộ sau khi hệ thống đi vào vận hành chính thức.
| # | Tiêu chuẩn | Câu trả lời là gì | Dây chuyền đề xuất | Nhân Vật Chính thức liên quan |
|---|---|---|---|---|
| 1 | Nhận dạng tiếng Quan thoại tiêu chuẩn | Các nhân vật có đúng không | ≥98% | ≥ 98% (Tiếng Trung chuẩn hoặc tiếng Anh chuẩn Mỹ) |
| 2 | Nhận dạng giọng dialect / | Có chịu nổi loa khác ko | ≥ 96% | ≥ 96% (tiếng Thổ ngữ khu vực lớn) |
| 3 | Chính xác tách Loa | Ai nói điều này | Đặt cho mỗi số loa | Hỗ trợ phân tách người nói |
| 4 | Duy trì kết luận | Quyết định tồn tại | Mặt hàng theo mặt hàng theo độ phân giải đáp ứng | Bốn loại Mẫu tóm tắt |
| 5 | Độ trễ từ đầu đến cuối | Sử dụng trực tiếp | Dưới 2 giây cho các cuộc họp trực tiếp | Độ trễ từ đầu đến cuối dưới 1 giây (hình chính thức) |
| 6 | Khả dụng ngoại tuyến | Nó thực sự là địa phương | Toàn bộ chuỗi hoạt động ngoại tuyến | Mô hình nhận dạng và tóm tắt được triển khai tại địa phương |
Mỗi bản đồ này tương ứng với điều gì trên VoiVision, và bạn có thể kiểm tra ở đâu:
| Tiêu chuẩn | Làm thế nào VoiVision đáp ứng nó | Xác minh ở đâu |
|---|---|---|
| 1 nhận dạng tiếng Quan thoại tiêu chuẩn | Thuật toán đầu cuối phát biểu độc quyền và động cơ phiên âm giọng nói có độ chính xác cao; ≥ 98% cho tiếng Quan thoại tiêu chuẩn và tiếng Anh Mỹ tiêu chuẩn | VV01 Meeting Host |
| 2 phương ngữ nhận dạng giọng / | Tương thích với hơn 10 ngôn ngữ Trung Quốc bao gồm Wu, Quảng Đông, sichuanese và nam min; ≥ 96% cho các thổ ngữ khu vực lớn | VV10 Enterprise Private Deployment Host |
| Chính xác tách 3 loa | phân tách người nói ghi nhận vai trò và khác với Nhận dạng giọng nói; trọng tâm chấp nhận là phân đoạn gián đoạn | Technical approach · speech engine |
| Lưu giữ 4 kết luận | Tóm tắt sử dụng bốn loại mẫu phù hợp với loại cuộc họp (tóm tắt / kết luận / thảo luận nhiều bên / báo cáo trở lên), do đó, một mẫu không phù hợp không thể làm phẳng sự bất đồng | Meeting-minutes quality: five engineering stages |
| 5 độ trễ từ đầu đến cuối | Độ trễ từ đầu đến cuối dưới 1 giây (hình chính thức); trên thiết bị npu spans 46 / 166 / 326 TOPS | VV05 Edge NPU Host |
| 6 sẵn sàng ngoại tuyến | Cả hai mô hình công nhận và tóm tắt được triển khai tại địa phương; hỗ trợ nội bộ của chính phủ và môi trường đầy đủ không khí | Private deployment for government |
Trên tiêu chí 6, có một điểm nữa cần lưu ý: đây là tiêu chí duy nhất được kiểm chứng ở cấp độ kiến trúc thay vì ở cấp độ chức năng. Năm mục đầu tiên đều có thể được điều chỉnh để đạt ngưỡng thông qua; việc có dữ liệu nào thoát ra khỏi mạng hay không chỉ có thể được xác nhận bằng cách chạy lại thử nghiệm khi mạng đang tắt.
3. Phương pháp thử nghiệm và cạm bẫy, tiêu Chí theo tiêu chuẩn
Độ chính xác và phương ngữ 3.1: định nghĩa quan trọng hơn số
Phương pháp thử nghiệm: Chuẩn bị bốn loại bản ghi âm, mỗi loại từ 20 đến 30 biên bản cuộc họp (xem mục 3.7). Chạy cùng một đoạn âm thanh qua hệ thống, sau đó so sánh với kết quả chuẩn được xác định thủ công hoặc bằng công cụ hỗ trợ.
Những cạm bẫy thường gặp:
| Pitfall | Trông như thế nào | Hậu quả |
|---|---|---|
| Quy Tắc đếm không căn chỉnh | Một Bên đếm dấu chấm câu, bên còn lại không; một bên đếm từ phụ, bên còn lại không bao gồm chúng | Con số không thể so sánh; chấp nhận trở thành một đối số |
| Chỉ đọc sách một người yên tĩnh | Độ chính xác trông tuyệt vời; các cuộc họp thực sự sụp đổ | Làm lại sau khi phát trực tiếp |
| Chỉ Tiếng Quan thoại tiêu chuẩn, không có tiếng địa phương | Con số phương ngữ chính thức ≥ 96%, nhưng chỉ có tiếng Quan thoại tiêu chuẩn mới được thử nghiệm | Hai điểm phần trăm là sự khác biệt giữa sự cố và sự cố |
| Lời nói được viết kịch bản chứ không phải lời nói | Độ chính xác được thổi phồng | Khoảng cách lớn từ điều kiện thực tế |
Hành động chấp nhận: Yêu cầu nhà cung cấp cho bộ kiểm thử và tập lệnh đếm, không chỉ số cuối cùng-Chạy nó trên bản ghi âm của riêng bạn là cách duy nhất để xác minh định nghĩa.
3.2 phân tách người nói: một đoạn bị gán sai hoàn toàn còn tệ hơn cả những lỗi rời rạc
Phương pháp thử nghiệm: Sử dụng các bản ghi âm đa phương với ba hoặc nhiều người nói hơn chứa đựng những đoạn ngắt quãng và lời nói chồng chéo. Hãy chọn ra ít nhất mười đoạn gây gián đoạn và kiểm tra từng đoạn một.
Những cạm bẫy thường gặp:
- Vai trò nhầm lẫn trong quá trình gián đoạn-khi hai người nói cùng một lúc, Thuật toán gán cả hai kéo dài cho một người, hoặc xen kẽ chúng. Đây là chế độ phá hỏng đặc trưng của hiện tượng tách rời.
- Toàn bộ phân khúc do sai người-Nghiêm trọng hơn lỗi nhân vật rải rác, bởi vì độc giả hành động sai vai trò ghi nhận.
- Sự suy thoái không xác định vượt quá giới hạn người tham dự-khi số lượng người tham dự vượt quá giới hạn được hỗ trợ, một số hệ thống hợp nhất vai trò (chấp nhận được) và các lỗi khác (không chấp nhận được). Hãy kiểm tra điều này một cách rõ ràng.
- Tách biệt xác thực với đọc một người-Một tập tin âm thanh đơn âm hoàn toàn không thể kiểm tra tách.
Hành động chấp nhận: thiết lập các ngưỡng số lượng người nói theo từng nhóm (ví dụ, tách riêng các cuộc họp có tối đa 5 người và từ 6 đến 10 người), đồng thời thống nhất trước cách đánh giá các đoạn giao nhau – dựa trên độ chính xác của toàn bộ đoạn hoặc dựa trên khoảng thời gian giao nhau. Định nghĩa đó phải được thống nhất trước khi tiến hành bài kiểm tra.
Tiêu chí này quyết định xem biên bản cuộc họp có thể sử dụng được hay không, và đó là lý do tại sao VoiVision coi phân tách người nói như một giai đoạn full-stack độc quyền thay vì phụ thuộc vào một dịch vụ đóng của bên thứ ba. Khi đánh giá, yêu cầu bất kỳ nhà cung cấp nào chứng minh: đưa cho họ một bản ghi Ba người thực sự với sự gián đoạn và kiểm tra nhãn vai trò Tại Chỗ-technical approach page đặt ra động cơ Kiến trúc và các hình thức triển khai.
Lưu giữ kết luận 3.3: tóm tắt lưu loát là không đủ
Phương pháp thử nghiệm: Chuẩn bị bốn loại cuộc họp – họp cập nhật thông tin, họp ra quyết định, hội thảo động não và báo cáo cấp trên – áp dụng mẫu phù hợp cho từng loại, sau đó so sánh bản tóm tắt với danh sách các nghị quyết được ghi chép thủ công, theo từng mục.
Những cạm bẫy thường gặp:
- Mẫu không khớp với kiểu họp-Thực hiện một cuộc họp quyết định thông qua một mẫu tóm tắt làm phẳng cả kết luận và sự bất đồng. Đây Là Thất Bại phổ biến nhất, và thường không phải là vấn đề về khả năng mô hình.
- Kiểm tra xem phần tóm tắt có ghi rõ không-trôi chảy nhưng thiếu phần kết luận nguy hiểm hơn vụng về, bởi vì nó trông ổn.
- Biến "đã có bất đồng" Thành "đã có sự đồng thuận"-trong một cuộc họp quyết định, sự bất đồng là thông tin có giá trị nhất, và một bản tóm tắt làm phẳng nó là không thể sử dụng được.
Hành động chấp nhận: sử dụng danh sách nghị quyết được viết bằng tay làm mốc chuẩn và kiểm tra từng mục một. Bảng kiểm tra cần bao quát ít nhất các nội dung sau: hạng mục rà soát, hướng kết luận, việc liệu có bảo toàn sự bất đồng hay không, và việc liệu quyền sở hữu có được duy trì hay không.
Tính hoàn thiện của vật phẩm hành động 3.4: Ba yếu tố, không có tùy chọn
Phương pháp thử nghiệm: Lấy các hạng mục hành động từ biên bản cuộc họp và kiểm tra ba điều cho mỗi hạng mục-nhiệm vụ, chủ sở hữu và vị trí nguồn.
Những cạm bẫy thường gặp:
| Yếu tố thiếu | Trông như thế nào | Tại sao không thể chấp nhận được |
|---|---|---|
| Chủ sở hữu | Chỉ "theo dõi triển khai" | Không ai biết ai hành động |
| Vị trí nguồn | Mục hành động tách rời khỏi văn bản gốc | Không thể truy tìm; không thể kiểm tra trong Tranh Chấp |
| Mô tả tác vụ | Over-generalised | Phân chia phiên dịch tại thời điểm thực hiện |
Hành động chấp nhận: Kéo Ba vật phẩm hành động và đẩy họ đi hết chặng đường hội nhập-WeCom, DingTalk, Feishu hoặc hệ thống OA của chính phủ-để xác nhận ba yếu tố tồn tại khi cầm tay. Việc chính thức hỗ trợ các hạng mục hành động và tích hợp với nền tảng văn phòng đồng nghĩa với việc con đường này thực sự đang hiện hữu.
Độ trễ từ đầu đến cuối 3.5: biết bạn đang đo độ trễ nào
Phương pháp thử nghiệm: Đo lường các tình huống họp trực tiếp và nộp tệp phiên âm giọng nói riêng biệt.
Những cạm bẫy thường gặp:
- Kết hợp độ trễ mã thông báo đầu tiên với độ trễ toàn phần-Chăm sóc cuộc họp trực tiếp Về chúng tôi khi các ký tự đầu tiên xuất hiện (bạn có thể đọc cùng); tập tin phiên âm giọng nói quan tâm Về chúng tôi khi toàn bộ phân đoạn hoàn thành.
- Tính toán thử nghiệm khác với sản xuất-cùng một mô hình có thể hoạt động rất khác nhau trên một card tăng tốc so với CPU. Yêu cầu dữ liệu kiểm tra lại theo cấu hình sản xuất.
- Thử nghiệm tại nhàn rỗi-Độ trễ suy giảm khi tăng đồng tiền. Con số độ trễ từ đầu đến cuối chính thức dưới 1 giây được thực hiện dưới một cấu hình cụ thể.
Hành động chấp nhận: nêu rõ thông số đo lường điểm bắt đầu và điểm kết thúc (âm thanh vào đến ký tự đầu tiên ra, hoặc cho đến khi toàn bộ văn bản được trả về) trong các yêu cầu kỹ thuật.
Khả dụng ngoại tuyến 3.6: một tiêu Chí cần bằng chứng kiến trúc
Phương pháp thử nghiệm: Ngắt kết nối truy cập mạng bên ngoài (hoặc áp dụng các quy tắc egress thông qua tường lửa), chạy lại toàn bộ quy trình và kiểm tra tóm tắt, các hạng mục hành động và tạo sơ đồ tư duy riêng biệt.
Những cạm bẫy thường gặp:
- Chỉ có phiên âm giọng nói đã được xác minh-ngoại tuyến phiên âm giọng nói thật dễ dàng; một bản tóm tắt được lưu trữ trên đám mây chính là điểm mù kinh điển. Âm thanh vẫn được giữ lại bên trong, trong khi phần tóm tắt bị loại bỏ, và yêu cầu tuân thủ vẫn không được đáp ứng.
- Vẫn hoàn trả kết quả nhé bạn-đó có thể là bộ nhớ đệm cục bộ hoặc một mô hình được cài đặt cục bộ. Hãy đi sâu hơn để xác nhận vị trí lưu trữ trọng số mô hình và chính sách egress là gì.
- Thử nghiệm ngoại tuyến đã được chạy trên môi trường thử nghiệm-Môi trường thử nghiệm có thể có Mô Hình Địa phương trong khi các điểm Sản xuất tại đám mây API.
Hành động chấp nhận:
- Chạy lại toàn bộ dòng chảy với mạng xuống và xác minh cả ba bước thế hệ;
- Kiểm tra các tập tin trọng lượng mô hình trên máy chủ;
- Kiểm tra Quy Định Về Chính Sách lỗi và tường lửa.
Về phía VoiVision Đây là một cam kết kiến trúc chứ không phải là một dòng trong một bảng thông số: động cơ phát biểu và mô hình thế hệ tóm tắt đều chạy bên trong các máy chủ của khách hàng, với trọng lượng mô hình, lưu trữ và ghi chép tất cả lưu trữ trong miền. Thông số kỹ thuật chính thức nêu rõ rằng triển khai tại chỗ đáp ứng các yêu cầu về Mức 3 và thông tin mật của MLPS, đồng thời không có bất kỳ vi phạm nào thuộc diện rò rỉ dữ liệu.
Phần cứng được cung cấp theo mức độ đồng thời:
- Một KÊNH-VV01 Meeting Host
- Năm KÊNH-VV05 Edge NPU Host
- Ten kênh và full-Stack triển khai tại chỗ-VV10 Enterprise Host
- Carry ngoại tuyến-V06 card-sized recording card
Chuẩn bị âm thanh thử nghiệm 3.7: Bốn loại mẫu bao gồm thực tế
Ít nhất bốn loại, mỗi loại 20–30 biên bản cuộc họp, tổng cộng hơn 100 biên bản cuộc họp:
| Loại | Tại Sao Nó là bắt buộc | Bẫy điển hình |
|---|---|---|
| Ghi âm văn phòng thông thường | Kịch bản Đường Cơ Sở | Mẫu quá nhỏ để thống kê ổn định |
| Chồng chéo / gián đoạn nhiều bên | Nơi phân tách người nói phá vỡ | Thay thế bằng một người đọc-Hoàn toàn không hiệu quả |
| Các cuộc họp về thuật ngữ miền | Kiểm tra Thuật Ngữ xử lý (Tài Chính / y tế / điều khoản của chính phủ) | Từ vựng hàng ngày được sử dụng, vì vậy các vấn đề Thuật Ngữ không bao giờ xảy ra |
| Bản ghi SNR trường thấp Xa | Máy thu âm thử nghiệm và giảm tiếng ồn | Đã thử nghiệm chỉ bên cạnh micro để bàn; phòng họp thực sự đổ vỡ |
Trọng Tâm chấp nhận cũng khác với dịch vụ chăm sóc tài chính và Chính Phủ công nghiệp hầu hết các thiết bị âm thanh Về chúng tôi ở trong phạm vi và MLPS cấp 3; R&D và các doanh nghiệp lớn Về chúng tôi Đồng tiền nhiều phòng và tích hợp với các thuật ngữ miền OA hiện Có; Healthcare Về chúng tôi. Kiểm tra ngành công nghiệp của riêng bạn trước tiên: Các cuộc họp Chính phủ, Các tổ chức tài chính, Các doanh nghiệp vừa và lớn, Doanh nghiệp R&D, Chăm sóc sức khỏe.
Ba điểm thiết thực:
- Sử dụng âm thanh thật-không phải TTS-Tạo hoặc đọc từ một kịch bản. Điểm phát biểu tổng hợp cao nhân tạo.
- Cung cấp mẫu cho nhà cung cấp trước và yêu cầu họ chạy động cơ riêng của họ, với sự thật mặt đất thủ công của bạn như là đường cơ sở.
- Giữ lại một số mẫu cho giai đoạn chấp nhận, vì vậy động cơ không thể được điều chỉnh để phù hợp với chúng.
4. Làm việc ngược từ tiêu Chí đến phần cứng
Sáu tiêu chí cuối cùng dẫn đến một cấu hình cụ thể. Phần cứng VoiVision được phân cấp bởi mức độ đồng thời và hình thức triển khai, do đó phép ánh xạ là trực tiếp:
| Yêu cầu | Mẫu được đề xuất | Thông số kỹ thuật | Kịch bản điển hình |
|---|---|---|---|
| Một kênh, phiên âm giọng nói ngoại tuyến, Triển Khai Máy tính để bàn | VV01 Meeting Host | 1 kênh · 46 TOPS trên thiết bị npu | Phòng đơn nhỏ, biên bản cuộc họp riêng |
| 5 kênh đồng thời, tính toán cạnh | VV05 Edge NPU Host | 5 kênh · 166 TOPS | Phòng trung bình, được chia sẻ bởi các phòng ban |
| 10 kênh đồng thời, full-Stack triển khai tại chỗ | VV10 Enterprise Host | 10 kênh · 326 TOPS | Phòng lớn, tầng triển khai |
| Mang theo ngoại tuyến, ghi âm bỏ túi | V06 card-sized recording card | Cỡ thẻ · trên thiết bị npu | Du lịch, tham quan thực địa, các cuộc họp quảng cáo |
| Giải thích trực tiếp hai chiều | VT02 translation host | Hai chiều 1 kênh | Gặp gỡ với khách nước ngoài |
| Phiên dịch doanh nghiệp, đa kênh | VT10 translation server | Màn hình Kép 5 kênh | Một số cuộc họp ngoại ngữ đồng thời |
Lý luận rất ngắn gọn: Trước tiên, chọn mô hình theo mức độ đồng thời, sau đó thêm một mô hình thuộc dòng VT nếu cần diễn giải.. Để tham khảo đầy đủ bảng so sánh thông số kỹ thuật, vui lòng xem product overview.
5. Thẻ điểm bạn có thể sử dụng
Biến những nội dung trên thành một bảng sẽ cho bạn một bảng điểm mà bạn có thể mang theo trong buổi họp đấu thầu.
| Tiêu chuẩn | Trọng lượng (đường chuyền = veto) | Giá trị đo được | Quy Tắc đếm | Đã qua | Yêu cầu khắc phục | Ngày xác minh lại |
|---|---|---|---|---|---|---|
| Nhận dạng tiếng Quan thoại chuẩn | Phủ quyết | Dấu Chấm Câu / phụ từ tính? | ||||
| Nhận dạng giọng nói phương ngữ / | Phủ quyết | Địa phương nào được bảo hiểm? | ||||
| Độ chính xác của việc tách người nói | Phủ quyết | Quy Tắc đánh giá gián đoạn số loa / | ||||
| Kết luận về việc giữ chân | Phủ quyết | Từng món hàng vs Độ phân giải thủ công | ||||
| Hoàn thiện vật dụng hành động | Phủ quyết | Cả ba yếu tố đều có mặt? | ||||
| Độ trễ đầu cuối | Phủ quyết | Điểm đo lường cấu hình tính toán / | ||||
| Tính khả dụng ngoại tuyến | Phủ quyết | Kết quả chạy lại ngoại tuyến | ||||
| Điểm xếp hạng Composite | Tài liệu tham khảo | Tổng trọng số | ||||
| Kiểm tra/sản xuất tính chẵn lẻ | Phủ quyết | Cùng một cấu hình? |
Cách sử dụng nó: phổ biến bảng này cùng với danh sách ghi âm kiểm tra và các định nghĩa quy tắc đếm như một đính kèm hợp đồng. Kiểm tra từng dòng một hiệu quả hơn nhiều so với cả một ngày tham gia các buổi trình diễn của nhà cung cấp.
6. ba điểm cuối cùng
Trước hết, hãy giữ lại dữ liệu kiểm tra. Các bản ghi âm bài kiểm tra, dữ liệu thực tế, điểm số theo từng tiêu chí và hồ sơ khắc phục đối với các mục không đạt là những bằng chứng duy nhất có sẵn trong trường hợp phát sinh tranh chấp sau này.
Thứ hai, yêu cầu có gói triển khai ngoại tuyến. Nếu môi trường thử nghiệm phụ thuộc vào các dịch vụ đám mây của nhà cung cấp, nhiều vấn đề chỉ bộc lộ khi triển khai thực tế – lúc đó quá trình mua sắm thường đã gần kết thúc. Một gói cài đặt ngoại tuyến cũng cho phép khách hàng tự thực hiện đánh giá của bên thứ ba.
Thứ ba, đừng chỉ kiểm tra các tính năng.
Việc lựa chọn bộ tăng tốc quyết định trực tiếp đến độ trễ, vì vậy bên chấp nhận cần xác minh rằng cấu hình điện toán sản xuất khớp với môi trường thử nghiệm; nếu không, các kết luận từ bài kiểm tra sẽ không thể áp dụng cho thực tế.
Thông số kỹ thuật chính thức lưu ý rằng động cơ Speech natively hỗ trợ NVIDIA, Ascend, Cambricon và Hygon Compute ecosystems, và chạy suy luận thời gian thực về CPU một mình; gia tốc trên thiết bị NPU kéo dài ba tầng tính toán.
Các mô hình cụ thể và các cấp tính toán có thể được kiểm tra từng mục một so với technical approach page.
7. tiếp theo: kiểm tra trước, hoặc thử nghiệm trước?
Thẻ điểm này không gắn liền với bất kỳ nhà cung cấp nào-việc này nên được giải quyết xong trước khi bạn chọn ra danh sách ngắn gọn những ứng viên. Nếu bạn đã được lựa chọn, hai tuyến đường:
Lộ trình A: gửi bảng điểm này cho các nhà cung cấp hiện có của bạn. Gửi cho họ sáu tiêu chí và các dòng lệnh, yêu cầu trả lời bằng văn bản kèm theo bộ dữ liệu kiểm tra và tập lệnh đếm. Cách này giúp loại nhanh những ứng viên không đáp ứng yêu cầu mà không tốn chi phí.
Lộ trình B: tiến thẳng đến giai đoạn thử nghiệm và xác thực bằng các cuộc họp thực tế. VoiVision bao gồm phạm vi phần cứng đầy đủ từ máy chủ để bàn đến mười kênh đồng thời, với triển khai tại chỗ và cả mô hình nhận dạng và tóm tắt chạy cục bộ, vì vậy, dòng chấp nhận hoàn chỉnh-bao gồm cả chạy lại ngoại tuyến-Có thể chạy trực tiếp với bản ghi cuộc họp của riêng bạn. Máy tính được hỗ trợ bao gồm các suy luận Chỉ có NVIDIA, Ascend, Cambricon và Hygon và CPU chạy trong thời gian thực; Danh sách thích ứng và các mẫu triển khai đáng để kiểm tra trước trên technical approach page.
Bạn không chắc mẫu nào phù hợp? Hãy bắt đầu từ ngành của bạn: government intranet, finance, large enterprise, R&D teams, healthcare, retail và SMBs đều có những trọng tâm riêng.
Hãy mang theo các bản ghi âm cuộc họp của bạn, chúng tôi sẽ cùng nhau điền vào bảng đánh giá này – book a demo, hoặc liên hệ với đội ngũ bán hàng qua WeCom.
Về các số liệu: chính thức xuất bản Thông số kỹ thuật-phiên âm giọng nói Độ chính xác ≥ 98% (tiếng Quan thoại tiêu chuẩn hoặc tiếng Anh Mỹ tiêu chuẩn), phương ngữ khu vực lớn ≥ 96%, độ trễ từ đầu đến cuối dưới 1 giây, dịch máy ≥ 800 ký tự mỗi giây, tệp phiên âm giọng nói hiệu quả 10:1 và gia tốc trên thiết bị NPU là 46 / 166 / 326 TOPS. Các giá trị này thay đổi tùy thuộc vào điều kiện âm thanh, kích thước mô hình, chiến lược đồng thời và cấu hình tính toán; việc đánh giá hiệu quả nên dựa trên kết quả đo đạc.
Động cơ dịch Đằng Sau Những Con số đó là NiuTrans, được sử dụng hơn 100,000 lần trên toàn thế giới.
Câu hỏi thường gặp
Q: Chúng ta nên đặt tỷ lệ đạt chuẩn nào khi phê duyệt một hệ thống biên bản cuộc họp?
A: Đánh giá từng tiêu chí trong số sáu tiêu chí dựa trên ngưỡng đạt riêng của từng tiêu chí, thay vì sử dụng một điểm số tổng hợp duy nhất: tỷ lệ nhận diện tiếng Quan thoại chuẩn, độ chính xác trong việc tách người nói, tỷ lệ giữ lại thông tin kết luận, tỷ lệ đầy đủ các hạng mục hành động, độ trễ đầu cuối và khả năng hoạt động ngoại tuyến. Bất kỳ tiêu chí nào nằm dưới ngưỡng của nó đều khiến hệ thống trở nên không thể sử dụng được – một hệ thống đạt độ nhận dạng 99% nhưng chỉ có chỉ số phân tách người nói ở mức 60% thì vẫn sẽ cho ra kết quả biên bản cuộc họp mà chẳng ai đọc. Điểm tổng hợp hữu ích cho việc xếp hạng các ứng viên, nhưng không được che giấu những điểm yếu riêng lẻ.
Q: Nên đo lường độ chính xác nhận dạng bằng chỉ số nào – tỷ lệ lỗi ký tự hay tỷ lệ lỗi từ?
A: Hãy xem xét cả hai và xác định rõ các quy tắc đếm trước. Tỷ lệ lỗi ký tự cho biết liệu phụ đề có thể sử dụng được ngay hay không; còn tỷ lệ lỗi từ phản ánh sát hơn cách mà doanh nghiệp đánh giá chất lượng – tức là trong một câu có bao nhiêu từ bị sai. Trong tiếng Trung, bạn cũng cần thống nhất xem liệu dấu câu và các từ đệm có được tính vào hay không. Hãy thống nhất định nghĩa trước khi tiến hành thử nghiệm, nếu không các số liệu từ các nhà cung cấp khác nhau sẽ không thể so sánh được.
Q: Chúng ta nên chuẩn bị bao nhiêu âm thanh kiểm tra?
A: Ít nhất bốn loại mẫu: các bản ghi âm văn phòng thông thường, các cuộc họp đa phương có gián đoạn và nói chồng chéo, các cuộc họp chứa thuật ngữ chuyên ngành (tài chính, y tế, chính phủ), và các bản ghi âm từ xa với tỷ lệ tín hiệu trên nhiễu kém. Từ hai mươi đến ba mươi biên bản cuộc họp của mỗi loại, tổng cộng trên 100 biên bản cuộc họp, là mức tối thiểu hợp lý. Việc kiểm chứng chỉ bằng một lần đọc thầm duy nhất của một người là phương pháp phổ biến nhất nhưng lại kém hiệu quả nhất – nó không thể phát hiện ra bất kỳ vấn đề nào trong thực tế.
Q: Làm thế nào để chúng ta xác nhận rằng hệ thống thực sự hoạt động ngoại tuyến?
A: Chạy lại toàn bộ quy trình làm việc với tính năng truy cập mạng bên ngoài bị vô hiệu hóa, và đặc biệt chú ý đến quá trình tạo tóm tắt. Chỉ xác minh phiên âm giọng nói thôi là chưa đủ – việc phiên âm giọng nói ngoại tuyến tương đối dễ dàng, trong khi một bản tóm tắt mà gọi là API của mô hình đám mây lớn có nghĩa là âm thanh vẫn ở bên trong còn bản tóm tắt thì đi ra ngoài, thì tuyên bố tuân thủ vẫn không đạt. Ngắt kết nối mạng và chạy lại toàn bộ quy trình: nếu bước tổng hợp bị lỗi hoặc hiệu suất giảm, điều này phụ thuộc vào nền tảng đám mây. Ngoài ra, hãy xác nhận rằng trọng số mô hình đã được tải xuống cục bộ và kiểm tra chính sách egress.
Q: Tiêu chí chấp nhận cho phân tách người nói nên là gì?
A: Hãy xem xét hai khía cạnh: tần suất các vai trò được gán đúng và liệu có những phân đoạn hoàn toàn bị giao cho người không phù hợp hay không. Việc kiểm định phải sử dụng các bản ghi đa phương thực tế với từ ba người nói trở lên – tuyệt đối không được dùng đoạn đọc đơn thuần của một người – và cần tập trung đặc biệt vào những đoạn có hiện tượng người này nói xen lẫn với người kia, vì đây là tình huống mà các thuật toán tách âm thường gặp khó khăn. Ngoài ra, hãy kiểm tra điều gì sẽ xảy ra khi số lượng người tham dự vượt quá giới hạn được hỗ trợ: việc gộp vai trò là được phép, còn việc gắn nhãn sai thì không.
Q: Chúng ta có thể giữ lại dữ liệu kiểm thử và sử dụng lại sau này không?
A: Bạn nên làm như vậy và ghi rõ điều này vào hợp đồng dưới dạng một phụ lục. Các bản ghi âm bài kiểm tra, kịch bản kiểm tra, điểm số theo từng tiêu chí và hồ sơ khắc phục đối với các hạng mục không đạt được tổng thể tạo thành cơ sở để giải quyết mọi tranh chấp phát sinh sau này. Việc thống nhất trước các biện pháp khắc phục và kiểm tra lại đối với những hạng mục không đạt yêu cầu sẽ giúp tiết kiệm đáng kể công sức, thay vì phải dành thêm một giờ để thử nghiệm.
Q: Chúng ta có nên yêu cầu một gói triển khai ngoại tuyến cho môi trường thử nghiệm không?
A: Vâng. Nếu môi trường thử nghiệm phụ thuộc vào các dịch vụ đám mây của nhà cung cấp, nhiều vấn đề về tuân thủ và hiệu năng thường chỉ bộc lộ khi triển khai thực tế – lúc đó quy trình mua sắm thường đã gần kết thúc. Một gói triển khai ngoại tuyến cũng cho phép khách hàng tự thực hiện đánh giá của bên thứ ba thay vì phải hoàn toàn dựa vào báo cáo do nhà cung cấp đưa ra.
