Batas akurasi ada di mikrofon, bukan model: penangkapan suara ruang dan multi-kanal untuk notulen on-premise

Model yang sama, yaitu ASR, mencapai tingkat keberhasilan sebesar 98% di satu ruang pertemuan. Namun, di ruang pertemuan lainnya, tingkat keberhasilannya hanya mencapai 80%. Model yang digunakan adalah Dan perbedaannya biasanya bukan terletak pada modelnya. Perbedaannya terletak pada cara pengambilan data/informasi yang digunakan dalam analisis tersebut..

Banyak penilaian yang dilakukan dengan mengukur keseluruhan anggaran yang digunakan untuk pengembangan model tersebut. Namun, setelah model tersebut diterapkan, ternyata meskipun leksikonnya dikonfigurasi dengan baik dan kata-kata penting ditambahkan ke dalamnya, tingkat kesalahan tetap tidak dapat dikurangi. Alasannya sederhana:

Sebuah model hanya dapat bekerja dalam batas-batas suara yang diberikan sebagai inputnya. Suara yang buruk tidak dapat diperbaiki oleh model apa pun.

Catatan:: Angka-angka yang ditandai sebagai nilai yang telah diterbitkan berasal dari produk Spesifikasi. Tingkat kinerja tersebut merupakan nilai referensi untuk kondisi lingkungan biasa. Nilai-nilai ini dapat berubah sesuai dengan kondisi akustik, jarak perekaman, dan strategi konkuren yang digunakan. Nilai-nilai tersebut perlu diukur secara langsung di lokasi tempat pengambilan data.

Tingkat akurasi tertinggi berada pada tahap pengambilan data.

Mulailah dengan fakta yang mudah terlewatkan: pengenalan suara merupakan tahap satu saja dalam rantai tersebut yang tidak dapat menggantikan apa yang telah terjadi sebelumnya.

Sebuah model dapat memperbaiki kesalahan yang terjadi pada “kata-kata tersebut mungkin telah salah dikenali”. Namun, model tersebut tidak dapat memperbaiki masalah yang disebabkan oleh “kalimat tersebut sama sekali tidak tercatat dengan jelas”. Masalah-masalah tersebut muncul secara akustik, dan terbagi menjadi tiga bagian.

Masalah terkait audio	Penyebab akustik	Bisa diperbaiki dengan menggunakan model yang lebih baik.
Penurunan intensitas sinyal di jarak jauh	Energi suara menurun seiring dengan bertambahnya jarak, dan tingkat SNR juga menurun.	Pada dasarnya, tidak ada.
Sisa-sisa reverbasi	Refleksi yang terjadi di dalam ruangan dapat mengganggu proses berbicara seseorang.	Sebagian saja
Cross-talk multi-channel	Pembicaraan yang bertumpang-tindih, penggabungan berbagai saluran komunikasi	Tidak, tidak, tidak, tidak.

Seiring meningkatnya jarak pengambilan suara, energi suara langsung menurun secara signifikan. Sementara itu, kebisingan lingkungan tetap ada. Akibatnya, rasio sinyal terhadap kebisingan menjadi lebih buruk. Meningkatkan sensitivitas pada titik tersebut akan membuat suara yang terdengar lebih keras, tetapi akurasi suara pun bisa semakin menurun.

Kesimpulan: “Penangkapan” merupakan variabel pertama dalam seluruh proses tersebut.. Hal ini juga menjelaskan mengapa “mesin yang sama dapat beroperasi secara berbeda di ruangan-ruangan yang berbeda”. Yang membedakan bukanlah mesinnya, melainkan ruangan tersebut.

Perbedaan nyata antara ketiga pendekatan tersebut dalam hal proses penangkapan/penyitaan.

Pemutaran rekaman pertemuan dapat dilakukan melalui tiga cara yang berbeda. Pilihan yang digunakan haruslah sesuai dengan situasi yang ada.

Pendekatan/Metode	Prinsip-prinsip	Multi-pemirip	Layak untuk digunakan di dalam perusahaan/lingkungan lokal.
Mic yang dirancang khusus untuk digunakan dalam berbagai arah.	Array mikrofon + pemrosesan sinyal array	Kokoh, dirancang untuk digunakan oleh orang-orang yang duduk bersama di sekitar meja.	Native Native Native
Kombinasi sistem pertemuan/meeting	Menggunakan kembali hasil output yang bersifat campuran dari sistem yang sudah ada.	Sedang, dibatasi oleh sistem tersebut.	Perlu dilakukan verifikasi integrasi.
Perangkat lunak untuk merekam suara secara lokal	Perangkat lunak klien merekam suara yang berasal dari lokasi tertentu.	Lemah, hanya memiliki satu saluran saja.	Secara umum, tidak cocok untuk digunakan.

Mic yang dirancang khusus untuk digunakan dalam berbagai situasi, baik secara mendatar maupun vertikal. dirancang untuk digunakan oleh orang-orang yang duduk di sekitar meja. Sensitivitas suara di setiap arah tergolong seragam. Dengan adanya fitur penghilangan suara dan pengurangan efek gema, beberapa speaker dapat memberikan kualitas perekaman suara yang stabil. Pada sisi transkripsi suara, mikrofon omnidireksional USB digunakan melalui antarmuka standar. Host komputer juga mendukung penggunaan mikrofon eksternal dengan cara “plug-and-play”.

Kombinasi sistem pertemuan/meeting tampaknya merupakan solusi yang praktis—karena memungkinkan penggunaan kembali output audio dari sistem pertemuan yang sudah ada. Namun, kualitas hasil mixingnya sangat bergantung pada sistem tersebut. Jika sistem tersebut dibangun untuk digunakan oleh manusia, maka rentang dinamis dan tingkat SNR-nya mungkin tidak cukup baik untuk digunakan oleh model-model tertentu. Yang perlu diverifikasi adalah Pemisahan saluran dalam situasi yang melibatkan banyak pihak. Karena proses mixing sering kali menggabungkan beberapa saluran audio menjadi satu, sehingga pemisahan pembicara tidak memiliki input yang dapat digunakan.

Perangkat lunak untuk merekam suara secara lokal pada dasarnya bukanlah solusi yang cocok untuk penggunaan di lingkungan on-premise. hanya dapat menangkap satu saluran suara saja. Selain itu, tidak dapat memisahkan para peserta rapat yang berbeda suara tersebut. juga bergantung pada instalasi perangkat client agar dapat berfungsi dengan baik.

Mode kegagalan umum

• Menganggap “dapat merekam” sebagai “dapat mentranskripsi”.: Audio dari sistem pertemuan tersebut disalin agar dapat didengar oleh manusia, bukan untuk model-model komputer.
• Hanya melakukan pengujian di dekat podium saja.: Keempat sudut dan tempat yang paling jauh merupakan kondisi operasi yang sebenarnya.
• Mengabaikan jumlah saluran yang ada.: Ketika saluran-saluran tersebut digabungkan menjadi satu, maka pemisahan pembicara tidak memiliki input lagi.

Jarak pengambilan dan akustik ruangan

Jarak perekaman merupakan parameter yang sering ditanyakan oleh para pengguna Tentang Kami. Namun, jawabannya biasanya tidak jelas. Dengan adanya host desktop dan mikrofon omnidireksional eksternal, area perekaman yang efektif berkisar sekitar 5 hingga 10 meter. Hal ini sangat cocok untuk ruang pertemuan berukuran kecil hingga sedang.

Jawaban yang benar adalah Lebih banyak titik penerimaan pengguna., bukan “more sensitivity”. Hal ini disebabkan oleh faktor akustik: energi suara menurun seiring dengan jarak yang semakin jauh, sedangkan kebisingan tidak demikian. Oleh karena itu, penguatan sinyal dilakukan secara merata pada kedua kondisi tersebut.

Akustik ruangan juga sangat penting.

• Reverberasi: Dinding yang terbuat dari kaca, lantai yang halus, serta ruangan-ruangan yang luas dan kosong membuat suara berbicara menjadi terdengar sangat jelas. Hal ini menyebabkan suara berbicara menjadi “terkontaminasi” oleh gema suara tersebut.
• Bising dalam keadaan stabil: Kondisi udara yang sejuk, proyektor, serta lalu lintas di luar ruangan – semua ini memiliki spektrum yang stabil, dan setidaknya dapat diproses secara algoritmik dengan mudah.
• Bising sementara: Gerakan kursi yang tidak stabil, pintu yang ditutup dengan keras, serta getaran pada telepon—inilah penyebab paling umum yang menyebabkan segala sesuatu menjadi kacau.

Lakukan dua kali proses penerimaan tersebut.: Satu ruangan memiliki sistem AC dan proyektor yang berfungsi; ini merupakan kondisi nyata. Ruangan lainnya berada di ruangan yang tenang. Uji coba yang hanya dilakukan di ruangan yang tenang bukanlah uji coba yang lengkap. Sebagian besar ruang pertemuan memiliki tingkat kebisingan sekitar 40 hingga 50 desibel.

Mikrofon berkepribadian dua arah + teknologi konduksi tulang: tidak menggunakan lebih dari satu mikrofon.

Insting yang umum pada perangkat perekam portabel adalah “menambahkan lebih banyak mikrofon”. Namun, jumlah mikrofon tidaklah menentukan kualitas rekaman yang dihasilkan. Beberapa mikrofon saja, tanpa adanya proses pemrosesan sinyal yang tepat, hanya akan merekam beberapa salinan sinyal yang bising.

Pendekatan yang efektif adalah Mekanisme pengambilan data yang bersifat komplementer.

Mekanisme (Mekanisme)	Apa yang dapat ditangkap oleh hal tersebut…	Kekuatan	Kekurangan/Kelemahan
Konduksi udara (omni mic)	Gelombang suara	Lebar pita frekuensi yang luas, kesan alami	SNR kolaps akibat adanya kebisingan yang sangat tinggi.
Konduksi tulang	Getaran melalui permukaan padat	Kemampuan untuk memahami pesan tetap ada meskipun terjadi kebisingan yang berat.	Banda lebar memerlukan kontak fisik antara kedua belah pihak.

Kasus yang berkaitan dengan nilai konduksi tulang tersebut merupakan kasus yang khusus.: Ketika sistem pendingin udara, fan proyektor, atau kebisingan di luar ruangan telah merusak sinyal suara yang ada di udara, maka komponen suara yang ditangkap melalui mikrofon tetap dalam kondisi yang relatif utuh. Ini bukanlah “satu lagi mikrofon” – ini merupakan saluran perekaman suara yang independen.

Sebagai contoh, kartu perekam pribadi menggunakan desain Mic yang memiliki kemampuan berkomunikasi secara dua arah, ditambah dengan fitur konduksi tulang.. Jangkauan perekaman kartu ini berkisar antara 5 hingga 10 meter. Rekaman tersebut dapat disinkronkan secara otomatis ke server lokal. Dengan demikian, terciptalah rangkaian proses perekaman yang mudah: “rekaman → transkripsi oleh AI → penyimpanan dalam basis pengetahuan”. Hal ini sangat cocok digunakan dalam pekerjaan di mana penggunaan perangkat tetap tidak memungkinkan.

Dari satu ruangan ke banyak ruangan: menentukan besarnya konkuren yang dapat berlangsung di sana.

Setelah masalah terkait penangkapan seseorang selesai, pertanyaan selanjutnya adalah Hitungkan dan keluarkan hasilnya untuk setiap saluran.. Ada satu kesalahan umum yang sering terjadi di sini: menganggap “jumlah saluran untuk setiap kotak” sebagai satu-satunya metrik yang penting.

Dalam situasi nyata, diperlukan dua pengukuran yang terpisah.: Banyak sekali proses pemisahan pembicara yang berlangsung dalam satu ruangan saja. Selain itu, ada juga paralelisme antar berbagai ruangan. Yang pertama adalah pemisahan pembicara di dalam satu aliran suara., sedangkan yang kedua adalah Berbagai aliran suara yang ditranskripsi secara paralel.. Keduanya membutuhkan kapasitas komputasi yang berbeda-beda.

Tiga tingkatan berdasarkan skala ruangan:

Tier Tier Tier Tier	Contoh penggunaan	Konfigurasi yang khas/umum	Metrik kunci (key metrics)
Host desktop	Kamar kecil yang terpisah, dengan meja kerja pribadi.	46 TOPS Edge Compute, memori sebesar 8GB, penyimpanan yang dapat diperluas hingga 128GB.	Waktu latensi kurang dari 1 detik (diterbitkan).
Server Departemen	Pusat penelitian dan pengembangan, cabang-cabang perbankan, rantai bisnis di berbagai wilayah	5 saluran siaran sekaligus, 166 TOPS, memori berkecepatan tinggi sebesar 24GB.	Latenza dari awal hingga akhir kurang dari 1,5 detik
Server perusahaan	Pemerintah, bidang pertahanan, keuangan, kesehatan, serta berbagai bidang lain yang membutuhkan tingkat kepatuhan yang tinggi.	10 saluran siaran sekaligus, 326 TOPS, dan memori berkecepatan tinggi sebesar 48GB.	Nilai RTF di bawah 0,3; waktu latensi dari ujung ke ujung kurang dari 1 detik.

Ukurannya ditentukan berdasarkan “jumlah ruangan yang dapat digunakan untuk mengadakan pertemuan secara bersamaan”. Selain itu, disarankan untuk menyisakan ruang sebesar 20% dari total kapasitas tersebut. digunakan untuk sesi-sesi yang bersifat ad-hoc. Mengoperasikan server perusahaan hanya untuk satu ruangan merupakan pemborosan sumber daya. Sedangkan mengoperasikan host desktop untuk beberapa ruangan secara serentak akan menyebabkan terjadinya antrian.

Banyak ruangan: penggabungan suara dan kontrol klaster.

Server-level di departemen ini mendukung fitur Penggabungan suara yang tersebar di seluruh jaringan. Audio dari berbagai ruangan dapat digabungkan ke dalam satu server untuk diproses secara terpusat. Selain itu, ada konsol web yang digunakan untuk mengelola data tersebut. Dengan cara ini, tidak perlu menginstal sistem terpisah untuk setiap ruangan. Data transkripsi dan rekaman pun dapat dikelola secara terpusat.

Pada skala yang lebih besar, beberapa host dikelola melalui Platform manajemen untuk pengendalian kluster secara terpadu. Proses autentikasi, konfigurasi jarak jauh, serta pengaturan waktu kerja antar host dilakukan secara terkoordinasi. Selain itu, catatan dan rekaman aktivitas server juga dikelola secara centralisasi. Skala yang digunakan dalam model ini adalah 50+ saluran yang memiliki kinerja konkuren yang baik..

Jika saluran-saluran yang datang dari jaringan agregasi tidak disinkronkan, maka sistem pemisahan pembicara akan gagal akibat ketidaksesuaian antara saluran-saluran tersebut. Hal ini perlu diverifikasi di lapangan menggunakan rekaman suara yang bersifat “overlapping”. Jangan membuat penilaian berdasarkan hasil pengukuran dari satu saluran saja.

Daftar Periksa Penerimaan

#	Item item	Metode: Metode	Kriteria lulus
1	Cakupan layanan pick-up	Catatlah posisi di empat sudut, serta tempat duduk yang paling jauh dari pusat arena.	Semuanya lulus.
2	Toleransi terhadap kebisingan	Satu kali proses penggunaan AC dan proyektor.	Rata-rata kesalahan yang terjadi tidak menurun.
3	Multi-pemisahan pembicara	Rekaman yang berasal dari tiga atau lebih pembicara yang bersinggungan satu sama lain.	Tidak ada misattribution seluruh segmen
4	Manfaat konduksi tulang	Bandingkan saluran-saluran yang mengalami tingkat kebisingan yang tinggi.	Kemampuan untuk memahami teks menjadi lebih baik.
5	Kompatibilitas/Kecepatan Kerja yang Sama	Uji stres berdasarkan jumlah ruangan yang sebenarnya	~20% ruang kosong/lebar yang dapat digunakan
6	Penggabungan audio	Uji coba berbasis jaringan antar ruangan yang bersifat multi-room	Tanggal-tanggalnya sudah disesuaikan.
7	Kontrol kluster	Konsol serbaguna yang terintegrasi dengan berbagai host	Autentikasi / Konfigurasi / Penjadwalan pekerjaan
8	Subtitle dan cara pemutaran	Periksa hasil output HDMI.	Pembicara / Waktu / Asli / Terjemahan

Item 1 dan 2 merupakan item yang paling sering diabaikan.: Menguji sekali di dekat podium, atau sekali di ruangan yang tenang… Itulah contoh klasik dari situasi di mana hasil uji coba “lulus”, tetapi hasil produksi “gagal”.

---

Bacaan tambahan: Beyond 98% accuracy: five engineering stages that decide minutes quality | Running meeting transcription on Ascend 310P | Choosing an on-premise ASR solution