Doğruluk sınırı modelde değil mikrofonlarda: şirket içi tutanaklar için oda yakalama ve çok kanallı eşzamanlılık

Aynı ASR modeli, bir toplantı odasında %98 oranında etkili oluyor; ancak başka bir toplantı odasında sadece %80 oranında etkili oluyor. Ve bu fark genellikle modelden kaynaklanmaz. Fark, modelin nasıl yakalandığıyla ilgilidir.

Birçok değerlendirme sonucunda, tüm bütçe “modelin doğru olup olmadığı” konusunda kullanılır. Ancak kabul edildikten sonra görülüyor ki, kelime listesi düzenlenip önemli kelimeler eklenmesine rağmen hata oranı azalmamaktadır. Bunun nedeni basittir:

Bir model, yalnızca verilen ses verilerinin sınırları içinde çalışabilir. Kalitesiz sesler, hiçbir model tarafından düzeltilemez.

Not:: Yayınlanan değerler olarak belirtilen rakamlar, Teknik Özellikler üründen alınmıştır. Performans seviyeleri ise tipik ortam referans değerleridir ve bu değerler, akustik koşullar, alıcı mesafesi ve eşzamanlılık stratejisi gibi faktörlere bağlı olarak değişir. Bu değerleri doğrudan yerinde ölçmek gerekir.

Doğruluk seviyesinin maksimum değeri, alım işleminin son aşamasında belirlenir.

Unutulması kolay bir gerçekle başlayalım: konuşma tanıma, zincirdeki o aşamadır ki, önceki aşamaların getirdiği şeyleri telafi edemez.

Bir model, “bu kelimenin yanlış tanımlandığı” durumu düzeltebilir. Ancak “bu cümlenin hiçbir zaman net bir şekilde kaydedilmediği” durumu düzeltemez. Bu durum, üç farklı sorun olarak ortaya çıkar.

Ses sorunu	Akustik nedenler	Daha iyi bir modelle düzeltilebilir.
Uzak alanlarda azalma	Konuşmanın enerjisi, mesafe arttıkça azalır; ayrıca sinyal gücü de düşer.	Esasen hiçbir şey yok.
Yankı kalıntıları	Odanın yansımaları, konuşmayı bozar.	Kısmen
Çok kanallı çapraz etkileşimler	Üst üste gelen konuşmalar, farklı kanalların birleştirilmesi	Hayır, hayır

İlk olanı ise en tehlikeli olanıdır.: Toplanma mesafesi arttıkça, doğrudan konuşulan seslerin enerjisi keskin bir şekilde azalır; ancak çevresel gürültülerde bu durum görülmez. Bu nedenle sinyal-gürültü oranı düşer. Bu noktada hassasiyeti artırarak hem gürültüyü hem de konuşmayı daha fazla yansıtabiliriz. Ancak bu durumda sesin yüksekliği artarken, doğruluk seviyesi ise daha kötü hale gelebilir.

Sonuç olarak: “Ele geçirme”, tüm bu sürecin ilk değişkenidir. Bu da, “aynı motorun farklı odalarda çok farklı şekilde çalışmasına” neden olan şeyin ne olduğunu açıklamaktadır. Asıl fark edilen şey motor değil, oda.

Üç farklı yaklaşım arasındaki gerçek fark…

Toplantı odasının görüntüsünü elde etmenin yaklaşık üç yolu vardır ve seçim yapılırken bunlar dikkate alınmalıdır.

Yaklaşım/İleriye doğru hareket etme	İlke/Prensip	Çoklu konuşmacılar	Yerinde uygulanabilirlik
Adanmış, her yöne hareket edebilen mikrofon	Mic dizi + dizi sinyal işleme	Güçlü yapıda olan bu ürün, bir masa etrafında oturan insanlar için tasarlanmıştır.	Yerli
Toplantı sisteminin bileşenleri/ özellikleri	Mevcut sistemin karmaşık çıktılarını yeniden kullanır.	O sistem tarafından sınırlanmış olan orta boyut.	Entegrasyonun doğrulanması gerekiyor.
Yerel olarak yazılım tarafından kaydedilen veriler	Müşteri yazılımı, yerel sesleri kaydeder.	Zayıf, yalnızca tek bir kanal	Genel olarak uygun değildir.

Özel olarak tasarlanmış, her yöne uyumlu mikrofonlar., bir masanın etrafında oturan kişiler için tasarlanmıştır. Hassasiyet her yönde yaklaşık olarak eşittir. Gürültü engelleme ve yankı giderme özellikleri sayesinde, birden fazla hoparlör kullanılarak stabil bir ses kalitesi sağlanır. konuşma transkripsiyonu tarafı ise standart arayüzler aracılığıyla USB tipi mikrofonları destekler. Ayrıca, masaüstü cihazlar da harici mikrofonları kolayca bağlayarak kullanılabilir.

Toplantı sisteminin bileşenleri/ özellikleri oldukça kullanışlı görünüyor; mevcut toplantı sisteminin ses çıkışını tekrar kullanabiliriz. Ancak ses kalitesi tamamen o sisteme bağlıdır. Eğer bu sistem insan kulağı için tasarlanmışsa, dinamik aralık ve SNR değerleri bir model için yeterli olmayabilir. Kontrol edilmesi gereken şey ise Çok partili durumlarda kanal ayrımı’dir; çünkü sesleri birleştirme işlemi sırasında birkaç kanal bir araya getirilir ve böylece konuşmacı ayrımı’da kullanılabilir bir girdi kalmaz.

Yerel olarak yazılım tarafından kaydedilen veriler, aslında yerel ortamlarda kullanılmayan bir çözümdir. Sadece tek bir kanalı işleyebilir; çok kişilik toplantılarda konuşmacıları ayırmak mümkün değildir. Ayrıca bu çözüm, müşteri tarafından kurulması gerekmektedir.

Genel başarısızlık modları

• “Can record” ifadesini “can transcribe” olarak değerlendirmek.: Toplantı sisteminin sesleri, insan kulakları için karıştırılmıştır; modeller için değil.
• Sadece platformun yakınında test yapılması.: Dört köşe ve en uzak koltuklar, asıl çalışma koşullarıdır.
• Kanal sayısını göz ardı etmek.: Kanallar birleştirildiğinde, konuşmacı ayrımı’ın hiçbir girişi kalmaz.

Kapı mesafesi ve oda akustiği

Alıcı mesafesi, en sık sorulan ve çoğunlukla belirsiz şekilde yanıtlanan bir parametredir. Bir masaüstü sunucusu ve harici dönüşümlü mikrofon kullanıldığında, etkili alım alanı yaklaşık olarak 5 ila 10 metre civarındadır. Bu da küçük ve orta büyüklükteki toplantı odalarına uygun bir alandır.

Doğru cevap Daha fazla teslim noktası’dir; daha fazla hassasiyet değil. Bu durum, akustik koşullardan kaynaklanır: Konuşmanın enerjisi mesafe arttıkça azalırken, gürültünün enerjisi ise azalmaz. Bu yüzden amplifikatör her iki durumda da sinyalleri eşit şekilde artırır.

Oda akustiği de aynı derecede önemlidir.

• Yankı/İz bırakma: Cam duvarlar, pürüzsüz zeminler ve büyük boş odalar, sesleri güçlü bir şekilde yansıtıyor; bu da konuşmaları kendi yankılarıyla kirletiyor.
• Sabit durum gürültüsü: Klima, projektörler, dış mekanlarda kullanılan cihazlar… Bunların spektrumları sabittir ve en azından algoritmik olarak işlemlenebilirler.
• Geçici gürültüler: Sandalyenin hareketi, kapının kapatılması, telefonun titreşimi… Tüm bu durumlar, bir cihazın bozulmasının en yaygın nedenleridir.

Kabul aşamasında iki kez kontrol yapılmalıdır.: Birinde klimatör ve projektör çalışıyor; diğerinde ise sessiz bir odada test yapılıyor. Sadece sessiz odada yapılan testler aslında bir test sayılmaz. Çünkü çoğu toplantı odasında ortalama 40 ila 50 dB civarında gürültü bulunur.

Çift yönlü mikrofonlar + kemik iletim teknolojisi: Daha fazla mikrofon yok.

Taşınabilir kayıt cihazlarında yaygın olan içgüdü şudur: “Daha fazla mikrofon ekleyin”. Ancak mikrofon sayısı, ses kalitesini etkilemez. Dizi işleme yapılmadan kullanılan birden fazla mikrofon, aynı sinyalin gürültülü kopyalarını kaydeder.

Etkili yöntem Tamamlayıcı toplama mekanizmaları’dir.

Mekanizma	Neleri yakaladığı/Neyi görüntülediği	Güç	Zayıflık
Hava yoluyla iletişim (omni mik)	Ses dalgaları	Geniş bir yelpaze, doğallık	SNR, yoğun gürültü altında çöküyor.
Kemik yoluyla iletim	Sert yüzeylerdeki titreşimler	Yoğun gürültü koşullarında bile anlaşılabilirliği korunur.	Dar bantlı sistemlerde, temas gereklidir.

Kemik ile iletim değerleri konusu oldukça özel bir konudur.: Eğer klimanın fanları veya dışarıdan gelen gürültüler, havadaki sinyalin kalitesini zaten bozmuşsa, yüzle algılanan konuşma verisi nispeten bozulmamış olur. Bu, “bir tane daha mikrofon” demek değildir; bu, bağımsız bir algılama kanalıdır.

Örneğin, kişisel kayıt kartları, 5 ila 10 metre aralığında ses alabilen bir Çift yönlü mikrofon + kemik iletim özelliği tasarımını kullanır. Ayrıca, kayıtlar otomatik olarak yerel bir sunucuya senkronize edilir. Böylece “tek tıklamayla kayıt yapma → AI tarafından çeviri yapılması → bilgi tabanının oluşturulması” şeklinde bir süreç ortaya çıkar. Bu sistem, sabit bir yerde bulunamayan durumlarda, mobil çalışmalar, röportajlar ve saha araştırmaları için uygundur.

Bir odaya sınırlı kalmaktan çok, birden fazla yerde çalışabilme imkanı… Yani, aynı anda birden fazla işi yapabilme yeteneği.

Bir kez yakalama işlemi tamamlandıktan sonra, bir sonraki soru Hesaplamalar ve kanallar’dir. Burada bir tuzak var: “Kutulara düşen kanalların sayısı”nı tek ölçüt olarak görmek.

Gerçek durumlarda iki ayrı hesaplama yapılması gerekmektedir.: Bir odada birden fazla konuşmacı ayrımı’ın bulunması ve aynı zamanda farklı odalarda da paralelliklerin olması. İlki Bir ses akışında konuşmacı ayrımı, ikincisi ise Paralel olarak transkribe edilen birden fazla ses akışı’dir; bunlar bilgisayar gücünü çok farklı şekillerde kullanırlar.

Oda ölçeğine göre üç katmanlı yapı:

Tier	Kullanım Örnekleri	Tipik yapılandırma	Önemli metrikler
Masaüstü ana bilgisayar	Küçük bir oda; kişisel çalışma masası bulunuyor.	46 TOPS kenarlı işlemci, 8GB bellek, 128GB’ye kadar genişletilebilen depolama kapasitesi.	1 saniyeden daha kısa gecikme süresi (Yayınlanmıştır)
Bölüm sunucusu	Ar-Ge merkezleri, finans birimleri, bölgesel zincirler	5 adet eş zamanlı kanal, 166 TOPS, 24 GB yüksek bant genişliğine sahip bellek	Uçtan-uca kadar olan gecikme süresi 1.5 saniyeden az
Kurumsal sunucu	Hükümet, savunma, finans, tıp ve diğer yüksek düzeyde uyum gerektiren alanlar	10 adet eş zamanlı kanal, 326 TOPS, 48 GB yüksek bant genişliğine sahip bellek	Aşağıda 0.3’ün altında; uçtan uca iletişim süresi ise 1 saniyenin altında.

“Aynı anda toplantı yapılan oda sayısı”na göre boyutlandırın ve Hakkımızda’ın %20’sini boş bırakın., özel oturumlar için kullanılır. Tek bir oda için kurumsal bir sunucu çalıştırmak gereksizdir; birden fazla oda için masaüstü sunucuları çalıştırmak ise bekleyerek işlem yapmak anlamına gelir.

Birden fazla oda: Seslerin birleştirilmesi ve küme kontrolü

Departman düzeyindeki sunucular, birden fazla odadan gelen sesleri birleştirerek tek bir sunucuda işleme imkanı sunar. Ayrıca, yönetim için bir web konsolu da mevcuttur. Bu sayede, her oda için ayrı bir sistem kurulması gerekmez ve transkriptler ile kayıtlar merkezi olarak yönetilebilir.

Daha büyük ölçekte ise, birden fazla sunucu, küme kontrolü için Yönetim platformu aracılığıyla yönetilir. Birleşik kimlik doğrulaması, uzaktan yapılan yapılandırmalar ve koordineli zamanlama işlemleri gerçekleştirilir. Ayrıca, yapılan tüm işlemler merkezi olarak yönetilir. Yayınlanan rakamlar, 50’den fazla kanalın eş zamanlı çalıştırılması’ye de uygulanabilir.

Eğer bir ağdan gelen kanallar senkronize edilmiyorsa, konuşmacı ayrımı işlemi kanal hataları nedeniyle başarısız olacaktır. Bu durumun doğrulanması için, üst üste kaydedilen konuşmaların kullanılması gerekmektedir; tek bir kanalın sonuçlarından yola çıkarak bu durumu değerlendirmek doğru değildir.

Kabul Kontrol Listesi

#	Item	Yöntem	Geçme kriterleri
1	Kapalı alan kapsamı	Dört köşede ve en uzak koltukta kaydedilen rekor.	Hepsi geçiyor.
2	Gürültüye dayanıklılık	AC ve projektörü kullanarak bir kez geçiş yapılır.	Hata oranı azalmıyor.
3	Çoklu-konuşmacı ayrımı	Üçten fazla konuşmacının kaydının bir arada yer alması	Tüm segment yanlış atama yok
4	Kemik iletimi yoluyla sağlanan faydalar	Yoğun gürültü altındaki kanalları karşılaştırın.	Anlaşılabilirlik artıyor.
5	Eşzamanlılık	Gerçek oda sayısına göre yapılan stres testi	~%20’lik bir boşluk oranı
6	Ses kayıtlarının birleştirilmesi	Çoklu oda ağları üzerinden yapılan testler	Tarihler uyumlu hale getirildi.
7	Küme kontrolü	Çoklu sunucuya sahip birleşik konsol	Kimlik doğrulama / yapılandırma / işlerin planlanması
8	Altyazılar ve oynatma işlemi	HDMI’ın çıktısını kontrol edin.	Konuşmacı / Zaman / Orijinali / Çevirisi

1 ve 2 numaralı maddeler en sık atlanan maddelerdir.: Bir kez podiumun yakınında test yapmak, bir kez de sessiz bir odada test yapmak… Bu, klasik “geçerli olduğu durumlar, üretimde başarısız olduğu durumlar” kombinasyonudur.

---

Daha fazla bilgi için: Beyond 98% accuracy: five engineering stages that decide minutes quality | Running meeting transcription on Ascend 310P | Choosing an on-premise ASR solution