VAD ve Gürültü Filtreleme Mimarileri

Voice Activity Detection (VAD), bir ses sinyali içindeki insan konuşmasını içeren bölgeleri sessizlikten veya anlamsız gürültüden tespit edip ayrıştıran algoritmik bir süreçtir. Gürültü filtreleme, tespit edilen bu konuşma sinyalini arka plan gürültüsünden arındırmayı amaçlamaktadır.

Voice Acitivity Detection (VAD)

VAD

Ses işlemenin en eski problemlerinden biri olmakla birlikte, son yıllarda sinyal işleme tabanlı geleneksel matematiksel yöntemlerden, derin öğrenme güdümlü, veri odaklı karmaşık sinir ağlarına doğru son derece belirgin ve hızlı bir evrim geçirmiştir.

Geleneksel VAD Sistemleri

Geleneksel VAD algoritmaları, sinyal işleme uzmanları ve akustik mühendisleri tarafından matematiksel olarak tanımlanmış el yapımı özelliklere ve yine ampirik olarak belirlenmiş sezgisel eşik değerlerine dayanmaktadır. Bu sistemler temel olarak, sinyalin zaman ve frekans etki alanlarındaki belirli fiziksel özelliklerini analiz eder. İnsan konuşmasının arka plan gürültüsüne kıyasla tipik olarak daha yüksek bir enerjiye sahip olduğu varsayımından yola çıkan enerji seviyesi analizi, konuşma sinyallerinin zaman eksenindeki dalgalanmalarını ölçen sıfır geçiş oranı (ZCR), ünlü harflerin üretiminden kaynaklanan harmonik yapıları tespit eden perde algılaması ve öz-ilinti gibi akustik özellikler, geleneksel sistemlerin temel yapı taşlarıdır.

Geleneksel yaklaşımlar, sınıflandırma ve karar alma süreçlerinde Gauss Karışım Modelleri (GMM) ve Saklı Markov Modelleri (HMM) gibi istatistiksel makine öğrenimi yöntemlerini kullanarak arka plan gürültüsü ile konuşma sinyali arasındaki istatistiksel farklılıkları modellemeye çalışır. Sinyal-gürültü oranının (SNR) yüksek olduğu, yani konuşmanın son derece net duyulduğu yalıtılmış veya temiz ortamlarda, geleneksel yöntemler oldukça hızlı, stabil ve hesaplama açısından inanılmaz derecede ucuzdur. Bu modellerin gecikme süreleri genellikle algı eşiklerinin çok altındadır ve modern donanımlarda neredeyse sıfır gecikme ile çalışabilirler.

Ancak, arka plan gürültüsünün arttığı, SNR değerlerinin özellikle 5 dB’nin altına düştüğü karmaşık ve gerçekçi akustik koşullarda bu modeller hızla çökmektedir. Öksürük, rüzgar sesi, havalandırma sistemlerinin uğultusu, trafik gürültüsü veya kapı gıcırtısı gibi “insan sesine benzer” frekans özelliklerine veya ani enerji sıçramalarına sahip sesleri ayırt etmekte zorlanırlar, çünkü analiz ettikleri spektral özellikler, karmaşık gürültü desenlerini ve bağlamsal yapıları yakalamak için yeterli derinliğe sahip değildir. Bu kategorideki en popüler ve endüstri standardı haline gelmiş açık kaynaklı çözümlerden biri olan WebRTC VAD, tarayıcı tabanlı uygulamalar için hafif ve sıfır gecikmeli bir çözüm sunarak sessizliği tespit etmede oldukça başarılı olsa da, gürültülü ortamlarda konuşmayı tespit etmede yüksek oranda yanlış pozitif üretme eğilimindedir. WebRTC VAD’nin mimarisi, doğası gereği enerjisi düşük olan ünsüz harfleri veya fısıltılı konuşmaları gürültüden ayırt edememekte, bu da sistemin konuşma parçalarını kaçırmasına neden olmaktadır.

Derin Öğrenme Tabanlı VAD Sistemleri

Geleneksel sistemlerin el yapımı özellik çıkarma zorunluluğunu ve sabit eşik değerlerinin katı sınırlamalarını tamamen ortadan kaldırarak, veriden doğrudan özellik öğrenen Evrişimli Sinir Ağları (CNN), Tekrarlayan Sinir Ağları (RNN) ve bu ikisinin hibrit kombinasyonlarından güç almaktadır. Derin öğrenme yaklaşımları, zaman-frekans etki alanında çalışarak, Mel-frekansı kepstral katsayıları (MFCC) veya ham spektrogramlar üzerinden hem ardışık hem de frekans bağımlılıklarını aynı anda, insan müdahalesi olmadan modeller. Bu ağlar, on binlerce saatlik devasa veri setleri üzerinde eğitilerek, insan mühendislerin tanımlayamayacağı kadar karmaşık konuşma-gürültü sınırlarını otonom olarak keşfeder.

Evrişimli ağlar (CNN), spektrogramlar üzerindeki yerel spektral özellikleri, yani belirli frekans bantlarındaki enerji dağılımlarını yakalamada üstün performans sergilerken; Uzun Kısa Süreli Bellek (LSTM) ve Geçitli Tekrarlayan Birimler (GRU) gibi RNN tabanlı mimariler sinyalin zamansal bağlamını analiz etmede, yani konuşmanın zaman içindeki evrimini izlemede öne çıkmaktadır. Araştırmalar, yerel akustik detayları çıkaran CNN ile uzun vadeli zamansal bağımlılıkları takip eden RNN’in birleştirildiği CRN (Convolutional Recurrent Network) gibi hibrit mimarilerin, gürültülü gerçek dünya ortamlarında modelin sağlamlığını önemli ölçüde artırdığını kanıtlamaktadır.

Transformer ve Conformer Tabanlı Yeni Nesil VAD’ler

Derin öğrenme alanındaki en büyük paradigma değişimlerinden biri olan Transformer mimarisi, Doğal Dil İşleme (NLP) alanındaki başarısının ardından ses işleme ve VAD alanına da entegre edilmiştir. Sadece geçmişteki zaman adımlarına bağımlı olan RNN’lerin aksine, Transformer modelleri Self-Attention mekanizmaları kullanarak bir ses dizisindeki tüm çerçeveler arasındaki ilişkileri aynı anda ağırlıklandırabilir. Bu durum, modelin içeriğe dayalı küresel etkileşimleri mükemmel bir şekilde yakalamasını sağlar.

Ancak saf Transformer mimarileri, sesin doğasındaki ince yerel özellikleri yakalamada CNN’ler kadar başarılı değildir. Bu sorunu çözmek amacıyla, CNN’lerin yerel özellik çıkarma gücü ile Transformer’ların küresel bağlam modelleme yeteneğini tek bir mimaride birleştiren “Conformer” (Convolution-augmented Transformer) modelleri geliştirilmiştir. SAD-Conformer (Speech Activity Detection Conformer) gibi modeller, ses dizilerindeki hem yerel hem de küresel bağımlılıkları aynı anda ve son derece etkili bir şekilde modelleyerek, geleneksel RNN ve saf Transformer modellerini geride bırakmış ve LibriSpeech gibi zorlu veri setlerinde yeni rekorlara imza atmıştır.

NAS-VAD (Neural Architecture Search for VAD) gibi yaklaşımlar ise, ağ tasarımında insan müdahalesini ve deneme-yanılma süreçlerini en aza indirerek, evrimsel algoritmalar aracılığıyla VAD için en optimum sinir ağı mimarisini otonom olarak bulmakta, diğer modellere kıyasla hem F1-skoru hem de AUC açısından üstün performans göstermektedir.

NAS-VAD

• Girdi (log-MelSpectrogram): En üstteki blok modelin girdisidir. Ham ses sinyali, modelin işleyebileceği zaman (T) ve 80 frekans bandından (Mel-bin) oluşan bir spektrograma dönüştürülerek sisteme beslenir.
• Ön Özellik Çıkarımı (Conv 3x3, BN, GELU): Hemen altındaki evrişim (Conv 3x3), Batch Normalization ve GELU aktivasyon fonksiyonundan oluşan bölüm, sese dair en temel başlangıç özelliklerini çıkaran ön katmanlardır. Bu işlem sırasında frekans boyutu 80'den 40'a sıkıştırılır.
• Arama Hücreleri (Cell): Ortadaki gri renkli dört adet “Cell” bloğu, modelin asıl karar mekanizmasıdır. İnsan mühendisler yerine NAS algoritmasının otonom olarak bulduğu ve dikkat mekanizmalarını da içerebilen optimum ağ tasarımları bu hücrelerin içine yerleşir. Blokların yanlarındaki kesik oklar, derin ağlarda önceki katmanlardaki akustik bilginin kaybolmadan bir sonraki hücreye aktarılmasını sağlar.
• Sınıflandırma (Pooling, Linear + Sigmoid): “Pooling” katmanı frekans eksenini düzleştirerek veriyi özetler. Ardından gelen “Linear + Sigmoid” katmanı, ağın çıkardığı bu özellikleri değerlendirerek her bir zaman adımı (T) için sesin “insan konuşması” olma olasılığını 0 ile 1 arasında bir değere dönüştürür.
• Nihai Çıktı (Predictions): En alttaki bölüm, sistemin ses akışındaki her bir zaman karesi (T) için ürettiği nihai konuşma var/yok kararlarının (0 veya 1) dizisidir.

Ticari ve Açık Kaynaklı VAD Modelleri

Literatürde, bağımsız testlerde ve ticari uygulamalarda en çok öne çıkan üç model WebRTC VAD (Geleneksel), Silero VAD (Modern RNN/CNN) ve Cobra VAD (Gelişmiş Optimize Derin Öğrenme) olmuştur.

Modeller genellikle İşlem Karakteristiği Eğrisi ( ROC) altındaki alan (AUC) metrikleriyle değerlendirilir.

VAD modelleri için ROC eğrisi

Eğri, grafiğin sol üst köşesine ne kadar yakınsa model o kadar iyidir.

Cobra VAD’nin 0.0005 gibi inanılmaz derecede düşük bir RTF sunması ve standart bir işlemcinin sadece %0.05'ini kullanması, derin öğrenme modellerinin ağır olduğu efsanesini tamamen çürütmektedir. Bu optimizasyon seviyesi, çok çekirdekli sunucularda eşzamanlı olarak on binlerce ses kanalının aynı anda işlenebilmesine olanak tanır.

Gürültü Filtreleme ve Ses İyileştirme Mimarileri

VAD sistemleri tarafından konuşma aktivitesi tespit edildikten sonra, elde edilen ses sinyalinin arka plan gürültülerinden ve yankılardan arındırılması süreci başlar. Ses iyileştirme mimarilerinin temel felsefesi ve en büyük mücadelesi, hedef konuşma sinyalini olabildiğince az bozarak gürültü profilini maksimum düzeyde baskılamaktır. Gürültünün tamamen silinmesi genellikle konuşma sinyalinin yapı taşlarının (harmonikler ve formantlar) zarar görmesiyle sonuçlandığı için, algoritmaların distorsiyon ve gürültü azaltma arasında hassas bir denge kurması gerekir. Bu alandaki teknolojiler, geleneksel sinyal işleme yaklaşımlarından, yüksek kapasiteli derin üretken modellere kadar çok katmanlı bir evrim geçirmiştir.

Dijital Sinyal İşleme (DSP)

Geleneksel DSP algoritmalarının en büyük avantajı, son derece düşük gecikme sürelerine (tipik olarak 5 milisaniyenin altında) sahip olmaları ve hesaplama maliyetlerinin inanılmaz derecede ucuz (10–50 MFLOPS) olmasıdır. Bu özellikleri, onları günümüzde bile bazı ultra-düşük güçlü IoT cihazları için vazgeçilmez kılmaktadır.

Ancak bu klasik algoritmalar, gürültü spektrumunun sürekli değiştiği, trafik kornaları, bardak sesleri veya restoran uğultusu gibi durağan olmayan ortamlarda tamamen yetersiz kalırlar.

Autoencoder

Derin öğrenme çağının başlamasıyla birlikte, Autoencoder mimarileri, gürültü istatistiklerine dair hiçbir matematiksel varsayıma ihtiyaç duymadan, doğrudan veri üzerinden öğrenen yapılarıyla ses iyileştirme probleminin çözümünde merkez bir rol oynamaya başlamıştır. Bir autoencoder temelde veriyi daha düşük boyutlu, sıkıştırılmış bir form olan gizli alana kodlayan bir encoder ve bu sıkıştırılmış temsilden orijinal veriyi yeniden inşa eden bir kod decoder’dan oluşur. Ses iyileştirmede kullanılan özel varyant, Gürültü Giderici Otokodlayıcıdır (DAE). Ağ, gürültülü ses spektrogramını girdi olarak alır ve eğitim sırasında kayıp fonksiyonunu (MSE veya BCE) minimize ederek temiz ses spektrogramını çıktı olarak üretmeyi öğrenir.

Autoencoder

Zamanla DAE yapıları, sığ ve tam bağlantılı ağlardan, evrişimli katmanların (CAE) kullanılmasıyla çok daha başarılı hale gelmiştir. CAE modellerinde log-spektrogramlar 2B görüntüler gibi işlenerek, evrişim katmanları aracılığıyla frekanslar arası uzamsal ilişkiler analiz edilmekte ve gürültü paternleri görselleştirilerek temizlenmektedir. Ancak salt evrişimli yapılar veya basit Vanilla otokodlayıcılar, sesin doğası gereği olan zamansal bağımlılıkları yakalamada sınırlıdır. Ses, piksellerden oluşan statik bir resim değil, zaman içinde birbirine sıkı sıkıya bağlı dizilerden oluşur.

Interactive Autoencoder

Bu eksikliği gidermek için Tekrarlayan Gürültü Giderici Otokodlayıcılar (RDAE) geliştirilmiştir. Bu modeller, evrişimsel yapıyı korurken gizli katmanlara tekrarlayan bağlantılar ekler. Böylece ağ, sadece geçerli zaman adımındaki girdi özelliklerini değil, önceki zaman adımlarındaki gizli temsilleri de kullanarak ses ve gürültünün kısa ve uzun vadeli zaman korelasyonlarını mükemmel biçimde çözümler.

Daha karmaşık veri dağılımlarını modellemek ve ağın genelleme yeteneğini artırmak için geliştirilen Varyasyonel Otokodlayıcılar (VAE) ve DVAE (Denoising Variational Autoencoder), deterministik otokodlayıcılardan ayrışır. DVAE, giriş verisini gizli alanda tek bir nokta olarak değil, bir olasılık dağılımı (mean ve varyans) olarak kodlar ve modeli eğitirken bu dağılım ile standart normal dağılım arasındaki Kullback-Leibler (KL) ıraksamasını minimize eder. Bu olasılıksal yaklaşım, ağın belirsizliği çok daha iyi yönetmesini sağlar ve özellikle eğitim setinde olmayan farklı gürültü türlerine geçiş yapıldığında modelin sağlamlığını olağanüstü derecede artırır.

VAE vs DVAE

Otokodlayıcı temelli U-Net mimarileri ve onun doğrudan zaman etki alanında çalışan varyantı olan Wave-U-Net, kodlayıcı ve kod çözücü arasındaki atlama bağlantıları sayesinde öne çıkar. Kodlama sırasında verinin boyutu küçüldükçe kaybolan ince spektral ve faz detayları, atlama bağlantıları ile doğrudan kod çözücüye aktarılarak sesin yapaylaşmadan ve mekanikleşmeden temizlenmesi sağlanır.

Wave-U-Net

Hybrid Modeller

Derin öğrenme modelleri genellikle ağır hesaplama yükleri gerektirirken, hibrit mimariler geleneksel DSP hızını sinir ağlarının örüntü tanıma doğruluğuyla birleştirerek gerçek zamanlı iletişim sorunlarına pragmatik çözümler sunmaktadır. Bu felsefenin endüstrideki en başarılı, bilinen ve en yaygın entegre edilen açık kaynaklı uygulaması Mozilla tarafından geliştirilen RNNoise modelidir.

RNNoise, tüm spektrogramı ağır bir CNN ile işlemek yerine, karmaşık ve manuel ayarlanmış DSP spektral tahmin edicilerini düşük kapasiteli bir RNN ile değiştirerek benzeri görülmemiş bir hız-kalite dengesi sunar. Sistemin merkezinde sadece 96.000 parametreye sahip son derece hafif bir ağ bulunur. Sistem, insan işitme sisteminin frekans algısını taklit eden 22 “kritik banta” (ERB ) bölünmüş özellikleri işler. Harmonikler arasındaki gürültüyü temizlemek için klasik bir sinyal işleme aracı olan “pitch filter” kullanırken, her bir ERB bandı için bağımsız zayıflatma kazançlarını üç katmanlı GRU tabanlı sinir ağı ile dinamik olarak hesaplar.

RNNoise

DeepFilterNet

RNNoise’un mimari sınırlarını zorlayan, açık kaynaklı yapay zeka destekli gürültü azaltma algoritmalarında çıtayı belirleyen ve “derin filtreleme” kavramını literatüre somut olarak kazandıran en önemli modern yaklaşımlardan biri DeepFilterNet çerçevesidir. Almanya’daki RWTH Aachen Üniversitesi araştırmacıları tarafından geliştirilen bu sistem, sinir ağının sinyali doğrudan kendi başına sentezlemesi veya basit bir statik maske üretmesi yerine, frekans alanındaki bozulmuş sinyale doğrudan uygulanan doğrusal karmaşık filtreler öngörmesi esasına dayanır.

DeepFilterNet mimarisi, RNNoise gibi insan algısını taklit eder ancak bunu çok daha derinlemesine, iki aşamalı bir mimariyle gerçekleştirir. İlk aşamada, tıpkı RNNoise gibi ERB ölçekli spektral kazançlar tahmin edilerek kaba “spectral envelope” gürültüden arındırılır. İkinci aşamada ise model, insan algısının en hassas olduğu 2 kHz ile 5 kHz frekans bölgelerinde, periyodik konuşma bileşenlerinin ince harmonik yapılarını iyileştirmek için derin filtreleme uygular. İnsan kulağının duyarlılıklarına uygun tasarlanmış bu iki aşamalı yapı, modelin gereksiz yüksek frekans detaylarını düzeltmek için işlem gücünü boşa harcamasını engeller.

DeepFilter Net

DCCRN ve Türevleri

Spektrogram tabanlı geleneksel DAE ve CRN modelleri genellikle STFT işlemi sonrası sadece sesin magnitude bilgisini işlerken, sesin zaman içindeki kaymasını ifade eden faz bilgisini feda ederler. Sistemin sonunda temizlenmiş büyüklük spektrogramı, orijinal gürültülü faz ile birleştirilerek ters dönüşüme (ISTFT) sokulur. Ancak faz bilgisi, gelişmiş kalite hissi, yön bulma ve yankı giderme için hayati önem taşıdığından, gürültülü fazın kullanılması temizlenmiş seste her zaman bir miktar bozulma yaratır. Bu bağlamda, Derin Karmaşık Evrişimli Tekrarlayan Ağlar (DCCRN), sektörde fazı da denkleme katan önemli bir paradigma değişimini temsil etmektedir.

DCCRN, birleşik zaman-frekans etki alanında, ağın ağırlıklarının ve aktivasyonlarının tamamen karmaşık sayılardan oluştuğu mimari bir yapı sunar. Model yapısı, kodlayıcı-kod çözücü formunda bir U-Net omurgası, karmaşık LSTM katmanları ve atlama bağlantılarından oluşur. Model, hedef sinyali tahmin etmek için karmaşık bir maske üretir.

DCCRN’nin parametre sayısı 3.7 milyon ile oldukça verimli görünse de, karmaşık değerlere sahip bir sinir ağı mimarisi olduğu için, her karmaşık çarpım işlemi arka planda dört adet reel çarpım işlemine (MFLOPS) dönüşmektedir. Bu nedenle, eşdeğer parametre sayısındaki gerçek değerli bir ağa kıyasla en az üç kat daha fazla çarpma-birikim işlemi gerektirir. Bu durum, RNNoise (0.096M) ve DeepFilterNet3 (1.1M) ile kıyaslandığında, DCCRN’nin masaüstü sistemlerde muazzam kaliteli sesler üretmesine rağmen, enerji kısıtlı IoT cihazları ve cep telefonları için hala nispeten ağır ve batarya tüketen bir model olduğunu göstermektedir.

DCCRN

SRU

DCCRN veya devasa Transformer tabanlı DEMUCS (128 Milyon parametre) modellerinin ağır MFLOPS yüklerinden kaçınmak isteyen araştırmacılar, LSTM’lere kıyasla paralel hesaplamaya daha uygun olan Simple Recurrent Units (SRU) ses iyileştirmede kullanmaya başlamıştır.

Yeni nesil mimari tasarımların (SRU ve Conformer gibi), sadece 2.6 Milyon parametre ile 128 Milyon parametrelik (DEMUCS) veya 97 Milyon parametrelik (SEGAN) devasa modelleri PESQ, STOI ve sinyal-gürültü iyileştirmesi anlamında mutlak bir şekilde geride bırakır.

VAD Sistemlerinin Bütünleşik Eğitimi

Uygulamada ve ticari yazılımlarda, Gürültü Filtreleme ve Ses Etkinliği Tespiti sistemleri tarihsel olarak art arda gelen sıralı bağımsız modüllerden oluşan bir pipeline olarak kullanılmaktadır. Bu yaklaşımda, sistemin front-end olan SE modülü çevresel gürültüyü temizler, ardından elde edilen sözde temiz sinyal, back-end olan VAD modülüne konuşmayı bulması için gönderilir. Ancak bu modüler yaklaşımın mimari açıdan iki büyük kusuru vardır: Birincisi, her iki modelin ayrı ayrı çalışması nedeniyle ses özelliklerinin ağlar tarafından mükerrer şekilde çıkarılması işlemci yükünü artırır; ikincisi, SE modülünün yapay zeka tabanlı olması durumunda, gürültüyü silerken konuşmada yarattığı en ufak bir spektral bozulma, VAD sistemine taşınarak zincirleme hata yayılımına neden olur. Gürültü filtrelendikten sonra VAD’in eğitim verisine hiç benzemeyen yapay bir sinyal görmesi, VAD’in çökmesine yol açabilir.

Son araştırmalar, bu iki kritik görevin end-to-end çoklu görev öğrenimi (MTL) yaklaşımı ile tek bir derin ağ mimarisinde birleştirilmesinin (Jointly Optimized Architecture) muazzam kazanımlar sağladığını göstermektedir. Bütünleşik mimarilerde, ağın encoder bölümü hem VAD hem de SE görevleri için ortak, zengin akustik özellik temsillerini aynı anda öğrenir. Ardından ağ, biri sadece VAD olasılıklarını hesaplayan, diğeri maskeleme ve sesi iyileştirme işlemini gerçekleştiren iki ayrı paralel decoder’e ayrılır.

Bu mimari entegrasyon sürecindeki en kritik yenilik, donanım düzeyinde değil, sistemin öğrenme aşamasındaki objektif kayıp fonksiyonlarının da birleştirilmesidir. Modern ses işlemelerinde ses kalitesini ölçmekte sıklıkla kullanılan Ölçek Değişmez Sinyal-Distorsiyon Oranı (SI-SDR), sinyalin zamanla değişmeyen genel hacim veya ölçekleme etkilerini ortadan kaldırarak, hedef konuşma ve bozucu gürültü arasındaki orthogonal hatayı ölçen gelişmiş bir metriktir. Araştırmacılar, bu metriği VAD kararları ile birleştirerek mSI-SDR (masked SI-SDR) adı verilen yeni bir ortak optimizasyon hedefini literatüre kazandırmıştır.

mSI-SDR yaklaşımında, ağın VAD dalından gelen 0 ve 1 arasındaki konuşma olasılıkları, SE dalından çıkan iyileştirilmiş sesi eğitim sırasında maskelemek için kullanılır. Böylece ağ, VAD’nin “burada konuşma yok” dediği yerlerde hedef temiz sinyalin mutlak bir sessizlik olmasını beklediği için arka plan seslerini agresif şekilde silmeye zorlanırken, “konuşma var” dediği aktif yerlerde distorsiyonu minimize edecek şekilde kendini hizalar. Bu yöntemle, VAD ve SE modülleri sadece paylaşılan ağırlıklar düzeyinde değil, objektif hedef düzeyinde de birbirini destekleyecek şekilde yönlendirilir ve düşük SNR durumlarında (örneğin aşırı gürültülü -5dB) tek başına eğitilmiş VAD veya SE sistemlerine kıyasla çok daha üstün, gerçek zamanlı bir başarı elde edilir.

Zaman etki alanında çalışan “SincQDR-VAD” gibi bütünleşik sistemlerde ise ağın ilk katmanlarındaki frekans kesim noktaları ayarlanabilir olan matematiksel Sinc filtreleri, doğrudan VAD ağının uçtan uca optimizasyonu ile eşzamanlı olarak eğitilir. Bu öğrenilebilir filtreler, konuşma frekanslarını korurken anlamsız gürültü frekanslarını dışlayacak şekilde kendi bant genişliklerini dinamik olarak adapte eder ve modelin çevresel gürültüye karşı cephe direncini maksimuma çıkarır. Çok daha karmaşık Konuşmacı Ayrıştırma görevleri için geliştirilen GLSC-SDR (Global-Local Speaker Classification) gibi bütünleşik çerçeveler, ASR, VAD ve Konuşmacı Tanıma modellerini devasa bir “Large Audio-Language Model” içinde birleştirerek, “kim, ne zaman, ne söyledi” problemini sıralı hatalar olmaksızın uçtan uca çözmektedir.

SincQDR-VAD

ASR Sistemleri ile Entegrasyon

Ses Etkinliği Tespiti ve Gürültü Filtreleme modüllerinin asıl varlık amacı -insanlar arası iletişimi sağlamadıkları durumlarda- çoğunlukla sinyali nihai analiz mekanizması olan Otomatik Konuşma Tanıma (ASR) sistemlerine hazırlamaktır. Yıllar boyunca endüstrideki ve mühendislikteki temel varsayım son derece basitti: “Konuşma iyileştirme yöntemleriyle arka plan gürültüsünü silmek, gürültülü ortamlardaki ASR performansını kesinlikle artırır.” Ancak, 2025 ve 2026 yıllarına ait en güncel araştırmalar ve geniş ölçekli ticari model incelemeleri, bu varsayımın derin öğrenme destekli modern ASR modelleri söz konusu olduğunda tamamen çöktüğüne işaret eden ve akustik literatüründe adeta bir “Whisper Paradoksu” yaratan bulgular ortaya koymuştur.

Sistematik bir akademik araştırmada, 500 tıbbi klinik ses kaydı 9 farklı gürültü koşulunda test edilmiş ve geleneksel MetricGAN-plus-voicebank tabanlı ses iyileştirme algoritmaları ile ön işlemden geçirilmiştir. Ardından hem orijinal sinyaller hem de iyileştirilmiş sinyaller, OpenAI Whisper, NVIDIA Parakeet, Google Gemini Flash ve Parrotlet gibi ASR modellerine beslenmiştir. Analiz sonuçları kelimenin tam anlamıyla şaşırtıcıdır: Sinyale gürültü filtresi uygulamak, test edilen 40 farklı konfigürasyonun (4 ASR modeli x 10 gürültü koşulu) tamamında ASR performansını istisnasız olarak düşürmüştür. Orijinal, yüksek gürültülü ham ses dalgaları, gürültüden arındırılmış dalgalara kıyasla daha düşük bir Anlamsal Kelime Hata Oranı (semWER) üretmiştir. Ön işlemden kaynaklanan performans kayıpları mutlak semWER değerlerinde %1.1'den %46.6'ya kadar muazzam bir aralığa yayılmıştır.

Ham sesi VAD ile kestikten sonra doğrudan modern ASR modeline vermek, geleneksel veya insan kulağı için optimize edilmiş bir gürültü filtresinden geçirmekten çok daha yüksek ve güvenli bir transkripsiyon doğruluğu sağlamaktadır. Ses iyileştirme modellerinin ASR’ye faydalı olabildiği yegane senaryo, SE ve ASR ağlarının uçtan uca tek bir kayıp fonksiyonu ile aynı anda eğitildiği, filtrenin insan kulağını değil de “ASR’nin hata fonksiyonunu minimize etmeyi” öğrendiği akademik araştırma tasarımlarıdır.

Sondan Eklemeli Dillerde Ses İyileştirme Mimari Performansları

Derin öğrenme algoritmalarının başarısı sadece matematiksel yapılarına değil, işledikleri dillerin fonetik doğasına, ritmine ve hece yapılarına da sıkı sıkıya bağlıdır. Literatürdeki çoğu gürültü azaltma ve ASR modeli, devasa İngilizce veri setleriyle (LibriSpeech, Switchboard vb.) eğitildiği için İngilizce’nin kelime frekans dağılımlarına göre fine-tuning görmüştür. Ancak Türkçenin sondan eklemeli yapısı, hece tabanlı monotonik okunuşu ve benzersiz fonetik özellikleri (örneğin ğ gibi ünsüzler), bu modellerin dil-bağımsız çalışabilmesi konusunda ciddi bir sınav alanı yaratmıştır. Aksi takdirde yüksek maliyetli Türkçe dil modelleri tasarlamak gerekmektedir.

Bu bağlamda yapılan yakın dönemli çok geniş ölçekli bir araştırmada, 70.939 ses dosyasından (İngilizce ve Türkçe konuşmalardan) oluşan karma bir veri seti üzerinde Attention Wave-U-Net mimarisi test edilmiştir. Sinyallere Microsoft DNS Challenge veri setinden alınan gerçek dünya gürültüleri 0–15 dB SNR aralıklarında eklenmiştir. Model, spektrogramlar yerine doğrudan zaman etki alanında ham ses dalgası üzerinden çalışmış; residual blocks, channel attention ve self-attention mekanizmaları ile güçlendirilmiştir.

Araştırmanın sonuçları, beklentilerin aksine çarpıcı bir gerçeği ortaya çıkarmıştır: Bu dikkat tabanlı U-Net modeli, Türkçe veri setlerinde İngilizce veri setlerine kıyasla çok daha üstün bir iyileştirme performansı göstermiştir. Türkçe verilerde ortalama PESQ skoru 3.1875'e yükselirken, ağın bozulmaları düzeltme kapasitesini gösteren zaman etki alanı SI-SNR metriğinde 19.7768 dB gibi son derece yüksek, muazzam bir kazanç sağlanmıştır. Aynı modelin eşdeğer gürültüdeki İngilizce setteki başarısı ise 2.5813 PESQ ve 10.6260 dB SI-SNR kazancıyla sınırlı kalmıştır.

Bu sonuçlar, derin öğrenme mimarilerindeki evrişimli omurganın attention mekanizmalarıyla birleştirildiğinde, Türkçe gibi hece yapıları ve sesli-sessiz harf uyumları son derece kurallı olan dillere muazzam bir adaptasyon kapasitesi gösterdiğini kanıtlamaktadır. Ağ, Türkçedeki kelime sonu eklerinin yarattığı akustik örüntüleri çok daha hızlı ve kolay öğrenerek, o bölgelerdeki gürültüyü sinyale zarar vermeden ayrıştırabilmektedir.

Ayrıca, farklı bir araştırmada, hafif mimarili SRU modellerinin İngilizce dışındaki az kaynaklı dillerdeki performansı test edilmiştir. SRU-AttSkip-IRM modeli ile yapılan testlerde, STOI (Anlaşılabilirlik) ve PESQ skorları İngilizce için (%78.12 / 2.19) iken, Urduca için (%78.10 / 2.14), Türkçe için (%77.95 / 2.09) ve İspanyolca için (%77.47 / 2.01) düzeyinde ölçülmüştür. Sadece küsurat bazında değişen bu metrikler, derin öğrenme temelli gürültü filtreleme sistemlerinin büyük ölçüde dil bağımsız çalışabilme yeteneğini ve evrensel uygulanabilirliğini net olarak doğrulamaktadır.

SONUÇ

Voice Acitivity Detection (VAD) ve Gürültü Filtreleme mimarileri, son on yılda basit enerji tabanlı istatistiksel eşikleyicilerden, zaman-frekans uzayında çalışan, faz-farkındalığına sahip karmaşık U-Net’lere ve attention tabanlı Transformatörlere dönüşerek olağanüstü bir mühendislik evrimi geçirmiştir. Modern bir yapay zeka ses pipeline tasarlanırken karşılaşılan problemler için “tek tip mükemmel mimari” bulunmamaktadır. Hedeflenen uygulamanın gecikme kısıtlamaları, donanım ortamı ve hedef dinleyici gibi bağlamlar, seçilecek sinir ağının topolojisini tamamen belirlemelidir.

Okuduğunuz için teşekkür ederim.

https://www.youtube.com/watch?v=7Vqvq-f-UtU