Mesaj Sınıflandırma: Serbest Metinlerde Doğru Kapsamı Bulmak

Mesaj işleyen sistemlerde gelen metinler her zaman belirli bir formatta olmayabilir. Kullanıcı tarafından oluşturulan kısa mesajlar, açıklama alanları veya farklı kaynaklardan gelen serbest metinler, aynı konuyu farklı yazım biçimleriyle ifade edebilir.

Bu farklılık bazen küçük bir karakter değişikliğinden, bazen eksik yazılmış bir kelimeden, bazen de beklenen ifadenin daha uzun bir cümlenin içinde yer almasından kaynaklanabilir. Sistem açısından bakıldığında bu mesajlar teknik olarak farklı metinlerdir. Ancak işaret ettikleri konu aynı olabilir.

Bu durum özellikle mesajların belirli kapsamlara ayrıldığı yapılarda önem kazanır. Çünkü sınıflandırma sürecinde amaç yalnızca gelen metni almak değil, bu metnin hangi konuya, iş akışına veya değerlendirme sürecine ait olduğunu belirleyebilmektir.

Kullanıcı girdisinin kontrol edilemediği yapılarda bu ilişki her zaman birebir eşleşme üzerinden kurulamayabilir. Bu nedenle mesaj sınıflandırma, metnin yalnızca nasıl yazıldığını değil, hangi kapsama yakın olduğunu da dikkate alan bir karar süreci olarak ele alınabilir.

Ben doğrudan kod isterim diyenler için:

[embed]GitHub - mustafadikyar/message-estimator-fastenshtein: MessageEstimator, yazım hatalarına… MessageEstimator, yazım hatalarına toleranslı mesaj sınıflandırma yaklaşımını göstermek için hazırlanmış bir…github.com

Mesaj Sınıflandırma Problemi

Mesaj sınıflandırma, gelen metni önceden tanımlanmış konu veya iş kapsamlarıyla ilişkilendirme sürecidir. Bu kapsamlar ödeme, hesap erişimi, teslimat, destek veya farklı process’ler olabilir.

Kontrollü yapılarda bu ilişki daha düzenli veri üzerinden kurulabilir.

Kullanıcıdan belirli seçenekler arasından tercih yapması istenebilir veya mesaj formatı önceden sınırlandırılabilir.

Serbest metin içeren yapılarda ise aynı konu farklı kelimelerle anlatılabilir, bazı ifadeler eksik yazılabilir veya mesaj birden fazla konuyu aynı anda içerebilir.

Buradaki temel fark, metin ile anlam arasındaki ayrımdan kaynaklanır.

Yazım olarak farklı görünen iki mesaj aynı konuya işaret edebilir. Benzer şekilde, aynı kelimeyi içeren iki mesaj farklı niyetler taşıyabilir.

Bu nedenle mesaj sınıflandırma yalnızca kelime arama veya birebir karşılaştırma olarak değil, gelen mesajın hangi kapsama daha yakın olduğunu değerlendiren bir süreç olarak ele alınır.

Katı Eşleşmeden Yaklaşık Eşleşmeye

Mesaj sınıflandırmada en temel yaklaşımlardan biri, gelen metnin tanımlı ifadeyle birebir aynı olup olmadığını kontrol etmektir.

Beklenen formatta gelen mesajlarda bu yöntem hızlı ve net sonuç üretir. Bu nedenle katı eşleşme, sınıflandırma sürecinde güçlü bir ilk sinyal olarak kullanılabilir.

Serbest metin içeren yapılarda ise mesajlar farklı biçimlerde gelebilir.

Karakter farklılıkları, eksik yazımlar, yazım hataları veya ifadenin daha uzun bir cümle içinde geçmesi birebir eşleşme sonucunu etkileyebilir.

Bu noktada yalnızca “aynı mı?” sorusuna ek olarak “bu mesaj ilgili kapsama ne kadar yakın?” sorusu da değerlendirmeye dahil edilir.

Yaklaşık eşleşme bu ihtiyaca karşılık gelir.

Mesaj birebir aynı olmasa bile yazım, karakter veya ifade yakınlığı açısından değerlendirilebilir. Böylece küçük hatalar ya da farklı yazım biçimleri içeren mesajlar da sınıflandırma sürecine dahil edilebilir.

Bu yaklaşımın sağlıklı çalışabilmesi için metnin önce karşılaştırılabilir hale getirilmesi gerekir.

• Büyük/küçük harf farklılıklarının kaldırılması,
• Türkçe karakter kullanımının standartlaştırılması ve
• Gereksiz boşlukların temizlenmesi gibi başlıklar bu hazırlığın parçalarıdır.

Buradaki amaç mesajın anlamını değiştirmek değil, farklı yazımları ortak bir değerlendirme zeminine taşımaktır.

Yaklaşık eşleşme sınıflandırmaya esneklik kazandırır. Bu esneklik genişledikçe yanlış eşleşme ihtimali de artabilir. Bu nedenle yaklaşık eşleşme, güven seviyesiyle birlikte değerlendirilen bir katman olarak ele alınır.

Güven Seviyesi ve Belirsizlik Yönetimi

Mesaj sınıflandırmada her sonuç aynı kesinlikte değildir.

Bazı mesajlar açık şekilde bir kapsama aittir. Bazı mesajlar ilgili kapsama yakındır ancak yazım hatası veya ifade farklılığı içerir. Bazı mesajlar ise yeterli sinyal taşımadığı için güvenle sınıflandırılamayabilir.

Bu nedenle sonuçlar yalnızca “eşleşti” veya “eşleşmedi” şeklinde değil, eşleşmenin gücüyle birlikte değerlendirilebilir.

• Birebir eşleşen mesajlar yüksek güvenli kabul edilebilir.
• Yakın ama hatalı yazılmış mesajlar daha düşük bir güven seviyesiyle değerlendirilebilir.
• Yeterli sinyal taşımayan mesajlar ise düşük güvenli ya da ilgisiz olarak işaretlenebilir.

Güven seviyesi, sonraki aksiyonları da etkiler. Yüksek güvenli mesajlar otomatik yönlendirme için kullanılabilirken, daha düşük güvenli mesajlar ek kontrol veya manuel değerlendirme adımlarına taşınabilir.

Bu yaklaşım, sistemin her mesaj için kesin karar üretmek zorunda olmadığı bir yapı sağlar.

Serbest metin içeren yapılarda belirsizlik doğal bir durumdur. Bazı mesajlarda karar üretmemek veya düşük güvenli sonuç dönmek, sınıflandırma sürecinin parçası olarak değerlendirilebilir.

Örnek Senaryolar

Bir mesaj yönlendirme sistemi olduğunu düşünelim. Bu sistem gelen mesajları ödeme, hesap erişimi, teslimat ve genel destek gibi farklı kapsamlara ayırıyor olsun.

Kullanıcı şu şekilde bir mesaj gönderebilir:

Şifremi unuttum.

Bu mesaj birebir tek bir anahtar ifadeden oluşmasa da hesap erişimi kapsamına yakındır. Aynı konu hatalı bir yazımla da iletilebilir:

Sifree yenileme yapmak istiyorum.

Burada yazım hatası vardır. Mesajın işaret ettiği kapsam yine hesap erişimi olabilir. Katı eşleşme bu mesajda sonuç üretmeyebilirken, yaklaşık eşleşme mesajın ilgili kapsama yakınlığını gösterebilir.

Bazı mesajlarda yeterli bilgi bulunmayabilir:

Merhaba, bilgi almak istiyorum.

Bu mesaj belirli bir kapsam için güçlü sinyal taşımaz. Bu nedenle genel destek kapsamında değerlendirilebilir veya düşük güvenli olarak işaretlenebilir.

Bir diğer durumda mesaj içinde birden fazla konu geçebilir:

Ödeme ile ilgili değil, teslimat hakkında yazıyorum.

Bu mesajda ödeme ifadesi geçmesine rağmen kullanıcının asıl konusu teslimattır. Yalnızca kelime geçişine göre karar veren bir yapı bu mesajı ödeme kapsamına yakın görebilir.

Bu örnekler, mesaj sınıflandırmada yazım biçimi, hata toleransı, mesajın uzunluğu, bağlam ve güven seviyesinin birlikte değerlendirilebileceğini gösterir.

Mesaj sınıflandırma, serbest metin içeren yapılarda yalnızca anahtar kelime yakalama süreci olarak ele alınmaz. Mesajın nasıl yazıldığı, hangi ifadeleri içerdiği ve hangi kapsama yakın durduğu birlikte değerlendirilir.

Katı eşleşme, beklenen formatta gelen mesajlarda güçlü bir başlangıç noktası sağlar.

Kullanıcı girdisinin değişken olduğu yapılarda ise yaklaşık eşleşme, metni karşılaştırılabilir hale getirme ve güven seviyesiyle karar verme yaklaşımı sınıflandırma sürecini daha esnek hale getirir.

Bu yazıda konuyu kavramsal olarak ele almaya çalıştım.

Sonraki makalede aynı yaklaşımı kod seviyesine indirerek örnek bir mesaj analiz servisi üzerinden inceleyeceğiz; mesajın nasıl hazırlandığını, kapsamlarla nasıl karşılaştırıldığını ve sonucun nasıl üretildiğini proje akışıyla ele alacağız.

[embed]GitHub - mustafadikyar/message-estimator-fastenshtein: MessageEstimator, yazım hatalarına… MessageEstimator, yazım hatalarına toleranslı mesaj sınıflandırma yaklaşımını göstermek için hazırlanmış bir…github.com

[embed]Kavramdan Koda: Fastenshtein Kütüphanesi ile Mesaj Sınıflandırma Önceki bölümde mesaj sınıflandırma konusunu kavramsal olarak ele almıştık.mustafadikyar.medium.com