Yapay Zekâ Uygulama Testlerinde Doğru Yaklaşım

Yapay Zekâ Uygulama Testlerinde Doğru Yaklaşım

Günümüzde neredeyse her alanda duyduğumuz “Yapay Zekâ” gelecekte daha da fazla bir şekilde karşımıza çıkacak gibi görünüyor. Bir çok sektör gibi, benim de içinde bulunduğum Bankacılık & Finans sektörü de uzun süredir üzerinde çalıştıkları yapay zekâ kullanan ürünlerini müşterilerine sunuyor. Bunların en başında chatbotlar, sesli yanıt sistemleri gibi uygulamalar geliyor. Banka chatbotları, bildiğimiz chatbotlar gibi sadece anlayıp cevap veren bilgilendiren bir uygulama değil aynı zamanda finansal işlemleri de yapabilir şekilde tasarlanıyor. Bir çoğumuz için yeni olan bu ürünler, uçtan uca bir işlemin gerçekleştiği (örneğin havale işlemini yapan banka mobil uygulama ekranları) ekranlardan farklı işlevleri de olduğu için test bakışımızın da farklılaşması önem arz ediyor. Bu yazımda, yapay zeka kullanan chatbotların, sesli yanıt sistemlerinin testlerinde yaklaşım nasıl olmalı bundan bahsedeceğim.

Öncelikle, yapay zekâ chatbotları ya da sesli yanıt sistemlerinin kontrollerinde 3 ana başlığı bilmeliyiz:

1. Fonksiyonel işlemleri yapabilmesi (bu kısım deterministik (belirli) bakış açısı ile yapılacak testleri içeriyor)
2. Anlama, anlamlandırma, öğrenme, doğru yanıtlar verebilme, bilgilendirme (bu kısımda probabilistik (olasılıksal) bakış açısı ile yapılacak testler ağırlık kazanıyor)
3. Kurallara uyum (etik değerler, kültüre uyum, kötü sözlerin filtrelenmesi, çeşitli dini — siyasi vs hassasiyetlere saygı)

Bu ana başlıkları biraz detaylandırarak daha iyi anlamaya çalışalım. Chatbot üzerinden yapılan işlemlerde örneğin bakiye sorduğumuzda doğru yanıtın gelmesi, bir hesaba chatbot üzerinden havale yaptığımızda işlemin doğru şekilde sonuçlanması deterministik test yaklaşımı ile test edilir. Chatbotun anlama başarısı, cevap kalitesi, kullanıcı deneyimi, tutarlılığı gibi olasılıksal yönlerini ölçmek de probabilistik test yaklaşımını kullanırız. Örneğin, chatbotun modeli doğru bilgiyi ne sıklıkla üretiyor ya da tekrar ediyor? Kredi kartı borcu, ne kadar farklı cümlelerle sorulursa sorulsun, modelin bunları doğru biçimde anlayıp aynı anlama geldiklerini gösterebilme özelliğinin test edilmesi probabilistik test kapsamındadır. Deterministik test ile, para transferinde uygulamanın doğru çalıştığı, bakiyenin doğru yerden geldiği kontrol edilirken probabilistik test ile farklı kullanıcıların doğal konuşmalarının ne kadar doğru anlaşılabildiği ve tutarlılığı test edilebilir.

Tüm bilgiler göz önüne alındığında, iki test yaklaşımı da chatbot uygulama testleri için çok önemlidir. Deterministik yaklaşımda kapsam ve testin sınırları belliyken, probabilistik yaklaşımda kapsam ve sınırlar da belirsizdir. Probabilistik yaklaşımda, ana konuyu minimum düzeyde karşılayabilecek ana senaryolara odaklanarak kontroller yapılmalıdır.

Chatbotlarda ya da sesli yanıt sistemlerinde öne çıkan 3 bileşen var:

1. NLU (Doğal Dil Anlama): Kullanıcının ne sorduğunu anlamak
2. DM (Diyalog Yönetimi): Uygun cevabı ya da aksiyonu seçmek
3. NLG (Cevap Üretimi): Yanıtı doğal bir dil ile üretmek

Şimdi bu bileşenleri daha anlaşılır olması için sade bir dille açıklamaya çalışacağım. İyi bir chatbot, farklı cümlelerle aynı şey ifade ediliyor ise bunu anlamalı, yine farklı şekillerde de aynı yanıtları verebilme özelliğine sahip olmalıdır. İşte bu aşamada test uzmanı, kullanıcı deneyimini ve alışkanlıklarını göz önünde tutarak, aynı şeyi benzer şekillerde sorarak chatbotun verdiği yanıtların tutarlı olduğunu kontrol etmelidir. Tabi ki burada sınırsız, aylarca sürecek bir testten bahsedemeyiz. Chatbot testlerinde %100 her şeyin test edilmesinden ya da kusursuz testten söz etmek mümkün değildir. Kullanıcıların yapısını göz önünde bulundurarak ana soru setlerimizi hazırlamalı ve bu soruların doğru anlanabildiği ve yine kullanıcı deneyimi göz önünde tutularak verdiği yanıtların da doğru anlaşılabilecek yanıtlar olmasının kontrolünü sağlamalıyız. Tabi ki bu şekilde binlerce gün sürebilecek testler yapılabilir çünkü binlerce farklı varyasyonlar kurulabilir. Ancak testler için her zaman kısıtlı bir süre olacağından, bu süre içinde en akla gelecek varyasyonlarla kontroller yapılmalıdır. Bu kontrollerde yazı içeriği kusursuz olmayabilir. Harf hataları, kelime bozuklukları olabilir. İyi bir chatbot, bu tip hataları da göz ardı ederek doğru şekilde anlar ya da olabilecek en iyi ihtimali tahmin eder. Google’da arama yaparken “gzalatsary” gibi çok anlamsız bir kelime yazarsanız Google arama motoru “Galatasaray” sonucunu getirir. Çünkü, anlayabildiği kadarı ile olabilecek en iyi sonucu tahmin etmiş, karşımıza getirmiştir.

Bu tip chatbotlarda testi yapan kullanıcı “doğal” olmalı, kullanıcıların farklılıklarını göz önünde bulundurup cümleleri doğal şekilde hazırlayarak sormalı ve yanıtları kontrol etmelidir. Burada test uzmanı, şu an çok iyi bilinen çeşitli chatbotlara konuyu verip bizim için doğal sorular hazırlamasını isteyebilir. Bu hazır soru setlerini, eğer uygulama uygunsa, otomasyonla test edeceğimiz chatbota sorup gelen yanıtların doğruluğunu da başka bir chatbota kontrol ettirebilir. Önemli olan husus chatbotun farklı varyasyonlarla sorulan aynı konudaki soruları aynı şekilde anlaması ve aynı tutarlılıkla doğru yanıtlar vermesinin denetlenmesidir.

Sorularımızı ses ile sorduğumuz chatbotlarda ya da sesli yanıt sistemi testlerimizde ise bir diğer önemli konu devreye giriyor: “sesin anlaşılması ve anlamlandırılması”. Chatbotların ya da sesli yanıt sisteminin arka planındaki sistemin sesi yazıya dönüştürüp ona göre anlayıp cevap vereceğini düşünürsek, burada sistemin doğru işleyebilmesi için öncelikle sesin anlaşılması ve anlamlandırılması gerekiyor. Yine kullanıcı yapısı göz önünde bulundurularak, çok sessiz ortamda ve tane tane kelimelerle kurulan kusursuz cümlelerle yapılacak testler yanıltıcı olabilir. Burada kullanıcının doğal konuşma varyasyonları, doğal ortamlarda test edilmelidir. Çünkü sesi duyup anlayan sistem, yalnızca sessiz bir ortamda doğru şekilde çalışırken, ortam biraz gürültülü ve doğal olduğunda anlamayı başaramıyor olabilir. Daha da iyi bir testten bahsedecek olursak, ülke genelinde yaygın olarak kullanılan başlıca şive farklılıkları da imkânlar ölçüsünde mutlaka test edilmelidir.

Eskiden beri sosyal medyada dolaşan şu ses kaydını, “Erkan enektarlar yastığın altında kalık beni ara” cümlesini hatırlarsınız. Bu ses kaydı anlattığım konuya iyi bir örnek olabilir. Tabi ki test uzmanı, bu örnekteki gibi olabilecek tüm varyasyonları %100 oranında test edemeyecektir ve bu da beklenmemelidir ama belli başlı, akla ilk gelebilecek çeşitli sesli varyasyonları da denemeli ve anlama sorunları var ise geliştirme ekipleri bu sorunları düzeltmelidir. İyi bir chatbotun en önemli özelliği, sesleri arka planda ortam sesleri de olsa anlayabilmesi, tam olarak anlayamasa da tahmin edebilmesi ve bu tahminin de doğru ya da doğruya yakın olmasıdır. İşte test uzmanı, sesin anlaşılıp yanıt verilebildiği uygulama testlerinde, kendisine ayrılan test süresi içerisinde yapabileceği tüm varyasyonları, deneyebileceği tüm farklı ortamlarda (örneğin, bir kafede, kalabalık bir caddede ya da hiç ses olmayan ortamlarda) gerçekleştirebilmelidir.

Yukarıdaki bölümlerin bir özetini yapmak gerekirse, bir havale ekranında deterministik test yaklaşımı yeterli olabiliyorken, yapay zekanın devreye girdiği chatbotlarda ya da sesli yanıt sistemlerinde probabilistik test yaklaşımı da önemli bir kontrol noktasını oluşturuyor.

Kurallar ve Kuralların Testi: Chatbotlar üretildiği ilk anda adeta yeni doğan bir bebek gibi kuralsız bir şekilde dünyaya gelirler ancak yine bir çocuk gibi büyüdükçe, kullanılacakları ortama göre çeşitli kural setleri ile sınırları belirlenir. Doğru şekilde büyümek, sevilmek ve geniş kitlelere yayılmak isteyen bir chatbotun; kullanıldığı ortamın ve kullanıcıların çeşitli hassasiyetlerine saygılı olması, etik değerlere uygun davranması ve dilinin kötü kelime ve cümlelerden arındırılmış olması gerekir. İyi bir chatbotun belli başlı etik değerleri şunlar olabilir:

1. Doğruluk: Doğru ve güvenilir bilgiler vermeli, kullanıcıları manipüle etmemelidir.
2. Tarafsızlık: Özellikle ırk, din, siyaset, cinsiyet, milliyet gibi konularda ayrımcılık yapmamalı, tarafsız davranmalıdır.
3. Gizlilik ve Mahremiyet: Kullanıcılardan gereksiz kişisel bilgileri talep etmemeli ve talep ettiği bilgileri korumalı, izinsiz paylaşmamalıdır.
4. Güvenlik: Kullanıcıya zarar verecek yanıtlar vermemelidir. Örneğin: “X hesabına 1000 TL para gönder, aksi durumda hesabın bloke olacaktır.” gibi bir ifade kullanmamalıdır. Şiddete yönelten ifadelerden kaçınmalıdır.
5. Şeffaflık: Kullanıcıya bir chatbot olduğunu hatırlatmalı, kusurları olabileceğini saklamamalı ve insan rolü yapmamalıdır.
6. Saygı: Kullanıcıya karşı saygılı bir ifade kullanmalı; küfür, hakaret, küçük düşürme gibi eylemlerden kaçınmalıdır.
7. Manipülasyondan Kaçınma: Kullanıcıları etkilemeye ya da yönlendirmeye çalışmamalı, özellikle siyasi, finansal veya kişisel kararlarda baskıcı davranmamalıdır.
8. Erişilebilirlik: Herkes tarafından erişilebilir olmalıdır

Test uzmanı, yukarıdaki kuralları da çeşitli örnek setleriyle kontrol etmeli, etiğe uymayan davranışları düzeltmelidir. Burada da çeşitli varyasyonlarla chatbot’u hataya zorlamalı ve etik değerlere uyumu titizlikle test etmelidir.

Yapay zekâ kullanan uygulama testlerinde dikkat edilmesi gereken belli başlı konuları derlemeye çalıştım. Bu testler henüz yeni olduğu için zamanla değişim ve gelişim gösterecektir.

Faydalı olması dileği ile…

Kurtul Koçhan / Türkiye İş Bankası — Veri Analitiği ve Yapay Zeka Bölümü