PINN’ler Neden Başarısız Olur?

Uyarı: Aşağıdaki yazıda teknik terimleri İngilizce olarak kullandım. Bunun imla kurallarına uygun olmadığını biliyorum ancak yazıda terimleri Türkçeleştirmeye çalışsaydım “bayır inişi (gradient descent)”, “eniyileştirme (optimization)”, “kayıp peyzajı (loss landscape)” gibi terimler kullanmam gerekecekti. Bu da okunabilirliği azaltacaktı.

Fiziksel sistemleri kısmi diferansiyel denklemlerle ifade ederken oldukça güçlü bir avantaja sahip oluruz: denklemin kendisi, hangi evrende yaşadığımızı zaten tanımlar. Enerjinin nasıl hesaplanacağı, bilginin nasıl yayılacağı, hangi hız limitlerinin anlamlı olduğu, hangi niceliklerin korunacağı, nerede süreklilik bekleyeceğimiz gibi şeyleri bilahare düşünmek zorunda kalmayız. Çünkü bunlar seçtiğimiz fizik kuramının ve onun matematiksel ifadesinin içkin bir parçasıdır. Elbette weak formlar, retarded çözümler gibi istisnalar vardır ama genel durum değişmez. Maxwell, Navier–Stokes, Schrödinger, elastisite denklemleri ve daha nicesi sadece matematiksel bir formülasyon değildir; bu denklemler aynı zamanda bir “uzayzaman dokusu” tarifidir. Çözüm dediğimiz şey ise o dokunun içinde var olabilen bir nesnedir.

Eğer kuramsal fizik kökenli bir AI araştırmacısı iseniz, uzayzaman dokusunun mutlaklığını içselleştirmişsiniz demektir. Bu nedenle şu yanılgıya düşmeniz gayet olağandır: “Fiziksel sistemi tanımlayan denklemleri loss fonksiyona entegre ettim, öyleyse model doğru fiziksel sistemi öğrenecektir.”

Aslında gayet mantıklı bir bakış açısı bu. Sonuçta fizik denklemlerini öğretiyorsun, model fizik öğreniyor. Denklemler doğruysa çözüm de doğru olmalı. Ancak hayır, PINN’ler için bunun garantisi yok maalesef.

İlk bakışta kulağa spekülatif gelebilir ancak PINN’ler farklı bir evrene aittir. Tüm neural networkler öyledir. Bizler fizik yasalarıyla tanımlanan fiziksel bir evrende yaşarız. Evrenimizin yapısı dört boyutlu uzayzaman düzlemi ile ifade edilir. Ancak PINN’ler, tüm neural networkler gibi bir parametre uzayında var olurlar. Bu uzayın yapısı ise loss landscape tarafından şekillenen yüksek boyutlu bir manifolddur.

Fiziksel evrende madde ve enerji uzayzamanı bükerek bir kütleçekim kuvveti olarak algıladığımız yapıyı meydana getirir. Bir neural network’ün parametre uzayındaki bükülmeleri meydana getiren şey ise eğitim verileri ve seçilen model mimarisidir diyebiliriz. Veri seti parametre uzayında kütleçekim kuvvetine benzer kuyular, yani basin of attraction bölgeleri oluşturur. Bizim evrenimizdeki kara deliklerin olay ufkuna benzer şekilde, bu bölgelerin de kaçınılmaz çekim merkezleri vardır. Ancak buradaki tekillik bir karadeliğin merkezindeki gibi fiziksel yok oluş anlamına gelmez; bunlar bilginin en saf haline indirgendiği convergence noktalarıdır. Gradient vektörleri ise kütleçekim kuvvetine benzer şekilde, parametreleri bu noktalara doğru çeker.

Elbette bu analoji kusursuz değil. Konuya yabancı olanlar için sezgisel bir hakimiyet sağlayacaktır ancak eksik yönleri olabileceğini hatırlatmak isterim.

Bu ayrımı netleştirmek önemli çünkü uzayzaman düzleminde fizik yasaları çözümü tanımlar. Loss landscape’te ise genelde tek yasa vardır: Gradient’in tersi yönünde ilerlemek. Bu ilerleyiş sırasında neyin korunacağına dair hiçbir garanti yoktur. Neural network eğitim sırasında sadece loss değerlerini düşürmekle ilgilenir. Ürettiği çözümün bizim evrenimizin fizik yasalarıyla uyumlu olup olmadığına aldırış etmez.

Metin üreten bir LLM veya görsel üreten bir CNN söz konusu olduğunda bu durum bir sorun oluşturmaz; bu modellerin enerjinin korunumu veya nedensellik gibi ilkelere uyup uymaması önemli değildir. Fakat mevzu PINN’lere gelince, modelin fizik yasalarını umursamayışını görmezden gelemeyiz. Çünkü PINN’lerin geliştirilme amacı tam olarak budur zaten: bir neural network’ün fizik yasalarını öğrenmesi. Farklı bir evrene ait neural networklere bizim evrenimizin yasalarını nasıl öğretebiliriz ki?

Parametre Uzayında Zamanın Doğası

Bir neural network’ün parametre uzayıyla bizim evrenimiz arasındaki kritik farklardan biri de zamanın doğasıdır. Fiziksel evrende zaman, uzayzaman dokusunu meydana getiren dördüncü boyuttur. Hiçbir şey ondan kaçamaz. Loss landscape ise özünde zamansızdır. Parametre uzayının manzarasını statik bir harita, hatta şairane bir tabirle donmuş bir sonsuzluk gibi düşünebilirsiniz.

Zamanın doğasına dair bu farklılık, PINN’lerde nedensellik problemi olarak karşımıza çıkar. Bizim evrenimizde bir elektromanyetik ortamı modellerken, nedenselliği harici olarak entegre etmekle uğraşmayız. Örneğin Maxwell denklemleri hiperboliktir ve hiperbolik denklemlerin domain of dependence yapısı bilginin yayılma hızını zaten sınırlar. Retarded çözümleri tercih ederek bilginin akış yönünü de geçmişten geleceğe doğru olacak şekilde belirleriz zaten. Tüm bunlar günlük hayatımızda nedensellik olarak tezahür eder.

Loss landscape’te ise nedensellik bir zorunluluk değildir. Hangi bilginin hangi adımda neyi etkileyeceği sorusunun cevabı loss’un integral yapısıyla belirlenir. Bunu doğrudan matematiksel ifadeler üzerinden teyit edebiliriz. Tipik bir PINN modelinin loss fonksiyonuna bakalım:

Eşitliğin sağ tarafındaki ilk parça residual loss’tur, önünde λᵣ olan ifadeyi kastediyorum. Önünde λᵢc olan ifade ise initial condition loss olarak adlandırılır. Seçilen fiziksel probleme göre buraya boundary condition loss da eklenebilir ama yapı kabaca böyle. Nᵣ ve Nᵢc ise collocation noktalarını, yani denklemlerin sağlandığı uzay noktalarını ifade eder.

Biliyoruz ki, neural networklerde gradient tabanlı optimizasyonun ortak girdisi ∇θ L olarak ifade edilir. Kolaylık olması açısından yukarıdaki denklemin sadece residual loss kısmını dikkate alalım, yani PINN modelinin sadece residual loss içerdiğini varsayalım. Bu durumda loss’un parametrelere göre gradyanı şöyle olur:

Denklemden görüleceği üzere eğitim sırasında parametreleri güncelleyen sinyal, tüm kollokasyon noktalarının (dolayısıyla tüm t_i zamanlarının) katkısının toplamı ile belirleniyor. Burada özellikle t_i’nin, yani zamanın, denklemdeki varlığına dikkat etmenizi istiyorum. Gradient tabanlı optimizasyon zamanı da uzamsal bir boyut gibi dahil ediyor denkleme. Kısacası geçmiş ve gelecek aynı optimizasyon havuzuna atılıyor.

Buradaki olay, sadece nedenselliğin ihlal edilmesi değildir. Durum daha da vahim çünkü bu basitçe modelin bir geçmiş veya gelecek kavramı içermediği anlamına geliyor. Öyle ki, t=2.0 anındaki bir hata yüzünden t=1.0 anında parametre güncellemesi yapılabilir. Bilim kurgu jargonuyla, modelin geleceği düzeltmek için geçmişe giderek olayları değiştirmeye çalıştığını söyleyebiliriz.

İşin kötü yanı, modeli sadece accuracy metriği ile değerlendiriyorsanız bu problemi genelde fark etmezsiniz. Çünkü nedensellik ihlal edilmiş olsa bile modelin accuracy değerleri oldukça yüksek çıkabilir, mükemmele yakın bir başarı elde etmiş gibi görünebilir. Fakat relative error değerlerini kontrol ederseniz, işte o zaman gerçek manzara ortaya çıkar. Modelin fiziksel gerçeklikle alakası bile olmayan bir çözüm uzayını öğrendiğini görürsünüz.

Kişisel anekdot: PINN çalışmamı geliştirirken bunu bizzat yaşamıştım. Dört aylık bir çalışma sonucunda projeyi tamamladım ve accuracy değerleri oldukça başarılı görünüyordu. Sonra bu başarı beni işkillendirdi, modelin enerji metriklerini ve relative error analizini yapmaya karar verdim. Sonuç acı vericiydi: %100 relative error. Kısacası modelimin öğrendiği şeyin fiziksel gerçeklikle en ufak alakası yoktu. Aslına bakılırsa, o büyük yıkım anı benim için araştırma sürecinin gerçekten başladığı an olmuştu. Relative enerji hatasını %0.02 seviyesine düşürebilmek için sonraki sekiz ayı PINN çalışarak geçirmem gerekmişti.

Sorunu çözmek için fizik yasalarını regularizer olarak modele entegre edebiliriz, literatürde yapılan şey çoğunlukla budur. Fakat hangi fizik yasalarını entegre edeceğiz? PINN‘ler well-posed denklemlere özel olarak geliştirildiği için bunun tek bir kesin cevabı yok maalesef. Maxwell denklemleri farklı müdahaleler gerektirir, nonlinear yapıda olan Navier Stokes denklemleri farklı müdahaleler gerektirir. Hatta bazen belirli bir denklemin farklı problem türleri bile farklı müdahaleler gerektirebilir. Örneğin elektromanyetizmada düşük frekans bölgesinde sonuçları iyileştiren bir regularizer yüksek frekansta sonuçları kötü hale getirebilir.

Loss denkleme dahil edilen regularizerların birbirini etkilediğini de unutmamak gerekir. Örneğin Poynting teoremini bir regularizer olarak kullanıp enerjinin korunumu yasasını modele dikte edebiliriz. Ancak Poynting loss’un ağırlığı yüksek olursa genelde PDE loss’u baskılar, bu da alan doğruluğunun azalmasına sebep olur.

Parametre uzayında nedenselliği taklit eden bir yapı kurmanın da çeşitli bedelleri vardır. Literatürde en sık kullanılan yaklaşımlardan biri zamanı pencerelere bölmektir, ancak bu yaklaşım genelde pencere geçişlerinde süreksizlik sorunu yaratır. Curriculum learning ve causal training yaklaşımlarının da kendi dezavantajları bulunuyor.

Nasıl çıkarız bu keşmekeşin içinden? Az evvel de söylediğim gibi, tek bir cevabı yok. Tüm PINN modellerini hizaya sokacak tek bir regularizer bulunmuyor. Nitekim buna ihtiyacımız da yok. PINN’lerin farklı bir evrene ait olduğu gerçeğini içselleştiren bir araştırmacı neural networklerin hangi noktada hata vereceğini, sorun çıkarma potansiyeli yüksek bölgeleri sezmeye başlayacaktır. Çünkü denklemler değişse bile aslında yaptığımız şey değişmiyor: Bu evrenin fizik yasalarını başka bir evrende yaşayan neural networklere tercüme etmeye çalışıyoruz.