Pekiştirmeli Öğrenme

Pekiştirmeli Öğrenme

Deneme Yanılmanın Bilimi

Bir çocuğa bisiklet sürmeyi öğretmenin iki yolu vardır. Birincisi, her hareketi adım adım tarif etmektir: “Gövdeni dik tut, pedala bas, direksiyonu sağa kır.” Bu, kuralların önceden verildiği gözetimli öğrenme yaklaşımıdır. İkincisi ise çocuğu bisiklete bindirip bırakmaktır: düşer, kalkar, tekrar dener; dengede kalmanın ödülü, düşmenin cezasıdır. Hiç kimse ona denge formülü vermez — o formülü kendi bedeniyle keşfeder. Pekiştirmeli öğrenme (Reinforcement Learning, RL), tam olarak bu ikinci yoldur.

Klasik makine öğrenmesinde veriler sabittir. Bir evrişimli sinir ağı (CNN) binlerce statik kedi fotoğrafına bakar ve öğrenir; bir sınıflandırma modeli etiketlenmiş örneklerden karar sınırını çizer. Pekiştirmeli öğrenmede ise veri dinamiktir; ortada önceden etiketlenmiş sabit bir veri seti yoktur. Bunun yerine etkileşime girilen canlı bir çevre (environment) vardır ve bu çevre, ajanın her eylemine farklı bir tepki verir. Model, doğru cevabı bir öğretmenden almaz; kendi deneyimlerinin sonucundan çıkarır. Bu temel fark, pekiştirmeli öğrenmeyi makine öğrenmesinin diğer kollarından ayıran felsefi kırılma noktasıdır.

Günümüzde pekiştirmeli öğrenme, satranç ve Go’yu dünya şampiyonlarından daha iyi oynayan ajanlardan, büyük dil modellerinin insan değerleriyle hizalanmasına; otonom araçlardan robot kontrolüne kadar geniş bir yelpazede karşımıza çıkar.

Ajan, Çevre ve Ödül

Pekiştirmeli öğrenmenin üç temel bileşeni vardır: ajan (agent), çevre (environment) ve ödül (reward). Ajan, karar veren öznedir; çevre, ajanın içinde hareket ettiği dünyadır; ödül ise ajanın yaptığı eylemin kalitesini değerlendiren sayısal bir sinyaldir. Her adımda ajan çevrenin mevcut durumunu (state) gözlemler, bir eylem (action) seçer, çevre bu eyleme karşılık yeni bir duruma geçer ve ajana bir ödül veya ceza verir. Bu döngü milyonlarca kez tekrarlanır; ajan, hangi durumlarda hangi eylemlerin daha yüksek toplam ödüle yol açtığını deneyimleyerek öğrenir.

Bu felsefeyi dünyayı keşfeden bir çocuk gibi düşünebiliriz. Çocuk (ajan), sıcak bir sobaya dokunma eylemini gerçekleştirir, canı yanar (negatif ödül) ve bir sonraki sefer için o sobanın tehlikeli olduğu bilgisini zihnine kazır. Kimse ona “sobaya dokunma” kuralını kodlamamıştır; kuralı deneyimden çıkarmıştır. Ajanların satranç ustalarını yenmesinin, video oyunlarını kendi kendine öğrenmesinin veya otonom araçları sürmesinin arkasındaki temel felsefe, milyarlarca kez tekrarlanan bu ödül-ceza ve deneme-yanılma döngüsünün ta kendisidir.

Gözetimli öğrenme ile pekiştirmeli öğrenme arasındaki farkı bir analoji ile netleştirelim. Gözetimli öğrenmede model bir öğretmenin yanında oturur; her soru için doğru cevap verilir, model hatasını bu cevaba göre düzeltir. Gözetimsiz öğrenmede model yalnızdır; ne soru ne cevap vardır, veriyi kendi içindeki yapıya göre gruplar. Pekiştirmeli öğrenmede ise model bir labirenttedir; doğru yolu kimse söylemez, ama çıkışa ulaştığında ödül alır, çıkmaz sokağa girdiğinde ceza. Yol haritası deneyimle çizilir.

Markov Karar Süreci (MDP): Otonominin Matematik Çerçevesi

Bir ajanın çevre içindeki deneme-yanılma yolculuğu rastgele bir kaos değildir; arkasında katı bir matematiksel çerçeve yatar: Markov Karar Süreci (Markov Decision Process, MDP). Difüzyon modellerinin eğitim mantığını oluşturan ve yapay zekâda eğitim yazısında ele aldığımız Markov Zincirlerini hatırlayalım: bir sürecin gelecekteki durumu yalnızca şu anki durumuna bağlıdır; geçmişin bir önemi yoktur. Bu özelliğe Markov mülkiyeti veya hafızasızlık denir.

Markov Karar Süreci, bu pasif hafızasız zincirin içine iradenin ve bedelin eklenmiş halidir. Sisteme iki yeni güç katılır: eylem (action) ve ödül (reward). Ajan artık hava durumunu pasifçe izleyen bir gözlemci değil; yağmur yağdığında şemsiye açma eylemini seçen ve ıslanmamak gibi bir ödül kazanan aktif bir oyuncudur. Formal olarak bir MDP dört bileşenden oluşur: durumlar kümesi (S), eylemler kümesi (A), geçiş olasılıkları (P) ve ödül fonksiyonu (R). Geçiş olasılıkları, belirli bir durumda belirli bir eylem gerçekleştirildiğinde hangi duruma geçileceğinin olasılık dağılımını tanımlar; bu dağılım, Markov zincirlerinde ele aldığımız geçiş matrisinin ajanın seçimini de kapsayan genişlemiş halidir.

İndirim Faktörü: Geleceğin Değeri

Burada felsefi bir sorun ortaya çıkar: ajan sadece bir sonraki adımı düşünürse miyop olur. Satranç oynayan bir ajanın, anlık bir heyecanla rakibin piyonunu yiyip (anlık ödül) iki hamle sonra şah-mat olması (uzun vadeli ceza) sistemin çökmesi demektir. Bu yüzden pekiştirmeli öğrenme matematiğinin kalbine indirim faktörü (discount factor, γ) adı verilen bir parametre yerleştirilir.

İndirim faktörü, 0 ile 1 arasında bir değerdir ve ajana geleceği nasıl tartması gerektiğini öğretir. Toplam beklenen ödül (return), anlık ödüllerin indirgenmiş toplamı olarak hesaplanır: G = r₁ + γr₂ + γ²r₃ + γ³r₄ + … Burada her adımdaki ödül, γ’nin o adım sayısınca kuvvetiyle çarpılarak küçültülür. γ = 0.9 ise on adım sonraki ödül, bugünkü değerinin yaklaşık üçte birine düşer. γ = 0 ise ajan tamamen miyoptur; sadece bir sonraki ödülü görür. γ = 1 ise ajan sonsuz ufuklu bir stratejisttir ama bu da hesaplamayı patlatır ve pratikte kullanılmaz.

Sezgisel açıklama: Bu kavram, finans dünyasındaki paranın zaman değeri kavramının tam karşılığıdır. Bugün cebimdeki yüz lira, bir yıl sonra cebimdeki yüz liradan daha değerlidir — çünkü gelecek belirsizdir. İndirim faktörü ajana tam olarak bunu fısıldar: şu an alacağın küçük bir ödül iyidir, ancak on adım sonra ulaşabileceğin devasa bir ödül çok daha iyidir. Yine de gelecek her zaman belirsizdir; bu yüzden o uzak hedefin değerini hesaplarken zihninde ona biraz indirim uygulamalısın.

Politika ve Değer Fonksiyonları

Bir MDP’nin çözümü, ajanın her durumda hangi eylemi seçeceğini belirleyen bir politikadır (policy, π). Politika deterministik olabilir — her durumda tek bir eylem belirlenir — ya da stokastik olabilir — her durumda eylemler üzerine bir olasılık dağılımı tanımlanır. Ajanın amacı, toplam beklenen ödülü maksimize eden optimal politikayı bulmaktır.

Bu amaca ulaşmak için iki temel fonksiyon tanımlanır. Durum değer fonksiyonu V(s), belirli bir durumda belirli bir politikayı izlemenin beklenen toplam ödülünü verir; yani “bu durumda olmak ne kadar iyi?” sorusuna cevap verir. Eylem değer fonksiyonu Q(s, a) ise belirli bir durumda belirli bir eylemi seçip sonrasında politikayı izlemenin beklenen toplam ödülünü verir; yani “bu durumda bu eylemi yapmak ne kadar iyi?” sorusuna cevap verir.

Bu iki fonksiyon Bellman denklemiyle birbirine bağlanır: bir durumun değeri, o durumdan alınabilecek anlık ödül ile bir sonraki durumun indirgenmiş değerinin toplamıdır. Bu özyinelemeli (recursive) yapı, pekiştirmeli öğrenmenin tüm algoritmalarının matematiksel omurgasıdır.

Keşif ve Sömürü İkilemi

Pekiştirmeli öğrenmenin kalbinde, topluluk öğrenmesi yazısında da olan bias ve varyans dengesine çok benzeyen bir başka felsefi ikilem yatar: keşif ve sömürü (exploration vs. exploitation).

Bir ajan, çevresini öğrenirken her adımda stratejik bir karar vermek zorundadır. Bildiği, güvenli olan ve ona kesin olarak belirli bir ödül getiren yolu mu seçmeli (sömürü)? Yoksa o güvenli yolu bırakıp, belki de arkasında çok daha büyük bir ödül saklı olan ama aynı zamanda ceza riski de barındıran bilinmeyen yolları mı denemeli (keşif)? Bu durum, her gün gittiğiniz o harika restoranda her zamanki yemeğinizi sipariş etmek (sömürü) ile sokağın sonundaki yeni restorana gitme riskini almak (keşif) arasındaki farktır.

Eğer ajan sadece sömürü yaparsa, tıpkı GAN yazısında ele aldığımız mod çökmesi (mode collapse) patolojisinde olduğu gibi tek bir doğruya saplanıp kalır ve evrensel en iyi çözümü (global optimum) asla bulamaz. Sadece keşif yaparsa da hiçbir geçmiş veriyi kullanamayan kaotik bir sisteme dönüşür; öğrendiği hiçbir şeyi değerlendirmez.

Epsilon-Greedy Stratejisi

Bu ikilemin en yaygın çözümü ε-greedy (epsilon-greedy) stratejisidir. Ajan, ε olasılıkla rastgele bir eylem seçer (keşif), 1-ε olasılıkla bildiği en iyi eylemi seçer (sömürü). Eğitimin başında ε yüksek tutulur — ajan dünyayı agresif biçimde keşfeder. Zamanla ε küçültülür; ajan keşif işini tamamlayıp öğrendiği en iyi stratejiyi uygulamaya geçer. Bu geçiş, büyük dil modellerinin eğitiminde kullanılan öğrenme oranı zamanlamalarına (cosine annealing, warmup) felsefi olarak çok benzer: başlangıçta cesur adımlar, zamanla hassas ayar.

Q-Öğrenme: Tablodan Strateji Çıkarmak

Ajan, hangi durumda hangi eylemin en iyi sonucu vereceğini aklında nasıl tutar? Klasik pekiştirmeli öğrenme bunu bir Q-Tablosu ile yapar. Bu tablo, karşılaşılabilecek her durum (state) ve alınabilecek her eylem (action) kombinasyonu için beklenen gelecekteki ödülü (Q-değeri) yazan devasa bir haritadır. Başlangıçta tablo boştur veya rastgele değerlerle doldurulmuştur; ajan çevreyle etkileştikçe her hücreyi günceller.

Güncelleme Kuralı

Güncelleme kuralı Bellman denkleminden türeyen basit bir formüldür: Q(s, a) ← Q(s, a) + α × [r + γ × max Q(s’, a’) − Q(s, a)]. Burada α öğrenme oranıdır (yeni deneyime ne kadar güvenileceğini belirler), r alınan ödüldür, γ indirim faktörüdür, s’ yeni durumdur ve max Q(s’, a’) yeni durumda alınabilecek en iyi eylemin beklenen değeridir.

Köşeli parantez içindeki ifade zamansal fark hatası (temporal difference error, TD error) olarak adlandırılır: ajanın beklentisi ile gerçekleşen arasındaki fark. Yapay zekâda eğitim yazısında ele aldığımız kayıp fonksiyonlarının buradaki karşılığı budur: model, beklentisinin gerçeklikten ne kadar saptığını ölçer ve kendini düzeltir.

Q-öğrenmenin kritik bir özelliği off-policy (politika dışı) olmasıdır. Ajan, şu an uyguladığı politikadan bağımsız olarak optimal politikayı öğrenebilir. Yani keşif amacıyla rastgele eylemler seçse bile, tablosuna her zaman en iyi eylemin değerini kaydeder. Bu özellik keşif-sömürü ikileminde büyük bir esneklik sağlar.

Sınır: Q-tablosu, durum ve eylem uzayı küçük olduğunda mükemmel çalışır. Ama gerçek dünyada — bir satranç tahtasında veya bir video oyununun ekranında — karşılaşılabilecek durumların sayısı evrendeki atom sayısını aşar; hiçbir tabloya sığmaz. Bu sınır, derin öğrenmenin pekiştirmeli öğrenmeyle buluşmasının kırılma noktasıdır.

Derin Pekiştirmeli Öğrenme (DQN)

DeepMind’ın 2013’te Atari oyunlarında insan seviyesini aşan DQN (Deep Q-Network) mimarisi, yapay zekâ dünyasını sarsan kırılma noktalarından biridir. Temel fikir zarif ve güçlüdür: o sonsuz Q-tablosunu tutmak yerine, Q-değerlerini tahmin eden bir derin sinir ağı kullanmak.

DeepMind, evrişimli sinir ağları (CNN) yazısında ele aldığımız o hiyerarşik piksel okuyucu mimariyi pekiştirmeli öğrenmeye entegre etmiştir. CNN, oyun ekranındaki piksellere bakıp uzamsal durumu anlamlandırır; ardından bu soyutlanmış bilgiyi Q-öğrenme algoritmasına iletir. Ağın girdisi oyun ekranının ham pikselleri, çıktısı ise her olası eylem için tahmini Q-değeridir. Ajan artık ihtimalleri ezberleyen kısıtlı bir tablo değil, piksellerden anlam çıkarıp eyleme dönüştüren gören ve karar veren gerçek bir oyuncu olmuştur.

Deneyim Tekrarı ve Hedef Ağ

DQN’ın eğitiminde iki kritik yenilik vardır. Birincisi deneyim tekrarıdır (experience replay): ajan geçmiş deneyimlerini bir hafıza tamponunda saklar ve eğitim sırasında bu tampondan rastgele örnekler çeker. Bu mekanizma, ardışık deneyimler arasındaki korelasyonu kırar ve eğitimi stabilize eder; tıpkı gözetimli öğrenmede mini-batch’lerin veriyi karıştırarak daha sağlıklı gradyan hesabı sağlaması gibi.

İkincisi hedef ağdır (target network): Q-değerlerinin güncellenme hedefi, ana ağın kendisi değil, periyodik olarak kopyalanan ayrı bir ağdır. Eğer ajan hem tahmini yapan hem de hedefi belirleyen aynı ağı kullanırsa, hedef sürekli kayar ve eğitim istikrarsızlaşır — bir koşucunun önündeki bitiş çizgisinin sürekli yer değiştirmesi gibi. Hedef ağ bu çizgiyi sabitler.

Politika Gradyanı Yöntemleri

Q-öğrenme ve DQN, değer fonksiyonunu öğrenip ondan dolaylı olarak politika çıkaran yöntemlerdir. Politika gradyanı (policy gradient) yöntemleri ise farklı bir felsefe izler: politikanın kendisini doğrudan, parametrik bir fonksiyon olarak öğrenir.

Mantık şöyledir: politika, θ parametreleriyle tanımlanan bir fonksiyondur. Bu fonksiyon bir durum alır ve eylemler üzerine bir olasılık dağılımı üretir. Amaç, toplam beklenen ödülü maksimize eden θ değerlerini bulmaktır. Bu noktada yapay zekâda eğitim yazısında detaylıca ele aldığımız gradyan ve geri yayılım devreye girer: toplam ödülün θ’ya göre gradyanı hesaplanır ve parametreler gradyan yükselişi (gradient ascent) yönünde güncellenir. Dikkat edin: burada kayıp minimize edilmez, ödül maksimize edilir; bu yüzden gradyan inişi değil gradyan yükselişi kullanılır.

REINFORCE

REINFORCE, en temel politika gradyanı algoritmasıdır. Ajan bir episod boyunca eylemleri gerçekleştirir, toplam ödülü hesaplar ve bu ödülle orantılı olarak iyi eylemlerin olasılığını artırır, kötü eylemlerin olasılığını azaltır. Sezgisel olarak: yüksek ödül getiren eylemleri daha sık seç, düşük ödül getirenleri daha az.

Sınır: REINFORCE yüksek varyanslı gradyanlar üretir; eğitim gürültülü ve yavaş olabilir. Bu sorunu hafifletmek için bir temel çizgi (baseline) çıkarılır — genellikle değer fonksiyonunun tahmini — ve gradyan, ödülün mutlak değeri yerine beklentiden sapmasıyla orantılanır. Bu düzeltme, topluluk öğrenmesi yazısında bahsettiğimiz varyans azaltma mantığıyla aynı felsefeyi taşır.

Aktör-Eleştirmen Mimarileri

Değer tabanlı yöntemler (Q-öğrenme, DQN) ile politika tabanlı yöntemler (politika gradyanı) farklı güçlü ve zayıf yönlere sahiptir. Aktör-eleştirmen (actor-critic) mimarileri, tıpkı topluluk öğrenmesinde bagging ve boosting’in güçlerini birleştirmesi gibi, bu iki yaklaşımı tek bir çatı altında buluşturur.

Yapıda iki ayrı bileşen vardır. Aktör (actor) politikayı temsil eder; durumlara göre eylemleri seçer. Eleştirmen (critic) değer fonksiyonunu temsil eder; aktörün seçtiği eylemin ne kadar iyi olduğunu değerlendirir. Aktör bir şef gibi karar alır; eleştirmen bir müfettiş gibi o kararın kalitesini ölçer. Şef müfettişin değerlendirmesine göre stratejisini günceller; müfettiş de şefin yeni kararlarını değerlendirerek kendi beklentilerini kalibre eder.

A2C (Advantage Actor-Critic) ve A3C (Asynchronous Advantage Actor-Critic), bu mimarinin yaygın varyantlarıdır. A3C birden fazla ajanı paralel çevrelerde aynı anda çalıştırır; her ajanın deneyimi paylaşılan bir modele aktarılır. Bu paralellik hem eğitimi hızlandırır hem de keşif çeşitliliğini artırır.

PPO: Güvenli Adımlar Politikası

PPO (Proximal Policy Optimization), OpenAI tarafından geliştirilen ve günümüzde en yaygın kullanılan politika gradyanı algoritmasıdır. PPO’nun temel fikri, politika güncellemelerinin çok büyük adımlar atmasını engellemektir. Yeni politikanın eski politikadan çok fazla sapması durumunda güncelleme kırpılır (clipped). Bu kırpma, yapay zekâda eğitim yazısında ele aldığımız patlayan gradyan problemine karşı uygulanan gradient clipping tekniğinin politika uzayındaki karşılığıdır: büyük sapmalara izin vermeden, kararlı ama sürekli bir iyileşme sağlanır. PPO, RLHF sürecinde dil modellerinin hizalanmasında standart algoritma olarak kullanılmaktadır.

İnsan Geri Bildirimi ile Öğrenme (RLHF) ve Hizalama

Ajanların dünyayı kendi başlarına, deneme-yanılma yoluyla keşfetmesi her zaman güvenli sonuçlar doğurmaz. Büyük dil modelleri yazısında ele aldığımız hizalama (alignment) süreci, tam da bu otonomiyi insan değerleriyle terbiye etmek için vardır. Bir dil modelini internetin devasa veri yığınlarıyla baş başa bırakırsanız, rıza dışı veya önyargılı verileri de doğru kabul edip toksik üretimler yapabilir. Hizalanmamış model tehlikeli olabilir; eğitim verisindeki tüm örüntüleri öğrenir, iyi olanları da kötü olanları da.

Bu kaosu önlemenin yolu RLHF (Reinforcement Learning from Human Feedback) yöntemidir. Süreci adım adım takip edelim. Önce model bir soruya birden fazla cevap üretir. İnsan değerlendiriciler bu cevapları insani değerlere, etiğe ve güvenliğe göre sıralar. Bu sıralamalardan bağımsız bir ödül modeli eğitilir; bu model, herhangi bir cevabı alıp “bir insan bunu ne kadar beğenirdi?” sorusuna sayısal bir puan veren bir fonksiyondur. Son aşamada dil modeli, tıpkı labirentteki bir ajan gibi, bu ödül modelinden en yüksek puanı koparıp almak için PPO algoritmasıyla güncellenir. Yani makine, insanın neyi sevdiğini öğrenen başka bir makine tarafından yontularak hizalanır.

DPO: RLHF’in Sadeleştirilmiş Alternatifi

Büyük dil modelleri yazısında ele aldığımız DPO (Direct Preference Optimization), RLHF’in karmaşıklığını azaltan bir alternatiftir. Ayrı bir ödül modeli eğitmek yerine, insan tercihlerini doğrudan modelin eğitim hedefine dönüştürür. Modelin iyi ve kötü cevap çiftleri arasındaki farkları doğrudan öğrenmesini sağlar. Ancak RLHF hâlâ daha esnek ve genel bir çerçeve sunar; özellikle ödül fonksiyonunun karmaşık olduğu senaryolarda RLHF’in ayrı ödül modeli yaklaşımı daha güçlüdür.

Çoklu Ajan Pekiştirmeli Öğrenme (MARL)

Ajan tabanlı modeller yazısında ele aldığımız çoklu ajan sistemleri, pekiştirmeli öğrenmeyle birleştirildiğinde ortaya güçlü ama bir o kadar karmaşık bir alan çıkar: çoklu ajan pekiştirmeli öğrenme (Multi-Agent Reinforcement Learning, MARL). Burada tek bir ajan değil, birden fazla ajan aynı çevrede eş zamanlı olarak eylem seçer, ödül alır ve öğrenir.

MARL’ın temel zorluğu, çevrenin artık durağan (stationary) olmamasıdır. Tek ajanlı RL’de çevre sabit kurallara göre tepki verir; ajanın öğrenmesi gereken şey değişmez. MARL’da ise çevrenin bir parçası diğer ajanlardır — ve onlar da aynı anda öğrenip davranışlarını değiştirmektedir. Her ajanın öğrenme süreci, diğerlerinin öğrenme sürecini etkiler; bu da karşılıklı bir uyum dinamiği yaratır.

GAN yazısında ele aldığımız min-max oyun yapısı, aslında iki ajanlı bir pekiştirmeli öğrenme problemidir: üretici ve ayırt edici birbirlerini sürekli zorlayan iki ajan olarak düşünülebilir. GAN’lardaki eğitim istikrarsızlığı, mod çökmesi ve denge sorunları — bunların tümü MARL’ın genel zorluklarının özel bir yansımasıdır. İnsansız hava araçlarının bir sürü olarak koordineli hareket etmesi, otonom araçların trafikte birlikte seyir etmesi, rekabetçi oyun ortamları — hepsi MARL’ın doğal uygulama alanlarıdır.

Model Tabanlı ve Model Tabansız Yöntemler

Pekiştirmeli öğrenme algoritmaları iki temel kategoriye ayrılır. Şimdiye kadar ele aldığımız Q-öğrenme, DQN ve politika gradyanı yöntemleri model tabansız (model-free) yaklaşımlardır: ajan, çevrenin nasıl çalıştığını öğrenmeye çalışmaz; doğrudan deneyimden politika veya değer fonksiyonu öğrenir. Bu, ajanın çevreyi bir kara kutu olarak görmesi demektir — içine bakmaz, sadece girdiye karşılık çıktıyı gözlemler.

Model tabanlı (model-based) yöntemler ise farklı bir strateji izler: ajan, çevrenin bir iç modelini öğrenir. Bu model, belirli bir durumda belirli bir eylem gerçekleştirildiğinde ne olacağını tahmin eder — yani geçiş olasılıklarını ve ödülleri modelleyen bir simülasyon inşa eder. Bu iç modelle ajan, gerçek çevreyle etkileşmeden zihninde senaryoları canlandırabilir ve planlar yapabilir. Bir satranç oyuncusunun taşı taşımadan önce zihninde birkaç hamle ileriye bakması gibi.

Model tabanlı yöntemler örnek verimliliği (sample efficiency) açısından üstündür: daha az gerçek deneyimle daha hızlı öğrenirler. Ancak iç modelin yanlışlıkları birikir; model gerçekliği ne kadar iyi yakalamıyorsa, zihinsel planlama o kadar sapkın olur. Model tabansız yöntemler daha fazla deneyim gerektirir ama gerçek dünyayı doğrudan deneyimledikleri için bu riski taşımazlar.

Ödül Mühendisliği ve Simülasyondan Gerçeğe

Ödül Hackleme

Ödül fonksiyonunun tasarımı, pekiştirmeli öğrenmenin en hassas ve en çok hafife alınan bileşenidir. Kayıp fonksiyonunun seçiminin model davranışını kökünden değiştirdiğini yapay zekâda eğitim yazısında görmüştük; ödül fonksiyonu da aynı hassasiyetle tasarlanmalıdır. Yanlış bir ödül fonksiyonu, ajanı hedefe değil, ödülü hackleyen kısayollara yönlendirir. Bir temizlik robotuna “her adımda gördüğü çöp sayısına göre ödül ver” derseniz, robot gördüğü çöpü toplamak yerine gözlerini çöpten uzaklaştırmayı öğrenebilir — görmedim, yoktur. Bu olguya ödül hackleme (reward hacking) denir.

Sim-to-Real Transfer

Pekiştirmeli öğrenmenin en büyük pratik engeli, gerçek dünyada milyonlarca kez deneme yapmanın maliyetli veya tehlikeli olmasıdır. Bir robotun binlerce kez düşüp kalkarak yürümeyi öğrenmesi laboratuvarda mümkündür; ama her düşüşte donanım zarar görebilir. Çözüm, simülasyonda eğitip gerçek dünyaya aktarmaktır (sim-to-real transfer). Ajan, fizik motoru ile oluşturulmuş sanal bir ortamda milyonlarca episod deneyim kazanır; öğrendiği politika daha sonra fiziksel robota aktarılır. Büyük dil modelleri yazısında bahsettiğimiz fine tuning mantığına benzer şekilde, genel bir yetkinlik simülasyonda kazanılır, özel ayar gerçek ortamda yapılır.

AlphaGo ve AlphaZero: RL’in Zaferi

Pekiştirmeli öğrenmenin güçlerini bir araya getiren en ikonik başarı hikayesi, DeepMind’ın AlphaGo ve AlphaZero’sudur. 2016’da AlphaGo, dünya Go şampiyonu Lee Sedol’u yenerek yapay zekâ tarihinde bir dönüm noktası oluşturdu. Go, satrançtan çok daha büyük bir durum uzayına sahiptir; kaba kuvvet aramasıyla çözülemez. AlphaGo, derin sinir ağlarını Monte Carlo ağaç aramasıyla birleştirerek ve önce insan oyunlarından gözetimli öğrenme, sonra kendi kendine oynayarak pekiştirmeli öğrenme uygulamıştır.

AlphaZero ise bir adım daha ileriye gitti: insan bilgisine hiç ihtiyaç duymadan, sadece oyunun kurallarından başlayarak kendi kendine oynayarak öğrendi. Birkaç saat içinde Go’da, satranç’ta ve shogi’de insanüstü seviyeye ulaştı. Bu sonuç, büyük dil modelleri yazısında bahsettiğimiz beliren yeteneklerin (emergent abilities) pekiştirmeli öğrenmedeki en çarpıcı örneğidir: model yeterli kapasiteye ve deneyime ulaştığında, eğitim hedefinde doğrudan bulunmayan stratejik derinliği keşfeder.

Değerlendirme

Pekiştirmeli öğrenme, yapay zekâda otonominin zirvesidir. Ajan, çevre ve ödül üçlüsü öğrenmenin çerçevesini çizer; Markov karar süreci bu çerçeveye matematiksel disiplin kazandırır. İndirim faktörü ajana geleceği tartmayı, keşif-sömürü dengesi ise cesareti öğretir. Q-öğrenme küçük dünyalarda stratejiyi tabloya yazar; DQN aynı stratejiyi piksellerden öğrenir. Politika gradyanı politikayı doğrudan şekillendirir; aktör-eleştirmen ikisini buluşturur. RLHF, otonom öğrenmeyi insan değerleriyle hizalar; PPO bu hizalamanın motorudur.

Pekiştirmeli öğrenme büyüleyicidir ama kusursuz veya her derde deva değildir. Hata yapmanın bedelinin sıfır olduğu bir Go tahtasında veya Atari simülasyonunda harikalar yaratır; çünkü milyonlarca kez yanılıp ceza alarak mükemmeli öğrenebilir. Ancak hata yapmanın bedelinin bir insan hayatı olduğu tıbbi teşhislerde veya gerçek dünya otonom sürüşlerinde, ajanın sıcak sobaya dokunarak deneme-yanılma yapmasına izin veremezsiniz. Simülasyonun bittiği yerde RL’in güçleri de sınırlanır.

Makine öğrenmesinde hiçbir modelin tüm problemlerde üstün olmadığı matematiksel olarak kanıtlanmıştır — No Free Lunch teoremi bu gerçeği bize hatırlatır. Pekiştirmeli öğrenme otonominin zirvesi olsa da bu teorem bize her problemin RL ile çözülmemesi gerektiğini, çoğu zaman iyi eğitilmiş klasik bir gözetimli sınıflandırma modelinin çok daha güvenli ve akılcı bir tercih olduğunu hatırlatır. Doğru yöntemi seçmek, problemi önce anlamaktan geçer.