Mastering Classic Reinforcement Learning Algorithms

Bir yapay zeka ajanı, belirsiz bir ortamla sürekli etkileşime girerek doğru kararlar almayı nasıl öğrenebilir? Bu kurs, sonlu Markov karar süreçleri ve tablosal yöntemlere odaklanarak klasik pekiştirmeli öğrenmenin (reinforcement learning) matematiksel ve algoritmik temellerini sunuyor. Kurs, temel fikirlerin en net şekilde anlaşıldığı en basit senaryolarla başlıyor: deterministik karar süreçleri, indirgenmiş ödüller ve Bellman optimallik denklemleri. Ardından, katılımcıların politikaları, değer fonksiyonlarını, beklenen indirgenmiş ödülü ve dinamik programlamayı incelediği Markov zincirleri ve Markov karar süreçleri aracılığıyla stokastik yapıyı tanıtıyor. Bu temel atıldıktan sonra kurs; değer yineleme (value iteration), politika yineleme (policy iteration) ve doğrusal programlama formülasyonları dahil olmak üzere bilinen modeller için planlama yöntemlerine odaklanıyor. Kursun ikinci yarısında ise modelin bilinmediği ve ajanın deneyimlerden öğrenmesi gerektiği durumlar ele alınıyor. İşlenen konular arasında çok kollu haydutlar (multi-armed bandits), keşif ve sömürü (exploration and exploitation), Monte Carlo yöntemleri, zamansal fark öğrenmesi (temporal-difference learning), SARSA, Q-learning ve yakınsama ilkeleri yer alıyor. Kurs, katılımcıların aynı sonlu MDP problemini çözdüğü nihai bir değerlendirme ile sona eriyor.