Discrete-Time Markov Chains and Monte Carlo Methods

Bir Markov zinciri, her biri için olasılıkların yalnızca bir önceki olaya bağlı olduğu bir dizi rastgele olayın gelişimini modellemek için kullanılabilir. Serideki bir durum gözlemlendikten sonra, önceki değerler gelecekteki değerlerin tahmini için artık geçerli değildir. Markov zincirlerinin fizik, biyoloji, kimya, kuyruk yönetimi ve bilgi teorisi dahil olmak üzere sayısız disiplinde gerçek dünya fenomenlerini modellemek için birçok uygulaması vardır. Son zamanlarda, algoritmaların insan girdisi olmadan ve bağlama dayalı olarak akıllı kararlar vermek üzere tasarlandığı yapay zeka (AI) dünyasında önemli araçlar olarak kabul edilmektedirler. Markov zincirleri, sırasıyla tahminler yapmanın ve örneğin yeni metin veya görüntüler şeklinde yeni veriler oluşturmanın amaçlandığı doğal dil işleme ve üretken yapay zeka algoritmaları için özellikle yararlı olabilir. Bu kursta her ikisinin de örneklerini keşfedeceğiz. Üretken yapay zeka modelleri genellikle Markov zincirlerinden çok daha karmaşık olsa da, ikincisinin incelenmesi ilki için önemli bir temel sağlar. Ek olarak Markov zincirleri, Markov zinciri Monte Carlo (MCMC) olarak adlandırılan güçlü bir algoritma sınıfının temelini oluşturur.