Merhaba ve tekrar hoş geldiniz.
Son derste, çevremizin gerçek tanımını, değerlerimizin temsilini, ceza ve ödüllerimizi
ve çevredeki eylemlerimizi bitirdik veya sonlandırdık.
Bu derste yapmak istediğim şey, eğitimi, modelin nasıl eğitileceğinin arkasındaki fikri tanıtmak
ve başlamanıza yardımcı olmaktır.
Ve bir sonraki derste çözümü ve ilgili adımların daha ayrıntılı bir dökümünü sunun.
Bu yüzden eğitim için gerekli olan modeli eğitmemiz gerekiyor.
Bu, modeli eğitmek için sonraki adımlarda kullanabileceğimiz bir yaklaşımdır.
Ajanımızın beyaz karesi olacak rastgele bir terminal olmayan durum seçmek istiyoruz ve eğitim
bölümümüze bu şekilde başlamak istiyoruz.
Daha sonra elbette mevcut durum için bir eylem seçmek istiyoruz.
Temsilcimizin çevrede hareket edebilmesini sağlamamız gerekiyor.
Dolayısıyla, bu mücadelede bizim ve temsilcimiz için eylemler Epsilon Greedy kullanılarak seçilecektir.
Bu algoritma genellikle temsilci için en umut verici eylemi seçecek, ancak bazen daha az umut verici bir
seçenek seçecektir.
Temsilciyi çevreyi keşfetmeye teşvik etmek için gerçekten en uygun politikayı bulmak istiyoruz.
Daha sonra seçilen eylemi gerçekleştirmek ve bir sonraki duruma geçmek istiyoruz.
Bir sonraki konuma geçin.
Bunu söylememin nedeni, sizlerden bu sorunu çözmek için bunu nasıl işlevlere ayırabileceğinizi
düşünmenizi istiyorum.
Daha sonra, yeni bir duruma geçmek için bir ödül almamız ve ardından zamansal farkı hesaplamamız gerekir.
Eylem çiftindeki önceki durum için Q değerini güncellememiz gerekir ve eğer yeni veya mevcut durum bir
terminal durum ise, o zaman bir tanesine gideriz.
Aksi takdirde ikinci adıma geçeriz.
Yani tüm süreç boyunca 1000 bölüm boyunca koşmayı hedefleyeceğiz.
Bu bize ya da temsilcimize, ürün paketleme alanı ile örnek şehrimizdeki diğer konumlar arasındaki
en kısa yolu hesaplamak için yeterli fırsatı verecektir.
Harika.
Bu yüzden lütfen bu konuya nasıl yaklaşacağınızı düşünün ve ben de size bu konuyu çözmeniz için bir fikir vermek istiyorum.
Bu yüzden çözümümüzde aşağıdaki fonksiyonları kullanacağız.
Aslında bir kod hücresi olduğu için bunu yorumlayabilirim.
Özür dilerim.
Dolar işareti istemiyoruz.
Bunları yorumlamak istiyoruz ve ilkine başlamanıza yardımcı olacağım.
Genel olarak, modeli eğitmek için adımlarımızı tanımlayan bu fonksiyonlara sahip olacağız.
Ve başlamanıza yardımcı olmak için, python'da bir fonksiyon oluştururken terminal durumuna
nasıl yaklaşacağımıza bir göz atalım, bunun için ilk önce elbette fonksiyonumuzu olduğu gibi tanımlamak
isteyeceğiz.
Terminal durumu.
Ve bunlar, size bir fikir vermek için göreceğiniz işlevlerin adlarıdır.
Yapmak istediğimiz şey, geçerli satır indeksini ve geçerli sütun indeksini almaktır.
Bu bize temsilcimizin konumunu vermemize yardımcı olacak ve ödüllerimiz için buraya doğru veya yanlış ekleyebiliriz.
Bu yüzden if ifadesine ihtiyacımız var.
Öyleyse ödüllerimizi belirleyelim.
Şu anki.
Sıra indeksi.
Ve eğer bu durumdaysalar mevcut sütun indeksi negatif bire eşittir.
Yanlış veya başka türlü ya da başka türlü döndürürüz.
Tekrar geleceğiz.
Doğru.
Yeterince açık.
Ve bu şekilde, terminal durumda mevcutsa, başlangıç konumunu elde etmek istedikten sonra terminal
durumumuz hakkında fikir edineceğiz.
İpucu olarak, mevcut satır indeksini ve mevcut sütun indeksini kullanarak ve numpy'yi rastgele bir şekilde ayarlayarak
bir göz atabilirsiniz.
Bunu çevre satırları çevre sütunlarına rastgele bir şekilde başlatmak istiyoruz.
Ancak bir sonraki derste bir döküm göreceksiniz.
Size bir fikir vermesi için bazı notlarla birlikte işlevlerin geri kalanını göreceksiniz.
Umarım siz de bunu deneme şansını yakalarsınız çünkü bu, öğrenmenin ve size fikir
vermenin harika bir yoludur.
Bu da başlamanız için.
Merak etmeyin, çözümü bir sonraki derste öğreneceksiniz.
Daha sonra bir Epsilon indirim faktörü, öğrenme oranı ve eğitim için bu tür şeyler atayarak, eğitimi çalıştırarak
ve sonuçları görüntüleyerek işleri tamamlayacağız.
Harika.
Burada tekrar duralım.
Bunu çözmeye çalış.
Ama değilse, sadece ilerlemek istiyorsanız, bir sonraki derse gidin ve bu işlevlerin
tanımlanması için eğitim çözümünü alacaksınız.
Pekâlâ, bir sonraki derste görüşmek üzere.