Merhaba ve hikayeye hoş geldiniz.
Şimdi, politika kayıplarını ve değer kaybını hesaplamak için for döngüsünü yapacağız ve
bu iki dersi aldıktan sonra, optimize edicimizi kumları kayıpları azaltmak için kum
almak için kullanabileceğiz.
Pekala, işte gidiyoruz.
Bu arada, bu bölümü uyguladığımız önceki ders içerisine başladık ve bunun için üzgün olan
girintileri kaldırmayı unuttum.
Dolayısıyla buradan başlamak sonbaharda değil.
Ve şimdi yeni bir döngüye başlıyoruz, bu yüzden dört ile başlayacağız.
Ve şimdi yapacağımız şey, keşif sırasında yapılan son adımdan başlayacağımız ve
zamanda geriye doğru ilerleyeceğiz.
Bu yüzden i için ters aralıklı arazi ödüllerinde en büyük ödülleri en az olanı yapıyorum.
Ve araştırmanın her bir basamağı, nerede çalıştıklarımıza bağlı olduğu için, her adımda
sözlerimiz olduğunda ödüllendiriliyoruz.
Bu adımlar sayısı ve bu tersi burada kullanılıyor, böylece gitmeye devam edebilmek için geri adım atabiliyoruz.
şimdi yapacağımız, bugüne kadarki kümülatif ödülü güncellemek ve bunu bu şekilde güncelleyeceğiz.
Ve
Aslında Doom için yaptığımız şeyle aynı.
Parametrelerimizden elde ettiğimiz gama eşittir ve en az ödül alarak ve dizini alarak
elde edebileceğimiz bu ödülün çok da artı olmayan ilk programlarından yararlanıyoruz.
Dolayısıyla bizim için sonuncusu bu olacak ve daha sonra bir önceki günün ödülü ve benzeri olacaktır.
ve her gün gama ile çarpılarak ve ardından bu ödülü kümeye ekleyerek güncelliyoruz.
Ve bunu yaparak hatırlayacağımızı sonuna kadar alacağız.
ve döngü sonunda sıfır olacak kadar serin olacak topluluğumuzun ödülünü alacağız.
Bu yüzden onlar geldikçe onu yazacağım
Adım sıfır artı gama zamanlarının ödülü birdir.
Biz artı gama kare kez sözcük olduğunu ilk edildi.
İkinci aşamada artı gama gücünde ve eksi bir kere adım ve eksi 1'de elde edilen ödülün herhangi bir
adımı attığında ancak daha sonra dikkatli olursak, adım sayısının gücünde gamma
bulacağız.
Zamanlar, son duruma uygulanan işlevin değerini devalüasyona çevirir.
Henüz gelmeliyiz.
Ve bunu alacağız, çünkü hatırlayın burada bu değeri ve son adımı hatırlıyoruz, bu, bu döngü
için buraya bitince yapıldı.
Ve biz de değeri elde ettik ve bizim değerimizi o değere eşit olarak ayarladık.
Dolayısıyla şu an ikinci tam döngü başlangıcındadır burada bu son tarihin değerine eşit
olacaktır.
Fakat bunu yaparak sonunda elde edeceğimiz şey eşit veya sıfır yüzde veya bir tenis kortu
veya iki artı güç eksi bir kat art arda eksiltebiliriz ve eksi bir artı
oyun sayısının gücüne ekleyebiliriz Adımların bu Değerlerin Bu Kez Değerleri.
Bu anlamak için ana şey bu ve bu birikimli ödül eylemi olabilir.
Bu nedenle, başlatma veya buradan başlamak ve bu son denklemi mükemmel
kılacak ters çevrim yapmak önemlidir.
Ve şimdi, birikimli ödül için doğru değeri elimizde bulunduruyoruz. Avantajı hesaplayacağız
ve avantaj bu avantajı onlara kıyasla elde etmenin bir avantajı.
Bu yüzden, evrimlenebilir avantaj getireceğim ve bu nedenle, bu kümülatif ödülün aşamada elde
edilen V fonksiyonunun değerinin eksi değerine eşit olacağım.
Dolayısıyla bu eksi değerlerimizdir.
Mükemmel.
Ve şimdi biz çalıştık topluluğa sahibiz ve o zaman avantaj kaybı elde edebiliyoruz.
Bu, ilk elde edebileceğimiz şey.
Bu yüzden değerimizin çok iyi olmasını sağlayacağız ve bu şu şekilde güncellenecektir.
Unutmayın ki devalüasyonumuz sıfıra başlatılmıştır.
Ve böylece değer kaybını tekrar 0 olarak alacağız. Meydana 5 kat daha avantaj sağladığımız için bunu bu
şekilde alabiliriz.
Avantaj da düşündü.
Dolayısıyla bu sadece gücün avantajını kareye oturtmak demektir ve tam olarak bunun yanı
sıra dere tarafından işlev çıkışlarının değerinin tahminiyle oluşturulan kayıp da budur.
Ve bu nedenle bu devalüe edilmek mantıklıdır, çünkü devletin eyleminin avantajını
hatırlamak Q değeri ile B işlevi değeri arasındaki farktır.
Ve böylece en uygun eylemi oynadığımızda Durağan durumu en uygun eylemin Q optimal ile elde
ederiz. Bir yıldız oyuncusu en iyi değeri eşittir.
Devletin Vistarları.
sıfıra eşit olmadığında, bu ikisi arasında bir fark olacağını anlamak oldukça sezgisel.
Bu yüzden, avantaj
Ve bu yüzden son ölçülür.
TAMAM.
Sonuncusu çok son hesaplandı.
Artık gitmesi gereken bir tane daha var.
kaybı ve şu anda hesaplayacağımız şey ve bunu hesaplamak için genelleştirilmiş
avantaj tahminini tekrar düşünmemiz gerektiği için, genelleştirilmiş avantaj tahminine ihtiyaç duyduğumuz politika kaybını hesaplamak ve
ulusun genel avantajlarını elde etmek için öncelikle sahne valflerinin zamansal farkına ihtiyacımız var.
Bu politika
Dolayısıyla, burada hesaplamamız gereken çok şey var ve zamansal farkı bulduktan sonra bu
zamansal farkla başlayacağız.
Genelleştirilmiş avantaj tahminini alacağız ve sözü edilen genelleştirilmiş avantajları aldıktan
sonra, yarımadayı alacağız.
Tamam.
Şimdi zamansal fark T ile başlayalım. G. bu borcun artı bir değerinin çarpımı
ile eklenir ve buna erişmek için bu veriyi, adım I'in ve eklediğimizin eksi değeri ekleriz. veri.
DD, program listemize bir şeyler olsun diye Adım I artı Gana'nın ödülüne eşittir, böylece Bromstad gamma
Tamam.
Zamansal farkın ve devlet değerlerinin formülüdür.
Şimdi genelleştirilmiş avantaj tahminini güncelledik ve tarih nasıl çıktı.
Peki R-GA'yı alırız ve onu parametrelerimizle de erişebilmek için gama parametresi gama çarpı ile
çarparız.
Böylece program hücresi alıyor ve bu durum değerlerinin zamansal farkını ekliyoruz.
Yani dikkatli ol.
Biz döngüdeyiz.
Ve her seferinde by ve by çarparsak zamansal bir fark katarız.
Dolayısıyla, bu döngü sonunda bu genelleştirilmiş avantaj tahmininin, gama
zamanlarının tüm basamakları üzerindeki toplama eşit olacağını anlamak önemlidir, böylece adımdaki zamansal farkın i katının gücü, bunu
korumak için çok önemlidir akılda.
Şimdi, genelleştirilmiş avantaj tahminine ve genel farka sahip olduğumuza göre nihai
olarak poliçeyi hesaplayabiliriz.
O halde bunu yapalım.
Politika yasalarımızı eski politikamızı alarak aşağıdaki şekilde güncelleyeceğiz ve katladığımız adımda
elde edilen LKGG olasılıklarını bir değişkene koyacağımız genelleştirilmiş avantaj tahminiyle çarpıttık; çünkü
o zaman hesaplayacağız Degradeler.
Dolayısıyla, grafikteki degradelere bağlı olmalı ve ardından eksi 0 ekleyelim. 1 kat daha fazla entropi.
Sonbahar basamağında elde edilen entropi.
Ve yeniden.
Şimdi dikkatli ol.
avantaj tahminine geçiş aşamasındaki politikanın ürün luggin'inin aşamalarını aşması anlamına gelir.
Bu döngü içersinde gribin sonunda, elde edeceğiniz şey, politika artı eksi,
genelleştirilmiş
Artı bu 0. 01 katına gelen entropi bunu alıyor.
Ve şimdi I. politikası nedir?
Bu, eylemlerin yumuşak Max olasılıkları ve bunu entropi, işte daha önce hesapladığımız
yerin ne olduğunu bildireceğim.
Ve ne yapmak istediğimiz liste.
Yani elimizde zaten var.
Ancak, bu yılki eylemlerin yumuşak Max olasılığı olduğunu duydum.
Ve neden buraya eksi koyacağız.
Çünkü olasılığın şansı ve entropisi negatif değerlerdir.
Ve mutlak değerini en aza indirgemek istediğimizden, bu değeri sonuna LUGG olasılığı
olarak görmeliyiz.
Hayır, avantajı en üst düzeye çıkaracak olan eylemin olasılığını en üst düzeye çıkarmak istemiyoruz.
Arkasındaki tüm fikir de budur.
düzeye çıkarmak istiyoruz ve bu entropinin neden ne kadar etkili olduğunu merak ediyor olanlarınız için.
Avantajı en üst düzeye çıkaracak olan oyunun oynanma olasılığını en üst
Bu faktör 0 var. 01 burada.
Bunun amacı, sadece bir ihtimal olanın haricindeki tüm eylemlerde sıfırlarla
dağılma olasılığının olduğu bir tuzağa düşmesini engellemektir.
Ve eğer bu gerçekleşirse, entropiyi en aza indirir.
İşte bu yüzden bu küçük revizyonları 0 ekliyoruz. 01 yılında büyük anlamda
entropi artışını sağlayacaktır.
Tamam şimdi iyi haber şu ki en zor kısım bitti.
İki kayıpımız var ve bu nedenle şimdi yapmamız gereken tek şey ve bunu nasıl yapacağımızı zaten biliyoruz,
sadece bu iki sınıftan küçültmek için bir not almak için gerçekleştirmektir.
Ve şimdi ne yapacağız bu döngüden kurtulmak ve biz bizim optimizer almaya gidiyoruz.
Ayrı ayrı yaptığımız şey, o zaman yapmamız gereken ilk şeyin tüm derecelendirme parametrelerini
sıfıra ayarlamak olduğunu ve bunu yapmak için sıfıra eklediğimizin ve buna bir grad yöntemi denildiğini hatırladığımız.
Pekala, o zaman bitti.
Şimdi geriye doğru yayılım yapacağız, ancak politika daha küçük olduğu için
kayıp değerden iki kat daha fazla önem vereceğiz.
Bunu yapmak için parantez politikası koymalı ve puan artı 0 artı ekleyelim. 5 değer kaybı öyle 0. 5 kat daha fazla değer veriyoruz ve
geriye doğru yayılımı gerçekleştirmek için geriye dönük yöntemi uyguladığımızı burada ekleyeceğiz ve burada bu hile
ile politikaya daha az artı, politika için iki kat fazla öneme
sahip olduğumuz değerin yarıya yakını ekleyeceğiz. Vaness.
Tamam o zaman gradyanın son derece büyük değerler almasını ve bu nedenle
algoritmayı üretmesini önleyen başka bir numara kullanacağız.
ve modülünü, daha sonra utils alt modülünü elde etmek ve şimdi skor normunda
bir CLEP altını çizen grad'ın bir fonksiyonunu kullanacağız ve biz, 40 olacak ikinci bir girdi ile model parametreleri.
Bunu yapmak için yapmamız gereken şey, ilk önce meşale kütüphanemizi, daha sonra meşale kitaplığımızın sonunu
Ve bu hüner temelde gradyanlarda son derece büyük değerler almaz ve algoritma üretmek
için emin olacaktır.
Ve 40 senenin bu olup olmadığını merak eden sizler için.
Kesinlikle.
Bu sadece, bu değerleri kullandığımız yani 0 ile 40 arasındaki degradenin kaldığı
anlamına gelir ve bu nedenle gradyanın büyük değerlere geçmesini önlediğimiz anlamına gelir.
Tamam şimdi bittik.
Unutmayın bunu yaptığımız ve Gretz'in paylaşıldığı modelin düşen başlangıcında olduğunu ve bunun da aracın
ve paylaşılan modelin aynı eğilimleri paylaştığından ve bunu bu işlevi burada uygulayabileceğimizden emin
olmak için yaptığımızı unutmayın.
Ve bu yüzden, ahlaki ve paylaşılan modelin aynı eğimleri paylaştığından emin olmak için grad'ları ekleyecek
ve paylaşacağız.
Pekâlâ, bu sadece bir önlem.
Bunun tamamen gerekliliğinden emin değilim ama en azından burada bir sorun yaşamayacağımızı biliyorsun.
Tamam.
Ve nihayet kodun son satırında elbette kayıpları azaltmak için optimizasyon adımını gerçekleştirmek
için gidiyoruz ve bunu nasıl yapacağınızı biliyorsunuz elbette eniyileştiricimizi alıyoruz ve bu adımı parantezle
ekledikten sonra beyin eğitimimize gidiyoruz; bitti.
Öyleyse tebrikler.
Umarım bu çok da ezici değildir.
Endişelenmeyin, kodu tüm yorumlarıyla birlikte vereceğim.
Herhangi bir ayrıntıyı kaçırdıysanız, yorumları inceleyebilirsiniz.
Ve eğer bu kadar gelişmiş bir şey anlamadıysanız endişelenmeyin.
Ancak bunun, aynı zamanda pi yaratıcısı tarafından yapılan en güçlü hatırlama ziyareti olduğundan da emin olabilirsiniz.
Bu yüzden burada en iyilerle çalışıyoruz.
En son teknoloji, bu nedenle herşeyi ilk kez elde etmediyseniz tamamen normal
ancak birçok kez üzerinde çalışarak kesinlikle daha rahat edeceksiniz.
Artık eğitim bitti.
Temel olarak, sinir ağlarının mimarilerini konvolüsyonlarla LCN ve tamamen bağlı tabakalar
oluşturarak beyin yaptığımızı bildiğiniz en önemli şeyleri yaptık.
Beyni burada eğiterek eğittik.
Temelde algoritmanın kalbi yapılır.
A3'ü tebrik etmek için yaptın.
Şimdi yapmamız gereken birkaç şey var ama bu sadece eğlenceyi almak.
Ajanların test edeceğini ve videoların ve uçakta patlamanın sağlayacağını bulduğumuz bu testi yapmamız
gerektiğini biliyorsun.
Dolayısıyla, bu testin tüm satırlarını ben düşürdüğümüzü kodlamayacağımızı izlemek çok eğlenceli olacak çünkü en
önemli şeyi yaptığımızı söyledik.
23C ama elbette kodu açıklayacağım ve nihayetinde bunu hazırladım, hangi kodu yürütecek buldum.
Tüm ilgili
Ve bu kodu yürüttüğümüz andan itibaren tüm kodlar oluşturulacak.
Böylece beyinler yapılacak.
Eğitim gerçekleşecek ve göz yeni oyun oynamış olacak ve tüm videoları alacağız.
Bu yüzden sonunda onları izlemek için sabırsızlanıyorum.
Topu yakalayacak kadar akıllı olup olmadığını göreceğiz.
Şimdi bu masaüstü arayüzünün bir sonraki dersinde göreceğiz, böylece AI'yı yeni oyunlar üzerinde
test edebileceksiniz.
Ve o zamana kadar AI zevk.