Merhaba ve bu öğretiye hoş geldiniz, bu özel oyuncak süper heyecanlı olacak, çünkü
A'ya yaklaşıyoruz. S. C. algoritması.
Uygulamak üzere olduğumuz ve Uygunluk İzleme veya Sarsour olarak da adlandırılan şeyin aslında,
senkron aktif eleştirmen ajanları algoritmalarının bir algoritması olduğunu göreceksiniz, bunu algoritma olarak düşünemiyoruz.
temsilcimiz olacak ancak yine de uygulamak üzere olduğumuz şeyin
aslında bu makalenin derin takviye öğrenimi için Synchronoss yöntemi olan bu makaleden alındığını
göreceksiniz; Bu yazıda, bu dersin son bonusu olarak uygulayacağımız A-3 algoritmalarını bulacaksınız.
Ve görüyoruz çünkü hala bir
Ama dediğim gibi, ona yaklaşıyoruz, çünkü şu anda uygulayacak olan model asenkron
ve sekülerleşmiş bir model bu, hemen hemen A3 C olanı, ancak bunun için
bir ajan ve güçlü şey olan A3 C'dir. bu ve adım Cunanan, birikimlerimizi kazanmamızı ve
Priestley gibi bir adım yerine son adımlardaki kümülatif hedefi öğrenmeyi öğreneceğiz.
Ve eğitimin daha fazla performansa dönüşmesi budur ve bu nedenle çok daha güçlüdür.
Dolayısıyla aslında bu algoritma için sahte kodumuz var, burada bu algoritma var.
Bu yüzden üzerine tıklayın ve gidelim.
Uygulamak üzere olduğumuz algoritma budur.
Ancak unutmayın, yalnızca bir ajan ile fark, burada bir işlem yapmalarıdır.
Cumhurbaşkanı Greely'nin politikasına göre 80 geçerli devlet için q değerlerine dayanan ve oynanan
eylem.
Fakat bizim durumumuzda mükemmel bir yeşil politika uygulamadık.
Yumuşak bir Max uyguladık.
Ama gerisi senin gördüğünle aynı.
Üzerinde çalıştığımız toplamı hesaplayacağız ve aslına 10 adım attıracağız.
Adımların 10'a eşit olduğunu unutmayın.
Ve bu nedenle, şu anda uygulamak üzere olduğumuz algoritmamızda bu kod satırını uygulayacağız.
Bunu alacağız.
Ve çoğunlukla bunu da uygulayacağız.
Geçerli durum ve bu teta içerisindeki geçerli eylem için maksimum q
değerini alacağımızı görürsünüz.
İşte sadece bir hedef parametresi.
Bu yüzden bunu yapalım, bu algoritmaya saldıralım.
Buna senkron ve sopa öğrenme denir.
Ancak, yalnızca bir motorumuz olduğu için, söz konusu olduğumuz kadar senkronize olma hakkı yok.
Fakat bu nedenle onu arayabilir ve uygunluğu öğrenebiliriz ya da hatta Sarsour'u öğrenebiliriz.
Pekala, bunu yapalım.
Oldukça eğlenceli olacak.
Temel olarak burada kodu takip edebiliyoruz ve bunu yapacağız.
Ve ihtiyacımız olan bir parametreyi, çürüme parametresi olan parametreye yükselttiğimizi görebildiğiniz
için bu Gahanna parametresi için bir değişken sunarak ve bunları seçerek başlayacağız.
O halde bunu yapalım.
Aslında bir sınıfa muazzam ihtiyacımız yoktur Bir işle bunu basitçe uygulayabiliriz çünkü
bunun için nesne oluşturmak zorunda değiliz, çünkü bunu izlemek için bir
modele ihtiyaç duymuyoruz. Bir fonksiyon yeterlidir, çünkü esas olarak yapmak istediğimiz şey girdileri ve hedefi
geri döndürdükten sonra, AI'yı eğitirken öngörüler ile hedef arasındaki mesafeyi en aza indirgemeye hazırız
ve öngörüleri almak için girdilere ihtiyacımız var, çünkü çıktı almak için beynimizi girdiye
uygulayacağız Tahminlerimiz olacak sinyalleri.
tuvaletler arasındaki bu büyük mesafeyi en aza indirgemeye çalışarak AI'yi eğitmeye hazır olacağız.
Ve bir kere tahminlerimize ve hedeflerimize kavuştuğumuzda, tahminleri ve
İşte şimdi bunu yapmak için bir nokta var.
Sovyetlerde bu girdileri geri getirebilmek için bu işlevi uyguluyoruz, böylece tuvalet
yöneten kare tahminlerini en aza indirgemek için eğitim almaya hazır olabiliyoruz.
Pekala, bu yüzden bunu işlevleri uygulamak istediğimizi söyleyelim.
Bu işle başlarız.
Bunu uygunluk olarak vurgulamaya devam edeceğiz.
Ayrıca Sarsour diyebilirsiniz.
İstediğiniz şeyi çalmak için adım da diyebilir, ancak bunu uygunluk izi olarak adlandıracağız
ve bu işlev bir toplu hal olacak bir argüman alıyor ve bunun sebebi, bazı
girdiler ve bazı hedefler alacağımız için, AI'yı gruplar halinde eğitmek için gidiyoruz.
Ve böylece girdiler ve hedefler bazı toplu haldedir ve bu nedenle buradaki girdi bağımsız
değişkeni, birkaç girdi içerecek olan bu toplu iş ve sonra hesaplayacak birkaç hedef olacaktır.
İşte gidiyoruz.
İhtiyacımız olan tek argüman bu.
Şimdi bir işlevin içine girelim ve ne yapmamız gerektiğini tanımlayalım.
Gazetenin Bazilika'sında da gördüğümüz gibi, yine bu parametrelerin tekrarlanmasına ihtiyaç duyuyoruz, böylece bu gamma parametresini
yarı kapalı olarak sunarak başlayacağımızı ve zaten değeri çözebildiğimizi söyledik.
Ve biz Gana ve Norreys için klasik iyi bir değer olan dört nokta doksan dokuz'u seçeceğiz.
Bunun AI için iyi bir değer olduğunu kontrol ettim.
Pekâlâ, bir sonraki adım, girişimizi ve hedeflerimizi hazırlamaktır, çünkü tam olarak geri dönmek
istediğimiz budur.
Eğitimi hazırlamak için girdileri hedeflere geri getirmek istiyoruz.
bir liste haline getireceğiz ve girdileri liste halinde başlatmanın yanı sıra gittik hedeflerimiz.
Ve bu nedenle bunları boş bir liste ile başlatabiliriz çünkü elbette
bu girdiler En iyisi içerisindeki tüm girdileri
Bu yüzden, bizim başlattı ve hedefler koymak ve sonunda bu uygunluk izleme fonksiyonu tam
olarak bu girdileri dönecektir.
Ve bu evet elbette Filton'du.
İşlev tarafından döndürüleceğimiz şeyler için birkaç girdimiz ve ilişkili birkaç hedefimiz var.
Bir sonraki adımın başında bir döngü başlatmak ve bunun nedeni tam da kağıdın
yavaş kodunu izlemek.
Bu tür bir kod.
Ve gördüğünüz gibi bu tekrar kod bölümü var ve kodda tam bir döngü tekrarlanıyor.
Burada 10 adım üzerinde biriken kümülatif ödül hakkını hesaplayacağız.
Ve nasıl hesaplanır.
Son adım olmadığı her adımda, bu aşamada bulunduğumuz para biriminin temel değerlerinin maksimum
seviyesini elde edeceğiz ve adımlar atacağız.
Ve 10 adımın son Devletine iyi ulaşırsak, bu sıfıra eşit olur.
Yani artık bunu yapmak istemiyoruz.
Ve sonra başka bir tane olacak olan bu döngü var.
Burada tekrar etmelerini söylemiyorlar ama aynı, algoritmamızda ikinci tam döngü olacak.
Peki bu durumda, bozma parametresi gama ile çarpılarak ve sözcük ekleyerek bu
şekilde olacağız.
Şimdi bunu Python'a dönelim ve tamamlamamıza izin verelim.
Ve ne yineleyici değişken olacak.
Bu 10 basamaklı serimiz olacak.
10 geçiş dizisinden oluşan 10 geçiş dizisini temsil eden bu değişken seriyi arayacağız.
10 geçiş dizimizi biliyorsunuz, bu yüzden
Yani diziler için.
Ve sonra ne düşünüyorsun.
Peki dizi bizim partimize düşecek.
AI topluluğundaki seri ve benzerlerini, giriş topluluğumuzdaki 10 geçiş serisi için
eğitecek olan partiler var.
Peki kümülatif bir ödül almak için nereye gideceğiz, silisin içinde serinin
ilk geçiş devrine ve serinin son geçişinin durumuna ihtiyacımız olduğunu göreceksiniz.
Şu anda yapmamız gereken şey, bu girdi durumlarını almak ve bu yüzden bu iki durumu,
girdi çağrısı yapacak olan canlı bir hale getireceğiz ve bu iki girdi durumunu alacağız.
Dizinin ve pilot olmayan diziye koyacağımız son dizinin ilk ama endişelenmemesi bununla kalmayacak ve
Ampira elbette bunu korkunç bir hale dönüştürüyor ancak ilk adım
bu iki şeyi koymaktır sonuncusu birincisi bir imparatorluğa dönüştürür.
girişi ekledik ve sonra onu bir geçiş için alıp, ilk geçişin serisinin
sıfır dizini sıfır alıp sonra bizlere durumun özelliklerini alarak erişebiliriz, çünkü deneyim tekrarlama
dosyamızda geçişin her biri için özel bir yapı buldunuz ve yapıyı biliyorsunuz.
Ve burada bu dizide, dizinin ilk geçişinin girdi aşamasındaki ve diziyle
olan ilk
Her geçiş bir devletten bir eylem kelimesinden oluşur.
Fakat o zaman, şu anda kullanılmasına izin verilen bu özel yapının yapılacağı
son unsur, geçişi tanımladığımız ve tecrübeyi tekrar edinmemizden kaynaklanıyor.
Pekâlâ, bu yüzden ilk geçişin giriş durumunu elde edelim ve şimdi
serinin son geçiş aşamasını da alalım.
erişebildiğimiz dizinin son dizini tarafından eklendiğinde olduğu gibi son girdi durumunu alacağını söylemek gerekir serinin geçiş.
Bunu yapmak için bunu sadece kopyalayıp yapıştırıp şu an olduğu gibi, bu hünerle
eksi bir seriden eksi bir tanesine
Pekâlâ, bu iki unsuru köşeli ayraçların içine koymamız gerekir çünkü hakem tarafından bir
işlevi beklemekte ve ardından bunu meşale değişkeninde meşale cevabına dönüştürmek için
önemli bir şey yapmamız gerekiyor.
Bir meşale tansörünün tanım gereği tek bir tip içeren özel bir dizinin olduğunu unutmayın.
Bu yüzden tek bir türe sahip olmaya zorlamamız lazım.
türünü seçeceğiz ve böylece bu parametreyi buraya ekleyerek D türü eşittir ve P float.
Ve her zamanki gibi, float
Böylece bunu alabilirsin ve şimdi bunu meşale ses tonusunda bir meşale tensörüne dönüştürebiliriz.
O halde bunu bunu yapalım.
İlk önce bunu bir meşale algılayıcısına dönüştürelim.
Unutmayın ki, gittikçe asal olmamış olan torch'u kullanabiliriz ve iki girdi durumunun tüm dizisini bu meşale dansçısının
içine koyuyoruz, bu meşale ile, iki giriş durumunun bu dizilerini bir meşale haline getirecek mükemmel
bir işlevle onlardan alıyorlar. sensörü.
değişken sınıfı kullanarak çok iyi meşale haline getirdik, böylece girdi değerli sınıfın bir nesnesi olacaktı.
Ve şimdi bu meşaleyi
Aslında bu değişken sınıfın tüm bunları bir argüman olarak algıladığını ve bu nesneyi
yarattığını anladığınız gibi.
Pekala şimdi iyi olmalıyız.
İhtiyacımız olan iki girdimiz var.
Bu, ilk geçişin giriş durumudur ve daha sonra girişin son geçiş olduğunu söyler.
Ve ţimdi ţimdi girdilerimiz var Elimizdeki AI beyninin çýkýţ sinyalini alabileceđimiz ne elde
edebiliriz.
Çıktıklarını söyleyeceğimize dair tahmin budur.
Çıkış sinyali budur.
Ve çıktıları almak için.
Şimdi çok kolay, çünkü konvolüsyonel sinir ağımız olan bir beyne zaten sahip
olduk.
Ve böylece sadece beyin CNN'imizi girdilere uygulayabilir ve bu da çıktı olan tahmini basit
bir şekilde geri getirecektir.
Ve şimdi bir sonraki adıma geçmeye hazırız.
Ve bir sonraki adım, isterseniz bu topluluğu hesaplamaya başlamaktır.
Şimdi, Sarsour algoritmasıyla aynı şeyi yapacağız ya da ona seslenelim ve
öğrenmeye adım atalım.
Kümülatif ödül olacak kümülatif ödül değişkenini tanıtacağız, şimdi burada görebileceğiniz topluluk ödülünü
kazanmak için yapmamız gerekenleri görebildiğiniz şekilde gazeteye geri
dönelim.
ve çalışması, serinin son aşamasına ulaşsaydık, ya da en son aşamaya gelmediysek, bu
topluluğa sıfır ekleyerek onu güncellememiz gerekir. süren tüm statikler için olan seri.
10 aşamalı adımın her bir adımı
Bu sadece bir bonanza.
Piscean'a geri dönelim.
Dolayısıyla, gördüğümüz gibi bu topluluk ödülü, son duruma ulaştıysak sıfıra sıfır noktasına eşit olacak
ve dizin eksi 1 serisi bu durumu bu şekilde yazabiliriz.
Serinin son geçişi budur.
ara geçiş yapısını bildiğiniz bir özelliktir çünkü bu aslında faul açılış
yapılarından kaynaklanmaktadır ve aslında yapılan açık Allergan web sitesine gidersek burada hazırladım.
O zaman bunu tamamladık çünkü bitti aslında deneyimimizde oynadığımız tecrübeyle oynadığımız
bu
Bu iyi veya vizir.
Ve eğer belgelere gidersek, o zaman eğer biz.
Öğreticisiniz, gerçekten ona bir göz atmanızı öneririm.
Knowsley'nin gördüğünüz gözlemlerin bir gözlem ile tanımlandığını görebileceğiniz
bir ortam çalıştırabilirsiniz.
Bunun burada yapılması ve bu yapılmasının tam olarak bir geçişin veya bir adımın bittiği anlamına gelir.
Ve işi burada yaptığımız IF durumumuz için kullanacağız.
Bu sebeple iSeries çılgınlığı, serinin son geçişi bitti demektir.
Ve bu serinin son geçişi tamamlanırsa bu birikimli ödül sıfıra eşit olacak.
Aksi takdirde, son geçişe ulaşamadıysak, birikimli ödül, anahtar
değerlerin maksimumu dedikçe güncellenecektir.
Ve buradaki çıktı, beyindeki sinir ağı tahminleri olan çıktısı olduğu için.
Ve bildiğiniz gibi, sinir ağı tahminleri tahmin edilen değerlerdir. Bu çıktı
değerler içerir.
Ve q değerlerinin maksimum değerini almalıyız çünkü bu yapı iki anahtar değer ve bir sonraki
değer içerdiğinden önce bu indeksi ilk önce eklemeliyiz.
Ve sonra verilere erişmek için veri eklemeliyiz.
Bildiğiniz bu çıktı yapısı, bir meşale seslendirme özel yapısına sahiptir.
Böylece, temel değerlerimizi elde ederiz ve daha sonra ipucu değerlerimizin maksimumunu almak
istiyoruz ve bu yüzden Max'ı ekliyoruz.
Ve şimdi, tam olarak kastedilen şeyleri terminalde olmayan Devletler için küp değerlerinin maksimumu olarak
kağıtta istediğimiz gibi elde ederiz.
Ve şimdi ne yapacağız ikinci kat kat yapmak.
Bu serinin 10 basamağı için, kümülatifin, ilk önce Gamma ile çarpılarak elde ettiğimiz çürüme parametresinin
çarpımı ile bu şekilde gittiğini ve daha sonra B kelimesini ekleyeceğini güncelleyeceğiz.
O halde bunu yapalım.
Aslında sağdan başlayacaklarını fark edebileceğiniz gibi, sözde kodla aynı şekilde
yapacağız.
Bu nedenle, ilk adımdan başlamıyor ve son adımla başladıkları son sınava giriyorlar.
T-eksi 1, başlamak için ilk adım.
İşte tam olarak bunu yapacağız ve bunun nedeni, kümülatif
ödüllerin eşitliklerine eşit olması veya sıfır artı gama veya 1 artı gama kare veya iki artı eklenen artı gama
ile eşit olan 10 veya 10 gücüne ulaşmak istediğidir 1 veya 2 olan 10'dur, serinin her adımında elde
edilen sözcüktür.
Bu yüzden, ikinci tam döngüye başlamadan önce hızlı bir mola verelim ve sizi sonraki öğreticide göreceğim.
O zamana kadar AI zevk.