Merhaba ve bu Python öğreticisine hoş geldiniz.
Tamam.
Şimdi uyguladığımız bir sonraki işleve yapay zekanın içinde olan
derin sinir ağını eğiteceğiz.
Böylece temel olarak propaganda ve geri yayın için tüm süreci yapacağız.
Bu yüzden çıktısını alacağız.
Hedefi alacağız.
çıktısını karşılaştıracağız, sonra bu son hatayı yeni ağa geri yayacağız.
Son hatayı hesaplamak için hedefin
Ve önerilen degradeyi kullanarak, son hataya ne kadar katkıda bulunduklarına göre beklemek
zorunda kalacaklar.
Bütün bunları derin deniz piyadelerinden gelenlerin için yapalım.
Bu iyi şeyler olacak, ancak diğerleri için endişelenmeyin bunu tekrar genişleteceğim.
Bu yüzden, bu yeni fonksiyon öğrenme ve öğrenme fonksiyonu birkaç argüman almaya çağıracağız.
Elbette ki sınıfın derecesinin nesnesinden bahsedecek olan ilk benlik.
alacağız, daha sonra partimize, sonra bizim ödülümüze ve nihayet Arbat eyleme.
Sonra toplu halimizi şu andaki durum için
Öyleyse neden bunu alıyoruz.
Muhtemelen bu serinin ne olduğunu fark ettiniz.
Tabii ki bir geçiş bazında olan pazar karar sürecinin bir geçişidir.
Öğrendin mi.
Ve neden hepsini bir yığın halinde alıyoruz.
Bunun nedeni, biliyorsun, geçişleri bir dizi en üstteki veya şimdiki eyalet sonraki durum
güncel ödül ve güncel eyleme göre düşünmediğimizi hatırlıyorum.
Basit işlev sayesinde bazı basit toplu işler hazırladık.
Ve şimdi geçişlerimiz bu devlet için ilk toplu haldedir.
Bir sonraki toplama ödülü için bir toplu iş ve eylem için bir toplu iş için ikinci bir toplu iş.
Şimdi geçiş biçimimiz budur ve burada, ilk boyuta göre
yaptığımız bu birleştirme sayesinde zaman açısından iyi hizalanmıştır.
İşte bu noktada, şu anda önümüzdeki günlerde her bir devlet için bir parti topluluğunu bu
eylemde izlemekteyiz ve bu deneyimi tekrarlama hünerini kullandığımız için hepsini yapıyoruz.
Yani bu derin sinir ağımız bir şeyler öğrenebilir.
Yalnızca kendiliğinden bir geçişi olsaydı, anında öğrenmenin ne olacağını hatırlayın.
Veya eğer çok kısa bir hafıza öğrenmek istiyorsanız ve bu nedenle köstebek bir şey öğrenmez.
Bu yüzden, bu toplulukları geçişlerimiz haline gelen hafızadan almamız ve sonuç olarak, giriş devletlerinin her bir
devleti için farklı çıktılar elde edeceğiz ve bunu devletler ve sonraki Devletler için
yapacağız, çünkü her ikisine de ihtiyacımız olacak kaybı hesaplamak için.
Yakında, öğrenme algoritmasının kalbinde yer alan denge denklemini hatırlatacağım.
Şimdi işe gidelim ve önce kutu devletinin çıktılarını alalım.
çağıracağım ve elbette ki kendi kendine konuşmamızın hepsi o kadar kendi başlangıcınız demeyeceğim.
Bu yüzden, ilk uygun çıktıları
Hayır, çünkü model çıktılarımızı devletin giriş durumlarından elde etmek istiyoruz.
Ve modelimiz aslında bir grup giriş durumu bekliyor.
O halde hepsini girmek için şu anda bu devleti tamamen girebiliriz.
Tam olarak, işkenceyle birlikte ağa giren devletleri, mükemmel olan parti
için bu belirsiz boyutla başlattık.
Artık hepsinin çıktılarını alıyoruz.
bildiğimiz olası tüm eylemlerin çıktılarını alırsak başka bir teknik hüner var, ancak bu bizim istediğimiz değil.
Ancak, o model durumunu iyi satarsak, 0 1 ve 2
Biz sadece seçilen eylemlerle ilgileniyoruz.
Şebeke tarafından her zaman oynamaya karar verilen eylemler ve aslında bunlarla
ilgilenmek için yapılması gereken eylemler bu oyuncuyu bir araya getirdiğimiz toplama işlevini kullanmamız
gerektiği için seçilmiş olan eylemi istiyoruz biz de bu eylemi buna ekliyoruz.
Ve bu bölümde her seferinde devletin giriş durumlarının her biri için en iyi
hareketi yapacağız.
oynayan eylemi istemiyoruz ve bunu bu eylemden biriyle toplamakla birlikte alıyoruz.
Seçilen eylemi
Ama sonra dikkatli ol.
Burada devlet bu sahte elmasları ve gres yığını içine girmiş ve bu bölümde yok.
Backstay'ın var, çünkü burada Unsworth kullanıyorduk ama eylemler için herhangi bir kol
sıkma işlemi yapmadık; Bache eyleminin devletin boyutuyla aynı olması için onu buraya eklemeliyiz.
Böylece bir nokta ekleyip sağlığınızı buradan sıkacağız ve aslında sıfır değil, çünkü İman'a sıfır
tepki devlet değil, biri de eylemlerin incelenmesine karşılık gelecektir.
Ve nihayet burada yapmamız gereken son şey, bu sahte partiyi sıkmak zorunda kalmamız.
Bunu neden yapmamız gerekiyor?
Çünkü şimdi sinir ağı dışındayız.
Çıktılarımız var, ancak onları geri istemiyoruz.
Onları istiyoruz.
Ve basit cevap basit vektör.
Sinir ağı, sensörlerin toplu halde olmasını beklediğinden, sinir ağında
çalışırken toplu halde çıktı bir vektör.
çıktılarımız var ve derin öğrenmenin bir sonraki balun denkleminde bunları yığın halinde bulmamıza gerek kalmayacak.
Ama şimdi bizim
Bu yüzden burada öldürüyorum ve çıktılarımın basit biçimini geri almak için inanç boyutunu öldürüyorum.
Bu yüzden sadece burada Dot ekliyorum ve sonra sıkacağım ve o zamandan beri eylemin geri kalanına karşılık gelen
sahte laminasyonu öldürmek istiyorum.
Peki, zaman aralığı motorunda dizin bir tane olduğundan burada bir tane ekliyorum.
Tamam.
Ve şimdi biz gidiyoruz bizim çıktılarımız var.
TAMAM.
Yerel değişken çıktısının atandığı ama asla kullanılmadığı konusunda küçük bir uyarı var.
Bu iyi.
Çok hızlı bir şekilde kullanacağız.
Sonuçlarımız çıktı.
Ve şimdi bir sonraki çıkışlarımızı almak istiyoruz Şu an için neden sonraki çıktılara ihtiyacımız olduğunu düşünüyor olabilirsiniz.
Bunu anlamak için, burada, letak el kitabının bir parçası olan
derin öğrenme algoritmasına geri dönmeliyiz.
İşte tüm yayılım süreci.
Başlangıçta tüm anahtar değerleri başlatıyorduk ve sonra her t'de.
Peki, gidiyoruz, biz de seçkin eylem işlevi ile yaptıklarımız olan, sızarmış Max'le eylemi seçiyoruz.
Daha sonra geçişi açtık ve görebildiğiniz gibi öngörüyü alıyoruz ve hedefi alıyoruz, sonuncusu
da olabiliriz.
Peki neden bir sonraki çıktıya ihtiyacımız var.
Hedef, hedefin Gana'ya bir sonraki çıkışa artı istediğimizden eşit olması ve bundan sonra hedefin
bir sonraki çıktısına ihtiyaç duyduğumuzdan hesaplamasına neden olur.
Önce bunu hesaplayalım.
Bir sonraki güncellemenin çok basit olmasını sağlamak için bir sonraki çıktı, toplu
sonraki durum girdi olarak girildiğinde sinir ağımızın bir sonucu olacak.
Çok basitçe, bizim sinir ağımız olan modelimizi alıyoruz ve bu sefer sinir
ağı girişi, bir sonraki yığın toplanan sonraki devlet olacak.
Fakat şimdi, erken algoritmaya geri dönüp dolaşmadığımızı hatırlayın. Bir sonraki çıkışın, tüm eylemlere göre bir
sonraki durum için q değerlerinin azami olduğunu görebilirsiniz.
Dolayısıyla bir sonraki çıktıyı elde etmek için bu q değerlerinin maksimumunu elde etmemiz gerekiyor ve bu
nedenle burada yapacağım.
Detach, modelin tüm çıktılarını çıkarmanızı sağlar çünkü bu partide birkaç durumumuz var Sonraki
Durumlar, hafızamızın rasgele örneğinden alınan tüm geçişlerdeki tüm sonraki durumların
toplu işidir.
Bu yüzden hepsini ayırma işlevi kullanarak ayırıyorum ve sonra bu iki değerin maksimum değerini
alıyorum.
Ve bu iki değerin maksimumunu Eylem Eylemine göre aldığımızdan,
eyleme göre olduğunu belirtmeliyiz.
Ve bu eylem dizin biriyle temsil edildiğinden.
Bir sonraki bölümü buraya koymalıyız ve sonra işaret değerlerini T artı 1 olarak
kabul ettiğimizi belirtmeliyiz ki bu sonraki aşamadır ve sonraki durum 0 ile temsil edilir, çünkü dizin sıfırı
devletlere karşılık gelir ve bu nedenle burada dizin 0 ile köşeli ayraç eklemeliyiz.
Bu şekilde, dizin biriyle temsil edilen tüm eylemlere göre bir sonraki sıfırın
temsil ettiği sonraki durumların anahtar değerlerinin maksimumunu alıyor ve şimdi sıradaki çıktılarımızı alıyoruz.
Bunlar yeni bir takım.
İşte o zaman uyarı yaptık.
Fakat sorun değil.
Hedefi hesaplamak için şimdi kullanacağız.
Ve bu bilinen fonksiyonun bir sonraki adımı olan hedefin konuşması.
İşte gidiyoruz.
Hedef eşittir.
Şimdi AI AI el kitabımıza geri dönelim.
Hedef, artı gama kere çarpı sonraki çıktı küp değerlerinin ertesi günün maksimumu
olanına eşittir.
Bunu hesaplayabileceğimiz eylemlere göre.
Dolayısıyla, Gamma'nın başlatıldığı bu gama ve benlik kendine eşittir.
Burada bir değişkeni tanıyoruz Virgin Q Bir özne kendine Times'a sonraki çıktıları söylediğimiz gibi artı
biz en iyi istemek istiyoruz istiyoruz musunuz.
Burada toplu işler yapmaktayız, artı istediğiniz toplu iştir ve hedef budur.
Bir sonraki hafıza gamma çarpımının bir örneğinde Artı ödül.
Tamam.
Mükemmel.
Şimdi bizim çıktılarımız var.
Ayrıca hedeflerimize sahibiz ve bu nedenle tahminin hatasını temsil eden kayıp
kaybını hesaplayabiliriz.
Diyelim ki son iki son söz konusu zamansal fark için elbette.
Bu tekrar Q öğreniminin kalbinde ve bu eğitim bize Cunanan'yı daha da geliştiren
salınıma eşit olacak.
Yapay zeka için seçeceğimiz son işlev budur.
Derin yeşil parkurdan gelenlerin için en son tavsiye ettiğim budur.
Coonerty'yi uygulamak istersen peki bunu nasıl alacağız.
Yine F tarafından temsil edilen işlevsel modülden bir işlev alacağız ve
bu nedenle burada fonksiyonel modül f ördeklerimizi kullanacağız ve Hubble, Smoots L-1'in
bunu sevdiği fonksiyon sayesinde elde edilebiliyor.
Yani enter tuşuna basarak girin.
Ve bu gerçekten derin öğrenme için tavsiye ettiğim en iyi kayıp fonksiyon.
Gerçekten Culin'i geliştirir.
Ancak bu bir işlev, bu yüzden bazı parantez ekliyorum.
Ve şimdi daha basit bir şey yok.
Girmemiz gereken argümanlar tahminler ve hedeflerdir.
Elbette ki tahminler çıktılardır, çünkü bu sinir ağının çıktısıdır.
Sinir ağı çıktısını hiçbir sinir ağı öngördüğü değildir.
Tahmin budur.
Yani burada ilk argüman çıktılar ve ikinci argüman tabii ki hedef.
Almaya çalıştığımız şey zaten çok iyi hesaplanmış durumda.
Doğrudan hedef girişi yapabiliriz.
Mükemmel.
Şimdi biz sadece biraz çayımız olduğunu söyledik.
Oraya gidiyoruz.
Şimdi uyarı kaybolmalıdır.
Evet.
Mükemmel.
Ve şimdi, son hata sahibiyiz, üreticileri geribesleme hatalarını ağa geri getirebiliriz ve ağırlıkları stokastik
düşüşe inişle güncelleyebiliriz ve tam olarak bir sonraki adımda yapacağımız şey budur.
gibi yapmamız gereken şu ki optimizasyon aracımızı optimize ederek tekrar tanıttığımızı başlattık.
Tabii ki tahmin edebileceğiniz
Aslında Atom sınıfının bir nesnesi olan atom optimizeridir ve zaten
modelimizin parametreleri ile donatılmıştır.
Ve zaten 0 öğrenme oranı seçtik. 1'e indirmek için% 1 indirimli optimizerimiz hazır ancak
şimdi mantıksal ve veri ağırlıklarında stokastik ızgarayı gerçekleştirmek için son hatada oynamamız gerekiyor.
Savaşçılarla çalışırken ilk yapmamız gereken şey, döngünün her iterasyonunda yeniden
başlatmaktır.
yeniden başlatılması için iyileştiriciyi bir etkileşimden diğerine diğerine yeniden başlatmalıyız.
Kümedeki kılavuzun alınması ve
Ve her döngü döngüsü.
Peki, sıfır olan aşağıdaki yöntemi kullanacağız.
İşte başlıyoruz.
Sıfır grad, çevrimin her iterasyonunda optimizer'i yeniden başlatır.
O halde parantezi unutmayalım.
Mükemmel.
Ve şimdi yeniden başlatılıyor Optimize edicimiz ile geri yayılım gerçekleştirebiliriz.
Ve bunu nasıl yapacağız.
Peki bizleri yasalara götürüyoruz ve biz onu geri ağa yayacağız ve
geri ağa yayacağız.
Geriye doğru işlevi kullanmamız gerekir ve bu geriye doğru işlevin altındaki altçizgi değişkenlerini
girmek ve doğruya eşitlemek için öneririz.
Bunu yapmanızı öneririm, çünkü bu, geri yayılımı artıracaktır.
Yazılı değişkenlerin doğru olması, bazı hafızayı boşaltmak ve belleği
boşaltmamız gerektiği için, sonuncusu birkaç kez gidip, eğitim performansını kesinlikle artıracaktır.
Son olarak, öğrenilen bu işlevin son adımı, geri yayılımına göre veri ağırlıklarına sahip olmaktır.
Bu, ağırlığın hataya ne kadar katkıda bulunduğuna göre değişir.
Bunu yapmak için yeniden optimizasyonda başlatılan iyileştiricimizi tekrar kullanırız ve adım işlevini kullanarak adım
işlevini ve yalnızca bu kod satırıyla birlikte kullanırız.
Bu, ağırlıkları güncelleyecektir.
Ağırlıkları güncelleyen bu kod satırı.
Hatayı sinir ağı ve bu kod satırı içine alan bu kod satırı, ağırlıkları güncellemek için
optimize ediciyi kullanır ve devam eder.
Tamamen bir öğrenme sinir ağı var bu yüzden tebrikler.
Muhtemelen bu, tüm bu anlaşmazlığın ya da yarının en teknik ve zor kısmıydı.
Fenerimin bazen kolaylıkla zorlanabileceğini ve sıkacağınızı ve sıkacağınızı biliyorum, ancak sonunda size çok
işlevsel bir sinir ağı vereceğim ve bu nedenle kendine özgü bir model ve nihayetinde büyük bir
yapay zeka sözü veriyorum.
Şimdi, AI yeni durumu keşfedince açıkçası güncellenecek güncelleme fonksiyonu olacak sonraki
adıma veya öğretmen ve modele geçelim.
Böylece yeni devletin keşfedeceğini ve ardından ödülü alacağını biliyorsun.
Görüntülenen eyleme bağlı olarak ve bu yeni durum, güncelleme işlevi ile bunu halledecek
ve bunu bir sonraki öğreticide yapacaktır.
O zamana kadar tadını çıkarın.
BEN.