Yapay zeka dersine tekrar hoş geldiniz.
Günümüzün öğreticisinde, Uygunluk İzi veya Adım adında oldukça karmaşık bir dersi örtbas
edeceğiz.
Q öğrenme ve bu, şeylerin pratik tarafında uygulayacağım bir şeydir, bu
nedenle merkezden dışarı çıkmamız oldukça karmaşık bir konudur; bu nedenle, bizi hızlandırmamız için
çok ilginç bir yaklaşım buldum. arkasındaki sezgiyi.
Dolayısıyla aklımda farklı bir yaklaşımdan daha basit bir bakış açısı kazandırmak ve bunun nasıl gittiğini görmekten
daha çok hoşlanıyorum.
Bu yüzden sana başlamak için bir örnek vermek istiyorum.
Bu el kitabında size bir örnek vereceğim ve uygunluğun gücünü göstereceğim.
Ve bize şeylerin ardındaki sezgileri verin.
Ve daha sonra uygunluk özelliklerini araştırmak isterseniz, size bu konuda okuyabileceğin en
iyi yeri vereceğim.
Sana bir kitaba, ancak aksi takdirde bir referans vermeliyim.
Dolayısıyla, bunun farklı olmasına rağmen, sezgiyi incelemekten ziyade öncelikle içine girdiğimizden
dolayı bir örnek inceleyeceğiz ve konuştuktan sonra sezgisellik belli görünüyor.
Ve bu da benim umudum.
O halde bir göz atalım.
Görelim bakalım bunu yapabilir miyiz.
Yani burada iki ajanımız var ve aynı ortamda geziniyorlar ve biz bu iki ajanın nasıl
çalıştığını göreceğiz.
Birincisi uygunluk izimizle çalışacağız.
İkincisi, okunaksız bir şekilde izleyeceğiz ve umarım ikinci birincisinin neden birinci olanınkinden
çok daha güçlü olacağını göreceğiz.
O halde bir göz atalım.
Önce bu ajana bakacağız.
Ve onun işleyiş şekli şu ana kadar derin dairesel şeyleri tartıştığımız kesin yol.
Böylece temsilci bir adım atacak veya hareket edecek yeni bir devletin içine bir hareket hareketi alacaksınız.
Belirli bir ödül almak iyi, bu aracıyı çalıştıran ya da bu ajanın
aklında çalışan sinir ağını algoritma güncellemesi yoluyla ya da aracılığıyla koyacaktır.
Bu temelde o andan itibaren nasıl öğrenildiğini yeni bir adım atmaya gidiyor.
ve bu da güncellemeye kadar gidip gelen ödülleri alacak ve bunu yapmaya devam edecek.
Dolayısıyla bu yeni devlet, sinir ağının yapması gerektiğini söylediği yeni bir harekete geçecek
Açıkçası, bu oldukça iyi bir iş çıkarıyor ve önceki pratik Squire'dan DRO'ya
kadar gördüğümüz gibi burada oldukça iyi sonuçlar alacağız ama şimdi yeni bir özellik ekleyeceğiz.
Şimdi bu ajan iki numaralı adam burada aynı ortamda gezinecek.
Ağaçların okunabilirliğini ne kullanacak.
Ve bunun anlamı da buydu.
atacak, beş forseps dört adım atacak ve daha sonra
bu adımları attıktan sonra o adımlardan aldığı toplam ödülü hesaplayacak ve o da ağına bağla.
Ne yapacağına göre, bu davada alacağı adımları
Bunu, karar verme sürecini yöneten sinir ağı vasıtasıyla çözecek ve
sinir ağı bundan öğrenecektir.
Peki, Hangisi.
Doğrudan hangisinin daha güçlü olduğunu düşünüyorsun?
Her seferinde bir adım öteye geçen ve kör veya karanlıkta dalmaktan hoşlanıyormuş gibi bir adam var
ve bir adım atacağım diye bir adım atacağım.
Bir adım atın ne olduğunu görün.
Adım atın.
Ne oluyor.
Üstteki adam ya da sadece cesurca Marsha'yı alan dört adımla atılan adım ve daha sonra
bunların tamamen iyi adımlar olup olmadığına karar veriyor ve burada niçin görebiliyorsunuz ya da
neden muhtemelen ikinci adam daha iyi ya da daha güçlüdür, çünkü
ikinci adam aslında ne bittiğini biliyor.
İlk adım, bu adımın iyi olup olmadığını değerlendirirken yalnızca aldığı ödüle
baktığı anlamına gelir.
Ve bu yüzden yalnızca çevre tarafından verilen ödül tarafından yönlendirilir.
Aynı şey, burada sadece bu ortamın kendisine verdiği ödülün rehberliğinde.
Bu yüzden onun yaptığı tek pusula bu ödülü alıyor, ödülü ödüllendiriyor.
Oysa burada, değerlendirilebilecek adımları attıktan sonra değerlendirebilir.
Tamam, bu yüzden bitiş çizgisine ulaştım.
Bu yüzden adımların bu kombinasyonu iyiydi.
Hepsi iyiydi.
Veya hayır, hayır firepit ya da Ohno I'de bitirdim.
Yaptım ve arabam bitiş çizgisine ulaşamadıysa veya kum duvarı geçtiğimde ya da doom
falan oyunu kaybettim.
Ve sonra bütün bu adımların kombinasyonunun kötü olduğuna karar verir.
Ve bu nedenle, daha önce olan bu adımlar için daha fazla bilgi var.
Çok sezgisel yaklaşımlar gibi daha fazla anlayışa sahip.
Yine bu burada canlandırdığımızdan daha karmaşık bir konudur.
Ancak sezgisel bir şekilde, örneğin bu adımı atmanız halinde, bu adımı yalnızca elde etmeniz için bir bilgiye sahiptir;
burada sadece bu ödülün geri dönüşünden bilgi alırsınız.
Ve bu adım için bu adım aynı adımdır.
Bilgiye ulaşmanın daha fazla bilgiye sahip olduğu bilgisi var.
Pekala, dört adımdan beş adım sonra ne çıktı peki.
Evet, öyleyse işe yarıyor ve uygunluk denmesi neden deniyor çünkü bu süreçte
sadece neler olup bittiğinin bilgisayar ödülüne bakmakla kalmıyor, ardından da birikimli kayıp
ve daha sonra hepsi uygun.
Ama aslında özürlülük güvenine denir.
bir ceza alırsak, olumsuz bir ödül alırsak, bu adımlardan hangisinin o cezaya uygun olduğu muhtemel.
Tamam yazan bir algoritmada saklanan bir iz var, bu yüzden eğer
Bu nedenle, yalnızca bu bütün desenin veya adımların okul kombinasyonunun ne
olduğunu biliyoruz değil, aynı zamanda, herkesi alırsak güncelleneceğimiz adımların uygunluğunu da izleriz.
Örneğin, olumsuz bir ödül olarak, bunun bize eninde sonunda sahip
olduğumuz şeylerden en sorumlu olan bir adım olduğunu ya da tekrar olumlu bir ödül
olduğunu belirten uygunluk izimiz olursa, algoritmanın izlemenize yardımcı olabileceğini biliyoruz bu uygunluk algoritması aynı zamanda hangi adımın
veya hangi eylemin olması gerektiğini takip etmemize yardımcı olur ve elde ettiğimiz bu ödüle dayalı olarak güncellenmeye uygun bir
haktır.
Ve bu yüzden uygunluk izi deniyor.
Ve bu, uygunluğun arkasındaki temel sezondur ve bu yeteneklerin bu kadar güçlü olabilmesine
rağmen, bu ajanların bu iki örneği bunu oldukça açık ya da oldukça sezgisel yapmaktadır.
Sözlü olarak, topikal uygunluk izlerine veya adım adım öğrenmeye devam etmek isterseniz, bulabileceğiniz
harika bir şaşırtıcı kitabın takviye öğrenimi olarak adlandırılması halinde.
Bir giriş Richard Sutton Andrew Barto 1998 yazısıdır.
Bence ikinci bir baskı ya da çok kritik mesele oluşturma aşamasındalar.
veya en çok başvurulan, uygulama tecrübesi üzerine kitaptır, bu da saçma sayıda alıntı yapmaktadır.
Ancak bu, en yaygın veya en popüler
Yanılmıyorsam on binlerce gibi düşünüyorum.
Ayrıca bunun için gereken bölüm Bölüm 7'dir.
Bu nedenle, uygunluk seçimlerine bakmak için Bölüm 7 ile ilgili bir bölüm var.
Bu konuyu okuyabilir ve çok detaylý giriþim yapar.
İleri Geçme uygunluk izleri ve aradaki Monte-Carlo yöntemlerine sahip olduğunuz yelpazenin bir taraftan ve diğer ucundaki
integral zamansal farkın, iz sürüldüğü veya aradaki zamansal farklılıklardan Monte-Carlo yöntemlerine geçmek
için bağlandığınız uygun izlerin nasıl bir performans sergilediğini.
Çok ilginç bir sürü çok sezgisel açıklamalar takdir resimleri gerçekten çok okumak.
Dolayısıyla yapay zeka ve güçlendirme öğrenimi hakkında bu kitaptan öğreneceğiniz çok şey
var, ancak özellikle uygunluk izleri, uygunluk izleri için bu kitap için çok iyi bir
yer gibi.
Ve bugün ikinci referans, size derinlemesine öğrenmeyi veya daha derin bir takviye öğrenme için senkron
yöntemler üzerine olan Google derin akıl araştırma makalesinin pratik denemelerinde size göstereceğim bir
şeydir.
gören tek kağıt olan kağıt bu skorda daha da tartışacağımız kağıt.
Evet, A-3
Ona daha yakınlaşıyoruz.
Ve bunu söyleyebildiğiniz kadarıyla heyecanlıyız, bu yüzden bu belgede uygunluk izlerini
nasıl uyguladıklarına biraz bakacağız, bu yüzden bu konunun pratik yönü için daha
çok kullanacağız.
Umarım günümüz eğitiminden hoşlanıyordunuz ve uygunluk izleriyle biraz daha rahat olduğunuzu biliyordum ve bir
dahaki sefere sizi görmek için sabırsızlanıyorum.
O zamana kadar tadını çıkarın a.