Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Bugün biz zamansal farktan bahsediyoruz.
Şimdi deneme için çok önemlidir, çünkü zamansal fark Q öğrenme algoritmasının kalbi
ve ruhudur.
Aslında şu ana kadar öğrendiğimiz her şey temel öğrenme içinde nasıl bir araya gelir.
O halde bir göz atalım.
Deterministik olmayan soruna karşı nondeterministik arama hakkında konuştuğumuz zamanı hatırla.
Ve hatırlatalım ki, bu durumda ajanın yukarı çıkmak istediği zamanı ve zamanı geldiğinde bunu söylediklerini hatırlayın.
Bu durumda yukarı gitmek istiyor, yüzde 10 şans var, o da daha düşük sol temps ve
şans gidecek ve sağa gidiyor ve yüzde 80 olasılık doğru gidiyor.
Doğruca yukarı çıkın.
Bu rakamlar tabii ki keyfi ve farklı olabilir.
Ve bu bütün konsept farklı ve farklı problemler olabilir, bu nedenle hangi yönde
hareket edeceği konusunda endişelenmenize gerek yok, sadece bu ortamda gerçekleşen
ajanların kontrolü dışındaki bazı raslantılar var.
deterministik örnekte Wii değerlerini hesaplamak çok kolaydır, ancak her zaman kolay değildir.
Ve hatırladığınız gibi olan bu etkendir,
Fakat durumumuzda Belman denklemini kullanarak hesaplayabilirdik ve kesin değerler elde
ettik.
Hatırladığınız gibi, ben de çok dikkatli bir şekilde, deterministik olmayan arama örneği için bu
değerlerin kafamın üstünde olduğunu belirttim.
Onlar bildiğimiz Kalka değildir.
Son kez söylediğimizde, onları hesaplamak zorunda kalmadık, çünkü çok karmaşık.
Ancak bilgisayar bunu yapabilir ve biz sadece oluşturduğumuz değerler olan bu değerlerle birlikteydik.
Ama işi hallettiler.
Konsepti anlamamıza yardımcı oldular.
Şimdi biraz buna döneceğiz ve burada neler olduğunu anlıyorum.
Bu değerleri nondeterministik olmayan örnekte hesaplamak ya da genellikle bu ortamlarda ve bu ortamlarda
konuşan bu ajanların konuşmalarını neden bu kadar zorlaştıracaktır.
Neden o.
Neden bu değerleri hesaplamak o kadar zor olabilir.
İyi düşünürsünüz, çünkü temsilci burada örneğin sağa doğru hareket ettiğinde, bu
yolu her zaman bazen bazen kazanmak için kazanacak bir şans olarak
bu şekilde hareket etmez; bu nedenle bu kuzeydoğu güneybatı diyebiliriz. batıdan gitmek gibi.
Ajan bazen güneye gidebilir ve örneğin buradan biraz kuzeye gidiyor.
Bazen doğuya gidebilir.
Çok üzgünüm.
Yani burada doğuya gitmek yerine kimi zaman güneye gidebilir ve kuzeye gidiyor.
batıya gidebilir ve burada kuzeye gitmek yerine kimi zaman batıya, doğuya ya da batıya gidebilir.
Bazen doğuya veya
Dolayısıyla bu nedenle bu değeri hesaplamak için bu değerin ne olduğunu bilmeniz gerekir, ancak ilginç
olan şey bu değeri hesaplamak için bu değerin ne olduğunu bilmenizdir.
Dolayısıyla burada çok sayıda özyineleme oluyor ve bu nedenle bu değerlerin ne olduğunu tanımlamaya karar
veremezsiniz.
Üstelik bu özyineleme deterministik değildir.
Bazen bu şekilde olur bazen bazen sağ çıkıp bazen kalkmaktan ve bazen
ayrılmaktan çok yokuş yukarı gidiyor.
Yukarı çıkmak istediğinde.
O yukarı çıkacak.
Bu yüzden şansa bağlıdır ve belki de birçok kez ajan bu yoldan geçecek ve yukarı çıkacak
ve siz buradan her zaman yukarı çıkıp devletin değerinin ona gideceğini
düşünecek olursunuz. iyi olur ve aniden o çukura düşer ve bu değer düşecektir.
Ve bu nedenle, bu değerler üzerindeki tüm hesaplamanın bazı rassallığın nasıl olduğunu görebilirsiniz
çünkü hepsi birbirine bağlıdır.
verme sürecinin bir işareti olduğu için ortamdaki bu rastgelelik var.
Üstelik, karar
İşte buranın hepsi bir araya geliyor ve burada aracıya bu
değerleri hesaplamasına izin verecek zamansal fark kavramını sunacağız.
Ve burada değerlerle uğraşıyorduk.
Ve o zamandan beri zaten Q değerleri üzerine hareket ettik, o yüzden çalışacağız.
Çok büyük değerlere bakacağız.
Hatırladığım kadarıyla, bu q değerleri için Belman denklemimizdir.
elde ettiğiniz ödüle eşit olarak artı mümkün olan tüm olasılıkların toplamını elde edersiniz .
Yani AQ değeri veya bir eylem gerçekleştirme değeri A durumu içinde bir eylem
gerçekleştirdikten hemen sonra bu eylemleri gerçekleştirdikten sonra
Dolayısıyla devletin beklediği değeri elde edersiniz.
Hatırladığınız gibi, Beldon denklemi için bir formül vardı ve şimdi sadece basitlik açısından, onu
eski moda bir şekilde tekrar yazacağız ve sekter hakkında bilgi sahibi olmadan önce bellmen
denkleminden bahsettiğimiz şekilde yeniden yazacağız.
Unutmayın bu, deterministik bir arama örneği anlamında Belman denklemimizdir, çünkü burada, tüm olasılıklarda
aynı olana sahip olmadığınız beklenen değere sahip değilsiniz.
Bunu sanki sanki sonunda hangi devlete son vereceğinizin saptanmış olduğuna karar verdiniz ve
o zaman bir devlette Max'i söylüyorsunuz.
Tekrar yazmamızın tek nedeni, yazmanın sadece daha kolay olması ve formülle birlikte
düşmesi daha kolay olacak.
Bu yüzden bu çubuğun bu kısmını değiştirdiğimizi hatırlayacağız.
Ve ayrıca bu gösterimi bir çok edebiyatta bulacaksınız, bu nedenle bunları okuyorsanız diğer
kaynaklarla birlikte takip etmeniz daha kolay olacaktır.
anlatım yerine, olasılıkçı yaklaşım budur, bunu çalıştırmamız ve neler olduğunu anlamamız daha kolaydır.
Ancak şunu unutmayın ki, aslında bu
Denklemlere bakmaktan çok hoşlanıyorum, böylece çok karmaşık değil, ama bir
daha hatırladıklarım aslında burada bu olasılıkçı yaklaşım.
Ve bu yüzden Tom Silis'in neler döndüğüne bir göz attığımızı biliyoruz.
İşte labrumuzdaki boş durumumuz, herhangi bir q-değerine sahip değiliz, görebilir miyiz ya da ne zaman yapalım, şimdilik
boş bırakalım sadece devletlerden birine ya da hücrelerden birine bakalım.
Bu özellikle.
Ve burada yukarı çıkma eylemi için cevaplar var.
Hesapladığımız q değeri var.
Dolayısıyla, bizim q değerlerimizin olmamasına karşın yaptığımız değerlere sahip değiliz.
Ancak biz sadece bir şey göstermiyoruz.
Basitlik uğruna sadece boş veriyoruz.
Fakat yaşımızı bir süre dolaştıracağız ve varsayımsal olarak bir şekilde bu belirli
hücre ve değerlerden bu devletten yükselen ya da Norf olan bu küp değerini hesapladığını söyleyelim diyelim.
Q S ve A ve şimdi sahip olduğumuz şey.
Yani o şu an mavi oklarıyla duruyor ve ajan bu hücrede oturuyor.
Ve şimdi nereye gideceğini seçme ihtiyacı duyuyor.
Ve bu eylemin değerinin kuzeye doğru gittiğini biliyor ve bu, şimdiye kadar söylediklerim "Senay" ve "Senay" dır ve
bunun nedeni, gerçekte almadığı zamandan beri olmasıdır, çünkü henüz
harekete geçmedi, o halde hücrede ve Harekete geçmeden önce burada değer q ve SNH ve şimdi de harekete
geçti.
Diyelim ki karar en iyi olanı.
Harekete geçer ve hücrenin üstüne gider.
eylemi gerçekleştirmek için ödülün değeri artı gama çarpı bu yeni durumun azami olarak asal.
Peki şimdi olan şey o zaman peşpeşe girdikten sonra bu değerin
ne olduğunu ölçebiliriz o zaman bu değeri hesaplayalım bu
Ve böylece olası tüm eylemler ve aspirin maksimum.
Ve burada sahip olduğumuz şey, bu eylemin önündeki değerdir.
Daha sonra bu metriği daha sonra hesapladık.
Ancak, önceki dört aydan hatırladığınız gibi, hesapladığımız önceki formülden çok hızlı bir şekilde geri dönersek, gerçekten
Q'nın değeri olan değer olur. a. a hesaplanır.
Dolayısıyla bu Arite kısmı ayrı ayrı hesaplandık ama harekete geçtikten sonra.
Böylece bir daha önce bir S'nin bir Q'unu ve bir yinelemelerle hesapladığımız bir şeyi Preuss'tan önce söylemiştik
Preuss bir şeydir.
Bu yüzden hafızamızda saklanan bir değer.
Tıpkı, bildiğimiz bir sayı gibi, eylem gerçekleştirildikten sonra, ajanın gerçekten ne
ödül aldığını neye ödüllendirdiğini bileceğiz.
Ve bu yeni değeri hesaplayabiliriz.
Yani özünde, bu değeri tekrar hesaplıyoruz, ancak şimdi yeni bilgilerle yeni
bilgiler elimizdeki ödül.
Artı kaldığımızda ne kaldığımız ve bu belirli veri için bu yeni değerin
ne olduğu bu eyalette maksimum ne oldu.
O halde o eyaletin varlığının değeri nedir?
Temelde Cure Vanessa-Mae ama yeni bilgiler verildi ve şimdi zamansal fark, bu ikisinin
arasındaki bu iki farkın a ve s çocuğu olarak tanımlandı.
İşte burada ilk unsur, Terra dışı değeriniz.
Yani Esson'ın Q gibi bir kısmı daha sonra hesaplanıyor.
Ve hafızanızda sakladığınız daha önceki quvenzhanÃŠA.
Ve soru da onlar farklı olmasıdır.
Yani ideal olarak aynı olmalılar.
İdeal olarak bu, bununla aynı olmalıdır; çünkü bu hesaplamak için kullanılan formül budur.
Ancak sorun şu ki biz Kalka bu bizim deneyimlerimizden sadece birkaç kere labirentten
geçerek elde ettiğimiz bir şey var.
Bu yüzden şimdiye kadar yaptığımız bir şey.
Şu andaki yinelemeyle ilgili değil.
uzun zaman önce geldiğimiz ancak önceki iterasyonlarımızdan birinde labirentten geçtiğimiz bir şey.
Onun daha önce
Halbuki bu şu anda hesapladığımız bir şeydir ve aynı
olacağına dair bir garanti yok ya da labirentte var olan rasgelelik nedeniyle hesaplanabildi ve bazı
CRN rastgele olaylar tetiklendiğini gördü ve bu farklı rasgele olaylar çağrılabilir oluyor
tetiklendi.
Ve şimdi, kahramanlarımızın hepsini oraya hareket ettirelim.
Peki bunu nasıl kullanacağız.
Soru hiç sorun değil, bu zamansal farkımız var.
Bunu nasıl kullanacağız
Ve neden zamansal fark deniyor.
Bunun nedeni zamansal farklılık olarak adlandırılır çünkü temel olarak S ve
A'nın Q'sını hesapladığınız şeyin bu eylemin Q değerini hesaplarsınız.
Calcott burada ve sen burada hesap yapıyorsun.
Fakat fark zaman.
Bu S'nin Q'sı ve daha önce bunlar S ve A'nın Yo Q'su.
Şimdi yeni tedaviniz doğuştan ve sorunun farkı var.
Aralarında zamanla bir kayma oldu mu?
Ve zamanında bir kayma olsa bile, bunu avantajımıza nasıl kullanabiliriz.
Yapabileceğimiz bir şey, Q'larımızı iyi bildiğinizi söyleyebiliriz. a. değil.
Bu yeni değer eskisi gibi değil, böylece yaşlılardan kurtulacağız ya da yaşlıları unutacağız ve sadece
bunun hepsini yeni bir değer olarak kullanacağız.
Fakat bu akıllıca olmaz.
Ve bunun sebebi, çevremizdeki rastgele olayların bazen meydana gelebileceğidir.
Peki ya eski QSA'lerimiz? a. a sürekli olarak yüzde 80 gibi bir şey oluyordu.
Ve sonra yüzde 80 oranında olanların temsil ettiği gibi temsil edildi.
Ve sonra bu yenisi rasgelelik yüzünden oldu.
Bu durumda, durumun büyük bölümünden sorumlu olanı atacağız ve onu zamanın yalnızca
yüzde 10 veya 20'sinde olan bir şeyle değiştireceğiz.
Bu gitmek için en iyi yaklaşım olmaz ve bu yüzden tam da Opu değerlerini
tamamen değiştirmek istemiyoruz.
Onları adım adım biraz değiştirmek gibi bir şeyler kullanmak istiyoruz.
şekilde kullanacağız, böylece şunu söyleyeceğiz: İşte SNH'nin ipucunu alacağımız bir formül.
İşte bu yüzden zamansal farkı belirli bir
Ve biz böyle bir şekilde güncelleyeceğiz.
Senay'in tedavi öncesi değerini alacağız ve zamansal farkın beş katını
da ekleyeceğiz.
Böylece Alfa doğru öğreniyor olacak.
Bu, tanıttığımız yeni bir parametredir.
Algoritma öğrenimi ne kadar çabuk olur.
olarak bu farkı alıyoruz ve ne olursa olsun önceki KJo yılanımıza ekliyoruz.
Temel
Şimdi bu formül muhtemelen anlam ifade etmiyor ya da bakmak gibi bir şey mantıklı değil çünkü
Covisint'i buraya getirip bize bir A verin.
Aynı şey, muhtemelen birbirlerini reddetmeli ama bunu biraz farklı bir şekilde yeniden yazmak
zorunda kaldık.
Bu yüzden sana tekrar göstereceğim, böylece bu formüllere biraz zaman ayıracağım.
Yani burada qt eksi bir önceki yıllar.
Q T eksi 1 önceki yıllar.
Q T Yeni burada da daire halinde bir daire olmalı ama boş verin alfa zamansal
fark edin.
O halde siz mevcut zamansal fark.
Demek istediğimizi görebilirsiniz.
Tamam, elimizdeki durumu alalım.
Q, tüm önceki Q artı Times Alfa bulduğumuz zamansal fark ne olursa olsun eşit olacak.
Bu formül, küp öğrenme algoritmasının kalbi ve ruhudur.
Küpün bu şekilde veya güncellendiğini.
Ve şimdiden, q değerlerinin ne olduğu ve bu şeyin ne olduğunu
öğrendik.
Ve şimdi tek görmek istediğimiz, daha önce bir Q değerine sahip olduğunuz. Evet, bu iyi.
Ve sonra gerçekleşebilecek olan şey, aracı aksiyon aldığında gerçekte ne zaman eyleme geçtiğinizde
ne zaman girerseniz, bir ödül alacağını ve bir devlette kalacağını bileceksiniz.
Ve buna dayanarak Aha'yı hesaplayabilir.
Tamam, yaptığım hamlemin Q değeri ne olmalı ne oldu peki.
Ve şimdi denklemin bu kısmı bu.
Eski Q değerini çıkarmak size zamanla ilgili bir farklılık kazandıracak ve şimdi bir Alpher zaman örneği farkı
almanız gerekiyor ve bu şekilde ayarlanıyor.
Sana sahip olduğum anlamına geliyor.
Sadece gitmeyi düşünüyorsun ve şimdi bunu bitirmek için.
Bu, neyin olup bittiğini anlamak için ama sadece işleri daha da açıklığa kavuşturmak ya da
belki de işleri daha da karıştırmak için yeterli olduğu bir durumdur.
Bu zamansal farkı ya da bu basit farkı almak için ne yapmamız gerekiyor ya da onu bu formatta
takmanın bir yolu.
Bu yüzden bütün bu kısımları alıp bu formülün içine takacağız ve büyük bir denklemle sonuçlanacağız.
İşte başlıyoruz.
Denklemimiz var.
Dolayısıyla, zamansal fark tamamen yazılmış olan tam denklem budur.
Ve bunu yazdımın nedeni de, bunu ilk okuduğunuzda
diğer literatürde bulacaksınız.
Ve ikincisi, bazı şeyleri biraz daha karmaşık hale getiren formüllerin daha uzun sürdüğü halde bir şeyler de
biraz daha net hale getirmesi.
Mesela, burada Alfa'nın oynadığı rolü görebilirsiniz.
Bunu daha iyi görebilirsiniz çünkü şuna bakın.
İşte.
Q T eksi bir, işte gidiyorsun.
Q T negatif işaretli bir eksi.
Dolayısıyla, buraya bir 1 koyarsanız Alfa'ya bağlarsanız, bunu reddedecektir.
Böylece birbirlerini yok edecekler ve bıraktığınız tek şey bu bölüm.
tam olarak söylediklerimizin tam olarak bu durumu, yani olması gereken yeni bir değeri var.
Ve bunun anlamı
Q değerimizi yeni değerle güncelleyelim ve daha önce sahip olduğumuz şeyleri unutalım.
Ve tartıştığımız gibi en iyi yaklaşım değil, çünkü burada rastgele olaylar var ve bizleri adım
adım güncellemek istiyoruz.
Öte yandan, Alpher'ın sıfıra eşit olduğunu söyleseniz, o zaman olan şey, bu parçayı
tamamen unutmanızdır ve siz yeni olanınızdan ya da şimdiki parçanızın eskisine eşit
olacağı için sevimlisiniz. hiçbir şey öğrenmeyecekler.
anlamı yoktur, çünkü uzun süredir Kuchi değerine karar verdiyseniz ve sadece bunu yapmaya devam edeceksiniz demektir.
Ve bu, labirentte olan her şeyin bir
Bu yüzden Alfas 0 olmamalı veya arasında bir yerde olması gereken biri olmalıdır.
Ve yavaş yavaş adım adım öğrenmenize olanak tanıyacak, labirentte olduğu gibi sizin veya ajanların
zamansal farkı alacak şekilde olmasına izin verecek.
Ve yavaş fakat emin adımlarla bu değer güncelleşecek ve ibed'i yenileyecek ve
sonunda ne olacağı umut edici bir şekilde algoritma bir araya gelecektir.
sonuçta sıfıra hatta 0 0 0 0'a yakın olacağı
ve bunun anlamı, her seferinde yeni cutesie değeriniz veya yeni hesaplanan değer.
Bunun anlamı, bu zamansal farkın sıfıra yakınlaşmaya başlayacağı ve
Ne olmalıydı.
Öyleyse bu değil, ama varsayımsal olarak adım atmaya yetecek miktarda olması, önceki Q2
değerine eşit olacaktır.
Ve daha sonra sıfır olur ve sıcaklık farkınız sıfır olduğunda
algoritmanızın birleştiği anlamına gelir ve devam eden şeyleri güncellemeye devam etmek gerçekten gerekli değildir.
Küp değerlerinizi güncellemeye devam etmek için bu aramayı yapar.
halde, bunu yapmaya devam etmek isteyeceğiniz tek zamanlardan biri olan muhtemel zamandan yalnızca biridir.
Buradaki uyarı şu ki, bu ortamı sürekli olarak değiştiriyorsa, muhtemelen kuyruk değerlerinin güncellenmesini bildiğiniz
Eğer sadece orada değilse, içinde sadece Kostik olaylarına karşı bazı rastgele şeyler var.
Ancak çevrenin kendisi de değişiyor çünkü morphing zamanla değişiyor.
Bu nedenle sürekli öğrenmeye ihtiyacınız var, çünkü her şeyi öğrenip sizin için
optimum politikayı belirlemenin mümkün olmadığını, çünkü en uygun politikalar çevreyle daima değiştirildi.
Bu durumda CALKIN ve zamansal farka devam etmeniz ve Q değerlerini hesaplamanız gerekir.
Ama bunun dışında, bu fazladan bir karışıklığa benziyor.
tam olarak neler olduğunu da bulmak için nasıl gidiyor ve böylece en uygun politikayı ortaya koyuyor.
Bunun dışında, Q değerleri güncelleme şekli budur; bu, Q öğrenme algoritmasının ana formülüdür
ve bu, onun genişletilmiş hali gibidir ve şimdi hepsi bir araya gelip anlamamızı sağlamak
için neden Belman denklemine sahip olduğumuzu anlamalı ve anlamamalıdır. yalnızca kıymetli taşları temsil ettikleri şeyin yanı sıra, ajan değerlerini
güncellemek ve bu ortamda
Bu yüzden almak için oldukça fazla şey biliyorum ama umarım bu öğreticiden hoşnut oldunuz
ve umarım siz değerlerinizin arkasındaki temel kavramları ve sezgiyi götürmeyi başardınız ve zamansal farklılığın
tüm kavramı nedir ve niçin bizim için yavaş yavaş eğitilmemize neden önem verdiği önemlidir. temsilcilerini bulmalarını ve
onlara kendi ortamlarını anlamalarını sağlıyor.
Ve zamansal farklılıklar hakkında biraz daha bilgi edinmek isterseniz, çok popüler bir
kağıt Richard Sutton tarafından doksan sekiz sekizliğin zamansal farklılık yöntemleri ile tahmin etmeyi öğreniyor.
Richard Sutton'ın da bir referansı zaten var,
ancak bu sizin kitap tarzınızı ve iletişim stilini öğrenirseniz, kitabı da kontrol
edin.
Bu, tüm bu şeylerin daha genişletilmiş bir versiyonu gibidir.
Kitabı okumadım, ancak aynı zamanda hayal ediyorum.
eklenecek ve burada zamansal farklılıklar hakkında biraz daha fazla bilgi edinebilirsiniz.
Bu, kağıda
Ve umarım siz de keyif aldınız.
Bir dahaki sefer sizi göreceğiz.
O zamana kadar AI zevk.