Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Bugün Nihayet Kule öğrenme hakkında konuşuyoruz.
Pekâlâ, bu denklemi çok sayıda bileşeni eklediğimiz bellmen denklemine zaten aldık.
Burada ödülü aldık, sadece en sonunda değil, herhangi bir aşamada olabilir.
İndirim faktörümüz var.
Olasılığa sahibiz, çünkü şimdi bir karar sürecinin işaretine bakıyoruz.
veya gerçekte aldığımız eylem göz önüne alınmaksızın farklı bir durumda bitme ihtimalimiz var.
Ve burada aldığımız eylem
Sona erebileceğimiz birden fazla durum olabilir ve sonra bir sonraki durumun değerini elde
ederiz, çünkü türünden bir özyinelemeli işlev görüyor vb. Ama yine de bir sorunuz var.
Buradaki soru şu ki burada mektup yok Q Neden hepsine q deniliyor.
Öğrenme.
İşaret nerede?
Ve bugün cevaplayacağımız soru bu.
durumda olan değerle uğraşıyoruz ve şimdi Q'nun tüm bu duruma nasıl uyduğuna bakacağız.
Şimdiye kadar, değerlerle belirli bir
Yani burada solumuzda iki örnek var, ajanımızın analiz ettiği şu ana kadar ne yapardık.
Tamam ben buradayım.
Bu, karar vermenin bir işaretidir, bu yüzden burada nasıl olduğum önemli değil.
Çevre geri kalanı bundan böyle buraya gelmem için atılan adımlarla ilgilenmiyor.
Burada veya buraya nereye gideceğim konusunda en uygun kararımı vermeliyim.
Geçmişten değil, buradan gelen mevcut devlet ve gelecekteki tüm devletlere dayanıyor.
Ve bu yüzden, devlet üç devlet için bir devlet var üç seçenek olduğunu görebilirsiniz.
Deneyimlerine dayanarak bu eyaletteki değerleri hesaplamış ve şu an bellmen
denklemini kullanacak.
Dolayısıyla bu klasik bir Proceso olmasına rağmen, buraya gideceğini biliyor ama
sağdan sola gideceği ihtimali var.
Dolayısıyla bu değerlere dayanarak bir karar vereceğiz, şimdiye kadar yaptığımız budur ve burada tamamen meşru
bir yaklaşımdır.
Ama şimdi biraz modifiye ediyoruz.
değerlerine bakmak yerine sonlandırabileceğimiz her bir değerin veya değerin değerine bakacağız.
Aynı kesin konsepti aynı kesin problemi alacağız, ancak burada her bir devletin
Dolayısıyla artık V harfini kullanmayacağız çünkü devletin değeri için bir
Q kullanacağız ve bir soru sormak için neden mektubun Q olması gerekiyor.
S Bazı insanlar bunu speküle eder.
S Bunu okuyayım mı?
Sanırım Quora üzerinde.
referanslar bulamadım, çünkü o zamanlarda kullanılan mektubun nedeni bu olmayabilirdi ve şimdi süper
popüler oldu çünkü hepsi de anahtar öğrenme deniyor.
Birisi Q'nın kalite yüzünden olduğunu belirtti ancak aynı zamanda başka
Dolayısıyla hiçbir kesin sebep tutulmadı.
S Buna rağmen en azından V ve Q So Q'ları birbirinden ayırmamıza yardımcı oluyoruz.
Kaliteden ödün vermeden temsil ettiği devletin değeri yerine hediyeler vardı.
Gösterilen eylemin kalitesini temsil eder.
Tamam, bu yüzden dört adımım var.
Bu eylemin farklı nitelikleri nelerdir.
daha sonra bunları karşılaştırabileceğimi söyleyen bir ölçüye ihtiyacım vardır ve bu tam olarak N'dir.
Eylemin değeri veya eylemin kalitesi nedir ve hangi eylem daha kazançlıdır, bu nedenle
bu eylemi nasıl ölçebilirim ve
Ve bu yüzden dört ihtimal var.
Her zaman olduğu gibi sağdan sola ya da aşağı doğru.
Ve eylem temelinde, bize, o eylemin Q q değerini verdiğimiz o eylemin
nicelenebilir değerini söyleyen bir formül olacak.
Bu formülü nasıl türettiğimizi bir göz atalım.
S Bu aslında ne ile alakalı.
Çünkü tahmin edebileceğiniz gibi, eylemler devletlere götürür, ikisi arasında bir çeşit bağlantı kurulması
gerekir.
Doğru, zaten bunu nasıl hesaplayacağımızı belirledik ve onun için oldukça iyiyiz.
Belman denklemini çok farklı ortamlarda, birçok farklı komplikasyonla nasıl kullanacağımızı biliyoruz.
Şimdi nasıl hesaplayabileceğimizi anlamak için bu bilgiden yararlanalım.
S Aynı öngörüleri yapmak için, çevrenin hangi yaklaşımı kullandığına bağlı olarak değişmediğini tahmin
edebildiğiniz gibi, çevre ne olursa olsun aynı olacaktır.
her zaman aynı sonucu vermelidir ve bu nedenle bu iki bağlantının başka bir nedeni de olmalıdır.
Dolayısıyla bu yaklaşım ve bu yaklaşım
O halde bir göz atalım.
İşte bu noktada, yalnızca bu devlete veya başka herhangi bir devletin değerine bakmaya çalıştığımız
bakış açımız yaklaşımıdır.
Ve işte burayı başkan kullanmaya başlıyoruz, çünkü burası o anki durum.
Ve dolayısıyla terminoloji her iki denklemde de aynı olacak ve burada q'yu bir Q olarak kullanıyoruz.
Devletin ve eylemin varlığı.
A, çünkü eylem yukarı ancak durumumuzda bu eylemi gerçekleştiririz, bu eylemi Devlette yaparız.
Tamam, şimdi şunu göreceğiniz ilk yaklaşım için Belman
denklemini kullanacağız: Belirli bir devletin değerini veya değerini elde edersiniz, maksimum bahis elde ettiğiniz ödülün azami miktarıdır.
üçünüz var eylemleri.
Bu durumda gerçekte dört eyleminiz var, bu yüzden duyduğumuz bu bölümün olası
eylemlerinin tümünü en çok değerlendiren defalarca konuştuğumuzdan, bu eylemin gerçekleştirilmesinden aldığımız ödülümüz, aslında
bu beklenen ile çarpılan bir devlet plaza indirimi olsun Yeni bir devletin değeri, stokastik bir
süreç olduğundan beklenen bir değere düşeceğiz.
olarak emin değiliz, solda ya da doğru ihtimalle sonuçlanabiliriz.
Buraya geleceğimizin tam
Bu yüzden bu olasılıklar sizde.
Pekala, bu bizim değerimiz.
Ve şimdi bakalım.
Q Yani Q tanımlanacak.
Bunu Q tanımlamak için kullanacağız. Diyelim ki bu konumdaki bu konumdaki temsilcinin eylemi
gerçekleştirdiğini varsayalım.
Aranacak q değeri nedir?
Her şeyden önce, bu hareketi yerine getirmek karşılığında neye bulacağına bir göz atalım.
İlk elde edeceğiniz şey ödül hakkı.
Bunun hiç şüphesini bilmiyor.
Bir tür kural olacak veya sıfır olabilir, ancak bütünün bu takviye öğrenme sürecinin işleyiş
şekli olduğunu biliyoruz, çünkü bazı kasabalar belli bir eyalette ya da ikiden belirli eylemler gerçekleştiriyor.
Ben de onu buraya ekleyeceğim.
Ve sonra ekleyeceğimizleri ekleyeceğiz.
Düşünelim bunun hakkında.
Oraya gidince bir sonraki şey ne olacak.
O sırada gerçekleşen bir sonraki şey, ajan belirli bir durumda, yüzde 80 olasılık veya
olasılık ile burada sona erebilir.
Ama burada aslında burada.
Ama o bittiğinde o bulunduğu halihazırda o devlet için nicelenmiş bir metriğe zaten sahibiz.
Ve bu aslında o devletin değeri.
Fakat birçok farklı devlette ve olası üç farklı durumdan
geldiği için bekleyeceği devletin değerine bakmalıyız.
Ve biz de ekleyeceğiz buna eklemek için gidiyoruz.
Tabii ki indirimli faktör daha önce olduğu gibi, çünkü bu gelecekte bir yere.
Ve bundan sonra, mümkün olan tüm devletlerde, bu eylemi yaparak sonuçlanabilecek
bazı durumları ekleyeceğiz.
Olasılık terimleri.
Burada söylemek istediğimiz şey bu kadar iyi, bir eylem gerçekleştirerek, elde edeceğiniz sayısal
metrik bir Artı Plus ödülünü alacaksınız.
Burada hangisinin olabileceğini bilmediğimiz bir durumda kalırsın.
Burada olabilirdi burada olabilir.
Ancak burada, içinde bulunacağınız devletin beklenen değeri var.
Ve şimdi faktörü indirgeyerek çarpacağız, çünkü bir adım öteye gidiyor.
Performans bölümü için bu Q değerimizdir ve burada hemen farkedeceğiniz şey
budur.
Q Q değeri aslında burada bu köşeli parantezlerin içindekilerle tamamen aynıdır.
Ve neden böyle.
sonuçta mümkün olan tüm eylemlerin maksimumu alarak harekete geçtik. ve tanımladığımız yerleri kaydetmek.
Eh, burada düşünürseniz sonuçların maksimumunu alıp olası tüm işlemlerin
maksimumunu alacağız, bu nedenle eylemlerin her birini alıp elde edeceğimiz
İlginç.
Belli bir işlem yaparak ne elde edeceğiz.
Dolayısıyla düşünürseniz bir devletin değerini mantıklı yapar.
Örneğin bu durum, olası tüm Q değerlerinin maksimumudur.
Devletin içinde bulunduğu durumda, ajan, q değeri için 3Q değerini korumak için bir anahtar değere
sahiptir.
Olası Q değerleri için evet pozitiftir, bu arada kalış değeri
devletin değerinin bu dört anahtar değerin tümünün maksimum olması anlamındadır.
Tam burada görebildiğimiz şey budur.
Elde ettiğimiz yeni formülün iyi bir teyidi.
Eğer durum böyle değilse, o zaman uyuşmazsa sorularımızı alırdık gibi olurdu.
Öyleyse neden neden eşleşmiyor.
Neden uymazsa?
Q değeri, bir eylem gerçekleştirmenin sayısal bir metriğidir ve V, yere bağlıdır.
Bu, mantıklı olabileceği kadarıyla yerine getirebileceği dört eylemin olası sonuçlarının maksimum olması
gibidir.
Ve bu sadece türev aldığımız formülü teyit ediyor ve şimdi onu daha da ilginç hale getireceğiz.
Wii'den tamamen kurtulacağız çünkü burada Wii'nin yinelemeli bir işleve sahip olduğunu görebilirsiniz.
Öyleyse ve sonra beni ve sonra B'yi ve daha sonra B'yi, sonra B'yi ve benzerlerini aldın.
Dolayısıyla, bu görünümü aşağıdaki Vee'lerin tümü boyunca ifade edebilirsiniz: buradaki en uygun olan
Vee'ler.
V'nin bir fonksiyonu olarak VEYA'nın bir özyinelemeli işlevi olarak bekliyoruz ve bu V'yi takmanız gerekecek ve ardından B'ye döneceğiz.
Q'yı bir funk olarak, bir sonraki
Peki biz ne yapacağız ki aslında bu V'leri alacağız ve bunu Q
Hakkıyla değiştireceğiz, buna bir göz atalım.
Bir sonraki eyaletin V'sini alacağız ve bunu şu formüle takacağız.
Ve şimdi görebileceğiniz gibi bu bölüm değişmez, bu olasılık değişmez.
Fakat tartıştığımız gibi, S'nin q'nun tüm eylemleri ve burada bir sağın maksimumu.
İşte biz de bunun yerine geçeceğimiz şey bu.
yeni aksiyon biz alacağımız eylem çünkü Wii'yi asal olarak alıyoruz.
Dolayısıyla şunu söyleyeceğiz, elbette ki
Dolayısıyla burada maksimum düzeyde konsol üretebiliyoruz.
Dolayısıyla bu devletten alacağımız eylemler nereden
girersek gidelim hangimizden başlayabiliriz, ancak oradan alacağımız eylem ve Maxima
bunlardan maksimumu, tüm küp değerleridir. bu yeni devlette asal virgül olarak birincil olarak kullanılabilir.
Ve bu eylemdir.
İşte bu.
Yani dördüncü olacak.
Q değeri var.
Gördüğünüz gibi şimdi tekrar geçelim.
Elde ettiğimiz şeyden geldiği gibi, bu sözcük sadece mantık ve sezgiler yoluyla ortaya çıkacaktı,
böylece VNS'in AS ve / veya birinin ve birinin bağlantılı olduğunu görebiliriz.
S, Küba S'nin tüm eylemlerinin maksimumu ve burada, bu bölümün bu bölümle
özdeş olması için görebilirsiniz.
Ve sonra bunu kullanacağız ve bu biti buradan VNS ile değiştireceğiz, ancak bu iç
hasılatı değil, masum insanı öldürmekle değiştirmek için kullanacağımız bu huniyi değiştireceğiz.
Yani onu buraya takacağız ve bu bölüm, Crucell a Priam'ın Q As Prime adlı prime tarafından
asal bir asgari küp olacak şekilde birinci olacak.
Şimdi formülümüz var.
Şimdi, q değeri için yinelemeli bir formül bulduk, böylece temsilci bu bölümün değeri ne olduğunu, bu
eylemin yeni değerinin bu bölümün kalitesi olduğunu düşünebilir.
Eh, bundan sonra acil adımda aldığım ödüle bağlıdır, artı
bu durumdaki tüm olası Q eylemlerinin çarpıtılmış faktörüne bağlıdır.
değeri burada var, bu yüzden bazı olasılıkların en fazla beklenen değeri var.
Ancak yan tarafın da o eyalette o eyalete bakması gerekip gerekmediğini bilmiyorum ve bu nedenle bu
beklenen
Gördüğünüz gibi çok benzer bir formül, ancak bu sefer q değerleriyle
şeyleri ifade ediyoruz ve bu nedenle bu algoritmanın tümüne Kill öğrenme deniyor. Çünkü bu araştırmaya bakıldığında, aracıların gerçekte kullandıkları şey, bakmadığı.
devletlerde olası eylemler üzerinde durur ve daha sonra eylemlerin q değeri
üzerindeki eylemlere dayanarak hangi eylemi yapacaklarına karar verirler.
Dolayısıyla, bu verili durumda maksimum dörtlü değeri olan Q değerine bakacaklardır.
gerçekleştirir. bu işlemi bu işlemi tekrarlamak ve böylece tekrarlamak için devam edecektir.
Sona gelebilecek farklı durumları karşılaştıran çeşitleri karşılaştıracak en iyi eylem nedir, o anda mevcut olan olası
eylemleri karşılaştırarak en uygun olanı bu eylemi gerçekleştirir ve daha sonra bu
eylemi
Şimdi, bunların hepsinin nasıl bir araya geldiğini görebilirsiniz, şimdi uygulayabileceğimiz q değerleri için bu
süper güçlü Belman denklemini hazırlamak için, iskonto edici gerçeklerin veya stokastik piyasa karar
süreçlerinin ve değerlerin ve q değerlerinin hepsinin biraraya gelmesinin nasıl biraraya geldiğini görebilirsiniz ve acentelerimizin ortamı nasıl
yenmeyi öğrenmelerine izin verin.
Ve bu da, neler olup bittiğinin sezgisel bir açıklaması.
Formülleri dolaştığımızı biliyorum, fakat bu gerekli çünkü bu, bu bölüm
boyunca devam ettiğimiz formüle benziyor ve Bence iyi bir geçiş olduğunu düşünüyorum.
Q Ve ayrıca, Yishun And, arasında sıkı bir yaklaşım matematiksel yaklaşımı elde etmek ve onun arkasındaki matematiğe bakmak ve
q değerleri ve nasıl çalıştığı hakkında biraz daha bilgi edinmek isterseniz bağlantılar arasında
nasıl bir ilişki olduğunu gösteriyor.
Sonra sizin için bir miktar ek okuma var.
Bu yazıda Markov karar süreçleri kavramları ve algoritmaları martónon Autor low 2009 tarafından adlandırılmıştır.
konuyla ilgili biraz bilgi edinmek istiyorsak, bu kağıt gibi daha karmaşık bir şeyi incelemek.
Bağlantıyı her zaman olduğu gibi kesersiniz ve burada, Hugh değerlerinin arkasındaki bütün
niteliği anlamak için biraz daha okuyabilir ve böylece şu an hazır olduğumuz Belman denklemiyle
ilgili tüm bu konuları tartışmış olduk. daha derin bir anlayışa varabilmek için bu
Ancak, gazeteyi veya radyoyu okumasanız bile, öğrenmenin ne olduğu ve ajanların belirli bir
çevrede yapması gereken işlemleri nasıl sağladığı hakkında iyi bir çalışma bilgisine sahip olmalısınız.
Umarım bugün Statoil'ten hoşlanırsınız ve bir sonraki adımınızı dört gözle bekliyoruz.
O zamana kadar tadını çıkarın.
BEN.