Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Bugün Belman denklemi hakkında konuşacağız.
Oldukça karmaşık bir konudur ve dersin bu bölümünde adım adım
bir şekilde tanıtacağım, böylece doğrudan doğruya Belmont denkleminin en karmaşık
sürümüne atlamayacağız, bunun yerine Nasıl çalıştığını yavaş yavaş anlayabilmek için
yavaş yavaş tanıtacak.
Ve Umarım bu yaklaşımla amacınız G konumundaysanız. R. Hadi düz içine girelim.
birlikte çalışacağımız birkaç anahtar kavrama sahip olacağız ve bu kavramlar.
Dolayısıyla,
S devletleri temsil eder, böylece aracımızın bulunduğu devlet veya içinde olabileceği diğer herhangi bir
devlet, bir aracının alabileceği bir işlemi temsil eder.
Dolayısıyla bir aracı belirli bir eylem listesine erişebilir ve eylemler,
bir devletin kombinasyonuna bakıldığında çok önemlidir.
da bir devlet gerçekten mantıklı değildir çünkü Nerede olduğunuzu
ve nereye varacağınızı bilmiyorsanız, sonra da ödülümüzü belirleyeceğiz ve
bu, ajanın belirli bir devlete girdiği ve gama indirim faktörü olduğu için geçerlidir.
Dolayısıyla salınım halindeyken ve o zaman eylemlere bakarsanız ve o eylemlerin sonucunda ne
olacağını anlamaya başlarsa, kendiliğinden bir işleme bakarsınız ya
Biraz sonra indirim faktörü hakkında konuşacağız, ancak şimdi sadece not
alıyorlar.
Daha sonra çalışacak olan bu Gamelin mektubuna sahip olacağımız konusunda zihinsel bir not oluşturun.
Bellman denkleminin ardındaki kişi Richard Ernest Bellman'dır.
O bir uçuş matematiğindeydi ve şimdi şu anda takviye öğrenme dediğimiz dinamik programlama kavramlarını ya da
şu anda Belman denklemini sunduğumuz kavramları ortaya attı.
Şu anda buna sesleniyoruz.
Ve 1953'te o konsepti ortaya attı ve o zaman Belmont Belman denklemi bana geldi.
Bu yüzden bunların hepsinin işleyişine bir göz atalım.
Sol alt köşede güzel aracımız var ve o bir labirentte ve bu,
bazı blokların varlığın oldukça klasik bir labirent. Geniş bloklar, ajanın gri bloka adım
atabileceği bloklar. erişilebilir değil bu labirentte bir duvar gibi diyor.
Yeşiller, ajanın nihai hedeflemesinin gereken yer olması gerektiği yerde, ajanların gitmesini istediğimiz bu, bitiş
anlamına geliyor.
Kırmızı, ateşböcekleri veya motor ateş çukuruna düşüyor.
Oyunu kaybedecek.
Böylece ateş çukurunda R olan ödül eksi 1 olur.
Ajan'a bunu yapmamızı istediğimiz bir şey olmadığını söyleme yolumuz buydu.
Köpek eğitimi verdiğimiz örneklerde hatırladığımız gibi, kötü köpek gibi konuşmak istiyoruz; burada aynı şeyi yapmak
isteyen doğru olanı yapmazsak, burada bir tane olduğumuzu bildiririz, bu ajan sizin olmanız gereken
bir şey olmadığını söyler. Meydanın sonuna gelmemelisiniz, öyle olmadığı her
zaman sincap eksi bir ödül kazanır, böylece eksi bir ödül ile cezalandırılırsınız.
Öte yandan Green Square'de biterse, bir artı bir ödül alacağız, yani
bunu yapmak istediğiz anlamına geliyor.
Yani bu, acentenin elde edemediği iki ödüldür.
Ve bu labirentte nasıl çalışacağını nasıl öğrenecek?
Tıpkı yürüdüğünü öğrendiğiniz robot köpek örneklerinde olduğu gibi, ona bildireceği gibi,
burada yapabileceğin eylemi burada söyleyeceksin.
Sağa veya sola gidebilirsin, bunlar alabileceğiniz dört olası eyendir ve hepsi bu kadar.
Bununla birlikte bir oyun oynamak için neler bulabileceğini gör.
Böylece temsilci sağa gidebilir, daha sonra sağa iki daha ilerleyebilir, sadece rasgele düğmeye
basarak sola dönebilir ve ne olduğunu görmek için çabalıyorlar ve buraya dönüyorlar.
Yukarıya çıkıyorlar, yukarı çıktıkça yukarı çıktık.
Şimdilik hiçbir şey olmadığı için hiçbir şey öğrenememişler.
Doğru gidiyorlar ve sonra Green Square'de buluyorlar.
Dolayısıyla vay canına inanıyorlar Sadece bir tane artı bir tane var Ben yeşil meydana girer girmez bir artı
bir ödül aldım.
Ve bu, algoritmayı, tamamının gerçekten harika olduğunu söyleyecek şekilde tetikliyor.
Meydanda sona ermek için ödüllendirildiğimden meydanda sona ermek istiyorum.
Ajan için bu ne anlama geliyor?
Yani soruya bu kareye nasıl ulaştım sormaya başlar.
Bulunduğum önceki devlet neydi ve kareye oturtmak için hangi eylemi gerçekleştirdiğimi görüp geri
döndüğünü söyledim ve böylece önceki devlet bu idi.
O eyalette değerli olduğu ortaya çıkıyor.
Kızıl Ok'un kıvılcımı.
azami ödülü almaktan sadece bir adım uzaktayım çünkü o ana kadar bu durumda olduğumu biliyorum.
Çünkü o eyaletten bir adamsın, bir köpek için bir bisküvi gibi artı bir hayal edebileceğim
Bu kare Kırmızı Ok işareti ile işaretlendi.
Tek yapmam gereken sağa basmak.
Öyleyse kendime bu devletin değerli olduğunu hatırlatmamı söylerim.
Benim için iyi bir menajer olarak aslında bir fark yok.
Yeşiller'de mi, yoksa yeşil meydanda beyaz kare içinde olduğumdan farkım yok,
birinin ödülünü alıyorum.
yazacağım çünkü beyaz kare içindeyken tam olarak bir ödüllendirmeye götürüyor, biliyorum bir adım daha atacağım.
Bu yüzden kendime Y Meydanı'nın benim için bir değeri olduğunu
Yeşil Meydan'da olacağım ve bir ödül ya da bir ödül alacağım, bu yüzden
bu meydanın değerinin birine eşit olduğunu söyleyeceğim, çünkü en kısa sürede her türlü çıkarımda doğrudan yol açar
Yani burada benim ödülüm olacağını biliyorum, bu yüzden bu kareyi bir
çağrı olarak işaretleyeceğim, bu da durumdaki algılanan değer olan değerdir.
Sonra temsilci iyi olacak.
Bu kareye nasıl gireceğim.
Ve biliyorsun, tekrar dolaşıp devam etsin vesaire.
Ve tekrar kare meydanında ve tamam gibi Tamam bu kareye nasıl girdim.
Ve bu kareye girme şekli bu meydanın içinden çıktı.
İlginç.
Tamam, bu kareye girer girmez yapmam gereken tek şeyin doğru olduğunu biliyorum.
Ve sonra burada biliyorum zaten kazanacağım.
Tam olarak her şeyin burada çözüleceğini biliyorum ve bu durumda varlığın değerinin birine
eşit olduğunu biliyorum.
burada olmak isteyen bir araç olarak çok değerli olduğum için burası demek istediğim şu ki burada biliyorum.
Ve buradan buralarda büyümemizi engelleyen hiçbir şey olmadığı için bu değer algılanacak bir değere
gideceğim Ben
Burada ol ve ben burada oldukça hızlı olacağım.
Bu yüzden kazanacağım.
Ve o zaman bundan önce nasıl bu meydanın içine girersin.
Bu kareden ben de bu kareye girdim.
yaklaşımdır, buradaki değer de birine eşittir vb. Dolayısıyla burada olma değeri burada varolan bir değere eşittir, çünkü
her bir tanesi bir diğeri ve bunlara yol açar. bitiş çizgisi.
Yani değer burada benzer bir
Bu aşamada her şey oldukça mantıklı gibi.
Şu an Belman denklemini tasarlayan kişi biziz.
Dolayısıyla, bir ajanın labaratuara girmesine yardımcı olan bir denkleme tasarlamak düşünebiliriz.
Öyleyse ödüle bakarsak, bir önceki devletin davaya ödül vermesine eşit bir değer verdiği
ve bu şekilde benzer bir yol oluşturduğu halde sorun ortadan kalkmaz, ancak sorun herhangi bir
nedenden dolayı ajanım başlıyorsa ne olur Buraya başlamadan ve bu eylemleri yerine almaktan ziyade bu devlette
ve aslında devletin başında.
Doğru giderseniz ne harekete geçeceğini ya da gitmesi ya da gitmesi ya da gitmesi ya da gitmesi gerektiğini
nasıl hatırlar biliyor musunuz?
Buradan sonraki ilerlemenin hangisi olduğunu nasıl hatırlıyoruz.
Sahip olduğu tek değerler ise, bu değerler, neyin uzakta olduğunu göremezse değerine eşittir.
Sadece görebilir.
Tamam.
Burada ne var ne var burada.
Hangi yoldan gitmek gerektiğini nasıl bilebilir?
Bu aşamada, yaş ve hangi yoldan gitmek oldukça benzer bir şey değildir.
Ve bu yüzden bu yaklaşım bu işe yaramıyor.
Bu çok basit bir açıklama.
Tabii ki buna fazlası var.
Ancak sezgisel bir şekilde bu yüzden sadece bu değeri geriye doğru taşımayı atayamayız.
Nedenlerinden biri, Ajan bu iki değer arasında olduğu zaman nereye gideceği.
Bu kadar karışabilir değil mi?
Peki bu sorunu ne çözeceğiz, ne yapacağız.
İşte bu noktada, Belman denklemini yavaş yavaş adım adım tanıtmaya
başlayacağız.
Belman denklemi buna benzer görünüyor.
Bu yüzden, halihazırdaki durumunuz ya da herhangi bir devletiniz olduğu gibi belirli
bir durumda olmanın değeri hakkında zaten konuştuk.
Ve Başbakan devlet olduğu gibi, devlet devletten sonra ve uyumlu bir hareket alarak son
bulacağınız devleti belirtir.
Ancak birçok eylemin olduğunu ve bir ajanın alabildiğini biliyoruz ve bu nedenle bu Max'i buraya getirdik.
Dolayısıyla bir ajan aleyhine bir eylem alarak, devlet varlıklarında bir işlem yaparak
devlete geçtiğimizi ve harekete geçtiğimizi varsayalım.
Ne olacağı anında yeni bir devletin içine girerek ödül alacak.
Ve ödülün, oyunun sonunda olması halinde bir veya bir veya bir veya bir eksi olabilir
veya oyunun tamamında sıfır olabileceğini, bu durumda oyun boyunca ödülümüz sıfır olabileceğini unutmayın.
İşte bu, Plus'ın değeri olan yeni bir devlete kazandıracağımız ödül.
İşte bu, yeni devlet ve gama'nın değeri.
Bir saniye konuşacağız.
Ancak burada yükseltmeye çalıştığım nokta ya da burada yetiştirdiğim nokta, sizin alabildiğiniz çok çeşitli eylemleri olduğunu
ve bu yüzden maksimuma ulaştığımdan emin olmalıyız.
Böylece harekete geçerek ödüllendiriyoruz Artı olarak yeni bir duruma geliyoruz.
Ve böylece, davamızdaki her hareket için mümkün olan 4 eylemin her biri için
olası eylemlerimizden önce böyle bir denkleme sahip olacağız.
Dolayısıyla bu, dört eylemden her biri için farklı bir değere sahip olacaklarından dolayı bir
değer taşıyor ve en fazla duruma bakacağız, çünkü elbette aracı en uygun durumu almak istiyor.
esas alan azami değeri bulacak ve bu değerlerin maksimumuna ihtiyaç duyan eylemi gerçekleştirecektir.
Dolayısıyla eyalette bulunuyorsa, bu değerlere bakacak ve bu eylemi
Öyleyse umarım bu neden maksimumu burada alıyoruz anlam taşıyor.
Sonra bir keresinde ödülü ve değerini aldık, neden bu Gabaa parametresini burada buluyoruz dedi.
Eh, ajanýn hangi yoldan gideceđini bilmediđi sorunu çözmek için tam burada var çünkü
yapamam.
Her iki tarafın iki eyaletinin değerlerini karşılaştırıyor ve bunlar aynı.
Bu nedenle kumarbazlar indirgeyici faktörü aradıklarından bir göz atacağız ve
daha iyi anlayacağız.
Şimdi bir formül alalım, onu burada sağ üst köşeye koyacağım.
Ve şimdi farklı devletlerin değerlerinin ne olduğunu analiz edeceğiz.
Ve burada her devlet bir karedir.
Yok hayır.
Dolayısıyla bu beyaz karelerden biri olan bir devlettir, yani varlığın
değerini o eyalette hesaplayacağız.
Şimdi kare ile başlayalım.
Bu durumda olmanın değeri nedir?
Peki bu değerin maksimumunu tüm eylemler arasında almamız gerekiyor.
Ve bitiş çizgisine yaklaştığımızda bu değerin en üst düzeye çıkardığını biliyoruz
ve nasıl yapılacağı ve görebildiğinize göre burada ödül var ve
burada bir indirim faktörünün çarpımının çarpımı var belirtmek, bildirmek.
Ve bu denklemi nasıl yapacağımız mantıklı olur, bu nedenle buradan sağa
doğru gidersek bu değerin maksimumu doğru olur.
Bu şekilde, bu devletin bu değerinin maksimum değeri veya bu değere eşit
olduğu değerlerini hesaplarız.
Sağa hareket etmeye karar verirsek sağa hareket edersek.
Peki bu değer ne olacak.
Sağa hareket etme ödülü 1'e eşittir.
Ve ne renk gama olursa olsun, devlette bir değeri yoktur çünkü zaten en iyi
durumda mümkün durumdayız.
Bu son aşamadır.
Burada sadece bir ödül kazandıracağımız bir değeri olmayacak ve oyunun sonu bu.
Yani bu maksimum değer 1'e eşit olacaktır.
İşte bu nedenle devlet değeri 1'e eşittir.
Geriye biraz ilerlediğimizde sola doğru hareket ettiğimizde ilginç şeyler oluyor.
Şimdi bu durumdaki değerini hesaplıyoruz ve bunun için biz Gabaa'ya ihtiyacımız olacak.
Diyelim ki, indirgeme faktörümüz dokuzuncu bir noktadadır ve bir kere hesapladığımız zaman bir indirgeme faktörünün
ne olduğu mantıklıdır.
Dolayısıyla buradan sadece sezgilerimize dayanırız ve temel alırız, çünkü bunun nasıl çalıştığını biliyoruz.
En iyi olası eylemin sağa gittiğini biliyoruz, çünkü buradan buraya gidiyoruz.
Dolayısıyla bu sağda giderseniz bu durumda elde edilecek maksimum değerdir.
Ve şimdi burada taksak ne olacağına bakalım.
Yani burada buradan buraya gidersen ödülünü alamazsın sıfır olur.
Ama o zaman, camis, sıfır noktası dokuz kat yeni bir devletin değerine sahip olacaksın.
Dolayısıyla bu durumda, bunun tüm sonucu 1 kez 0'dır. 9 kez bir eşittir 2. 9.
Her şey başına değerler bu.
Dolayısıyla şimdi hesaplarsak, buradan göreceksin.
Bildiğimiz labirente bakarak biliyoruz çünkü biz insanlar olarak, çünkü bu denklemin nasıl çalıştığını
anlıyoruz, elbette bir AI aracı bu şeyleri denemek zorunda kalacak.
Ancak kristal topa sahip olduğumuz için bütün labirenti görebiliriz.
Şu anda kuşbakışı görünümü seviyoruz.
En iyi hareketin sağa gittiği biliyoruz.
Yani hepsini buraya takarsak, sıfır ödül bile etmez Raporu devlette dokuz
kat arttırabiliriz 0. 9, seksen bir sıfır noktası vb.
Yani burada 0 olacak. 23 ve o 0 olacak. 66.
Böylece, indirgenmiş faktörün çalışma şekli, uzaktayken devletin değerini düşürdüğünden
görebilirsiniz.
Finans teorisine aşina iseniz, o zaman bu şekilde ne düşünürdünüz gibi paranın zaman değerine
benzer bir şeydir. Bugün veya 5 günde 10 günde 5 dolar kazanmayı tercih ederdiniz.
Biri sana bir seçenek verecek olsaydı, bugün herkesten $ 5 10 gün boyunca beş dolar
vereceğim.
Tabii ki bugün 5 dolar seçeceksiniz.
Neden.
Çünkü 5 dolar alabilirsin ve bunları gama'ya çok benzer belirli bir faiz
oranına yatırırsın.
Ve 10 günde 5 dolarınız aslında 5 dolar ve 73 sent ya da buna benzer bir şey olacak.
Paranın zaman değeri de böyle işe yarar.
Ve burada çok benzer bir kavram.
Ve burada anlamak için önemli olan bir teori, takviye öğrenmeyi bir şekilde karşılar.
Bu yüzden Richard Belman bu denklemi ortaya attı.
Ve o andan itibaren bunu kullandık.
Böylece devam edip farklı bir denklem ortaya çıkabilirsin.
Gamla'ya bir faktörünüz olmasa da başka bir faktörün olması gerekmez.
Ancak bu yaklaşım geçerli ve bu yüzden kullanıyoruz ve bunun nedeni de bu. Öyle ki o
kadar uzakta olursanız, devlette ve zaman ve para açısından daha az değerlisiniz.
Eğer sana diyebilirsem, nerede olmak istersiniz? Burada olmayı istersiniz.
Sen burada olmayı ister misin
Burada olmayı tercih ederim.
Dolayısıyla, paranın zaman değeriyle aynı olguyu üretiyoruz, bunu gama yoluyla yapay olarak yaratıyoruz,
böylece ajanları teşvik etmek ya da aracıları bitiş çizgisine yakınlaştırmak için canlandırmak için.
burada bulunmayı ya da burada olmayı seçen bir acenteye sorulacak olsaydı burada olmayı seçerdi.
Bu denklemin çalışması nedeniyle,
Bunun için daha az şey daha var.
Dünyanın bu şekilde çalıştığı bir şey değil.
Hayır, sadece ajanlarımızın bu iyi olduğunu anlamaları için yapay olarak yarattığımız bir şey var, bu iyi bir eski iyidir
ancak bu daha iyidir ve bu daha iyidir ve bu daha iyidir ve bu ve
daha iyidir Bu işi yapmış.
Ve bu şekilde, ajanın hangi yönde gitmesi gerektiğini görebilirsiniz.
duruyordu, eğer burada duruyorsan ben aşağı inersem ya da aniden yukarı çıkmaya ya da aşağı inersen giderim.
Yani anladığıma göre eğer ben burada ayakta duruyorsam, sahip olduğum sorunu hatırlıyorsun ya da burada
Artık artık sorun değil, çünkü değerler burada olduğu için gitmenin daha
iyi olduğunu görebiliyor.
Ve sonra buradan sağa doğru gitmek zorunda çünkü burada değer burada daha büyük.
Ve buradan itibaren Bertschi sağa gidiyor çünkü buradaki değer bildiğinizden daha büyük.
Ve buradan sonra, onun doğru gitmesi gerektiğini zaten biliyor çünkü biri burada bir ödül alacak.
İşte bu yaklaşımın tümü böyle işliyor.
Şimdi kare geri kalanına hızlı bir göz atalım.
Peki bu karedeki değeri nasıl hesaplarız.
Işlerin zor olduğu yer burası.
Dolayısıyla buradan sağa sola doğru gitmeyebilir, sağa doğru gidebilirsin, böylece böyle devam edebiliriz, çünkü
aslında bu şekilde gitmek daha kısa olabilir.
Öyleyse yapacağımız şey, öncelikle kare içindeki değeri hesaplamamız.
Ve açıkçası buradan gitmenin en iyi yolları var.
mürettebatın gördüğümüz şeyleri görebildiğimiz kristal topa sahip olduğumuzu gördüğümüz
için, ajanların araştırdıklarını nasıl deneyimler yoluyla anladıklarını göreceksiniz.
Yine de
Fakat bizim için, bu şekilde gitmenin daha iyi olduğunu biliyoruz, böylece değeri
burada hesaplayacağız ve bu yüzden önce bu kare içindeki değeri hesaplayacağız.
Yani burada üç olası eylemimiz var.
Aslında biz aslında dörtümüz var, biz de ayrılabiliriz.
Aracı, varsayımsal olarak sola basabilir ve duvara çarpabilir ve burada kalabilir.
sağlamak için, bildiklerini bildiğimiz ve kristal topa sahip olduğumuz eylemleri gösterecek olan küme,
hangi eylemlerin aslında yine aynı durumdan başka bir şeye yol açtığını biliyoruz.
Ama sadeliği
Ve burada şunu tekrar biliyoruz ki bir kristal topumuz var çünkü en iyi yolun bir ajan
tabii ki denemek ve en iyi yolu bulmak zorunda kalacağı şekilde olduğunu biliyorsunuz ve bunun
nasıl olacağını göreceksiniz.
Daha bölümünde, bir acentenin nasıl dolaştığını ve bu değerleri bulmaya çalışırken nasıl
deneyeceğinizi gerçekten göreceksiniz.
Fakat bizim için o şekilde olduğunu biliyoruz.
Yani burada, herşeyi bir arada tutarsak, en yüksek çıktı maksimum çıktı olur.
Ve işte bir rapor var 9: 0 O yüzden siz koyun.
Dokuzuncu sınıfta buluyorsun.
Tamam, öyleyse bunu hesaplayan bir Kalika.
Aynı yaklaşım.
Bu senin gidebilmenin üç yolu var.
Aslında acente için dört, ancak bizim için sadece üç olduğunu görebiliyoruz.
Buradan sıfır noktası seksen, sıfır noktası yetmiş üçüncü var.
güzel bir bağ kuruyor çünkü yine de iskonto ederseniz 66 koyarsanız ve 0'a sahipsiniz demektir.
Ve aslında bu değerle 23 çünkü bu en uygun yoldur.
Al işte ozaman, buyur.
Bu, tüm bu devletlerin değerleridir.
Şu an görebilirsiniz ki, bu denklemi yarattığımızdan ya da bitiş çizgisine yaklaştıkça
bu bütün kavramı sentetik olarak yarattık o kadar değerli o halde değil, çünkü şu an için oldukça
açık olduğu için korkuyoruz Ajan bu şekilde gitmeli.
Ve gelecekte daha fazla konuşacağız.
bu aşamada biraz çok gelebilir ama bu bölümde biraz daha karmaşıklık katacağız.
Umarım bugünün oturumundan hoşnutsunuzdur ve biliyorum ki
Aynı zamanda, içine atlamak isteyip istemediğinizi düşünemiyorsanız, bakabileceğiniz bir kağıt
var ve Richard Belman'ın orijinal kağıdı.
Buna 1954'ten itibaren dinamik programlama teorisi deniyor.
Ve bunu bu bağlantıda bulabilirsiniz.
Ve işe gidiyorsun, böylece içine doğru atlayabilir ve Belman denkleminin yazarından okuyabilirsiniz.
Ancak unutmayın ki bunun matematiksel bakımdan oldukça ağır bir kağıt olduğunu unutmayın.
Ve o notada senin bir sonrakiini bulacağım.
Ve o zamana kadar AI zevk.