Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Daha önce Margrove karar süreçleri hakkında oldukça yorucu ve uzun bir eğitim aldık ve umarım
bunu iyi geçirdiniz.
Ve umarım ben işlerimi ulaşılabilir ve ilgi çekici bir şekilde açıklayabilirim.
Ve bugün planlara kıyasla politikalar hakkında konuşacağız.
öğretici olacak çünkü artık labaratuarı geçirmediğinizde rastgele arama olmayan deterministik arama
dünyasına girdiğimiz yeni bir dünyaya giriyoruz ancak aynı zamanda vurulabilecek rasgele faktörleri de hesaba
katıyoruz. Bu labirenti atlattığınızda başınızdasın ve bunun için hazırlanmanız gerekiyor.
Hızlı ve eğlenceli bir
Dünya budur.
Acentamız yaşıyor ve eğlencesi daha da tehlikeli, daha az öngörülebilir.
Ajanımız nasıl davranacak peki.
Bir bakalım.
Bir kez daha lehimize Belman denklemi olan karar süreci çerçevemizin işareti var.
Ancak Belman denkleminin daha gelişmiş versiyonu ile birlikte çalışıyoruz.
Bundan böyle sadece buna Beldon denklemini diyoruz.
Ve burada maksimum ve Crucell eylemimize sahibiz, bir devletin değeri, herhangi bir devletin, bir aracının
o durumda muhtemelen gerçekleştirebileceği tüm işlemlerdeki maksimumu gibi.
Üstünlük, acentenin alacağı ödülün A eylemini, Artı bir indirim faktörünün içinde olacağı yeni
durumun beklenen değeri ile çarpımı olarak gerçekleştirdiği sonucu aldı.
Ve burada alındıklarını umuyorum çünkü tam olarak ne sedrin bittiğini bilmiyorlar.
Ortamda devleti değiştirebilecek ancak istenen duruma gelmeyebilecek
rastgele etkilerdirler.
Farklı bir duruma gelebilir.
İşte bu yüzden burada beklenen değeri alıyoruz.
Şimdi de buna bizim örnek olarak veya bir labirent örneğinde bir göz atalım.
Bu yüzden daha önce yaşanmış deterministik arama ile uğraştığımız şey şu ana kadar sahip olduğumuz şey.
Yani biz bunu biliyorduk.
Pekâlâ, eğer buradaysam, burada olsam kesinlikle burada olmalıyım.
Buraya geldiysem kesinlikle burada olmam lazım Burdayım, burada olduğum için buraya kesinlikle gitmem gerekiyor.
Bu yüzden hepsi oldukça açıktı.
Bir kere bu haritaya sahip olduğunuzdan ve onu hatırladığınızı hatırlatarak ona bir plan diyoruz.
Bir kere planınızı yaptıktan sonra yapmak oldukça basittir.
Var.
Yani oklarla olan plan bu.
Ve buradan itibaren çok basittik, çünkü bunlar şu mavi çizgide
başlayınca gideceği rotalar.
Tam da böyle gideceksin.
Ancak şimdi artık bir planımız yok.
yaparsak planlanamayacağımızı kontrol edemeyiz ya da plan yapmazsanız, tam olarak ne yapmanız gerektiğini tam olarak biliyorsunuz.
Bir plan yapamayız, çünkü ne plan
Adımları biliyorsun.
Yani bir başlangıç ​​var, bir hedefin var ve her adımı biliyorsun, böylece onları planlıyorsun, bunu
yapacağım gibi yapacağım bunu yapacağım Bunu hayatta bir plan gibi yapacağım .
Fakat aynı zamanda şimdi çok fazla rastlantısallık oluyor.
Bir plana sahip olabilirsiniz, çünkü buraya gelirseniz sağa tıklarsanız, aslında sizi yere
atarsınız.
Bu planınızın bir parçası değil.
Bu yüzden daha çok planlama deniyor.
Ve burada değerlerin aslında aynı problem için
hesaplanan değerlere bakacağını hesaplayacağız.
Fakat buna dayanarak, bu rasgeleliği içimizde var.
Yani bunlar yeni değerler.
Peki neden bu değerler farklıdır, bu yüzden daha önce sahip olduğumuz değerleri karşılaştıralım.
Daha önce sahip olduğumuz budur.
O zaman onlar sizsiniz.
Bu yüzden daha önce bir kez daha kazandık çünkü 3 kazandı. Yüzde 9.
Gerçekten 366 yaşındaydı.
Ve şu anda sahip olduğumuz şey, bir kereden az yürürlükte ve 1 6 3.
Ve bu arada başımın en üstündeki şu anki mitingler değil, ancak bir aracı çalıştırsaydık,
bazı değerler buna benzer bir şey olurdu ve değerleri seçebilirdik çünkü
kumar bağımlısı olduğu için 3 değişebilirdi. 9 veya başka bir değer ancak bununla
birlikte, argüman uğruna, bunlar şu anda uğraştığımız değerlerdir ve bunlar yaklaşıktır, bütün düşünceyi doğru şekilde
iletirler, onlara bir göz atalım.
Neden değiştiler.
Peki buradaki neden burada bir değer vardı.
Neden ani 0 26 Neden birden az mıdır?
Buradan sadece git buradan.
Aslında aradık çünkü buradan buradan gidersek, eğer amacımız doğru gidersek, aslında burada
yüzde 10 olasılığa sahip olacağımızı söyleyebiliriz.
Duvara çarptık ve bu haliyle geri döneceğiz.
sahibiz. Yani değer düşürülecek ve / veya 10'da kapalı veya kapalı olacağız ve şans bu durumda burada olacaktı.
Ve unutmayın ki bir Gamla'ya
Dolayısıyla, buraya gelebileceğim yüzde yüz olasılık değil, dolayısıyla değer kaybı artık olamaz, daha az
şey ve 0 olur. 26.
Bu yüzden bunun neden böyle olduğuna bir örnek.
Belman denklemini şimdi tam olarak ancak benim soruyu hesapladıysanız kesin değeri
elde edebilirsiniz.
bilmek zorunda olduğunuzdan ve bunun için bunun oldukça karmaşık olduğunu
bilmeniz gerektiği için hesaplamaları manuel olarak yapmadığımız için bazı özyinelemeler olacağıdır.
Tek sorun, bunun için değeri
Bu yüzden bunları yapabildiğim için yapabilirim, bunun nedeni a için çok karmaşık bir şey değil
gibidir.
Bunları oynayamazsın.
İşte bizim değerimiz.
Ancak bunun için farklı bir yöntem.
Yani burada sadece 0 olacak. yüzünden burada buradan burayı tekrar hatırlayın,
buradan üniversiteler buradan buraya atlar çünkü sadece böyle atlarsak atlamak bile burada burada geri gelebiliriz.
9 sadece indirgeyici faktör
Hemen yüzde 20 şans bu kare kalacak, çünkü bir duvara çarpacağız.
Ve yine ve benzeri.
Dolayısıyla burada olma değeri sıfır noktası yetmiş.
Yine bu ve indirgeyen faktör.
Bunun size tuhaf gelebileceğini biliyorsunuz, bu faktördeki indirimle bile bu çok yüksek.
Belki bu örnekteki iskonto faktörü 0 değildir. 9 belki yedi nokta doksan dokuz ya
da öyle endişelenmeyen bir şey.
Sadece buna odaklanmak gibi bir şey.
Değerler, şimdi değerlerin artık daha az olduğu yönünde değişti.
Çoğunlukla değil, almak istediğiniz ve bulacağınız durumu elde etmek yüzde yüz
olasılığı değil.
İlginç olan burada sadece 0 olmaktır. 9 aslında çok düştü çok düştü.
Neden.
varsa, ancak yüzde 10 olasılıkla firepitte sona erme ihtimali var ve ödül
için eksi bir kaybetme şansınız var ve aslında bunun sonu olan ajan için demektir oyununun.
Çünkü buradan niyetimiz olan yüzde 10'luk bir duvara çarpma ihtimaliniz
Ve bu yüzden içinde olmak çok kötü bir durum.
Bu yüzden aniden hatırladık ki dokuz yıl ayrı bir sıfır noktamız vardı ve bu yüzden eşdeğerdiler.
Burada duyduğunuzun fark etmez, bu devletlerin her birinde bulunmanın değeri açısından neredeyse eşit oldukları anlamına gelir.
Ama şimdi bu tarihteki ani bir şey, sadece bununla neredeyse iki misline benziyor, çünkü burada
doğruca ona gitmek istediğiniz yere giderseniz.
Rasgeleliğin sonuçlarını biliyorsun, burada kalırsın.
Sonuçlardan biri yüzde 10 ihtimal şurada sona eriyor demektir.
Gördüğünüz gibi, artık bu gerçekleşmeyecek bir dalgalanma nedeniyle artık bu kadar iyi bir
devlet değil.
Gördüğünüz gibi bu da çok kötü çünkü çürümeye kadar sadece yüzde 10 olasılık ve duvarın
sonunda yüzde 10 şans olduğunu bildiğiniz için bu kadar kötü.
Ama aynı zamanda bir indirim faktörü var Her şeyden önce, indirgeyen faktör ve bunun ardından
da buraya gitmek zorunda kalacaksınız.
Ve varsayımsal olarak buraya girseniz bile, tekrar çukurun içine girebilirdiniz.
değerlerin bu değerden geldiğini unutmayın ve bu değer bu değerden türetilir.
Bu şans da dikkate alınır, çünkü bu
Sağ.
Ve bu nedenle küçük ama gerçekte aslında dediğim yanlış oldu.
Bu değer Fed'den türetilmemiştir.
Dolayısıyla şimdi bir göz atarsanız, buradaki bu değerin aslında bu değerin daha büyük olduğunu
farkedeceksiniz.
Ajan için bu yoldan bu şekilde gitmek daha iyi ve doğru mantıklı olduğunu fark edeceksiniz.
Bu şekilde kaybetmez, çukura girme şansı yoktur.
Evet biraz daha uzun ve bu nedenle indirim faktörü daha büyük bir etkiye sahiptir.
Ama aynı zamanda, burada çukura girme şansı olduğu için, düzgün
giderse atlama şansı olacak.
Bu yüzden zaman kazanmak için bir beraberlik alacak ve sadece dolaşmak bu şekilde daha az bir şans elde etmek
için Ama yine de var.
Buradan buradan gidiyor buradan oraya gidiyor.
Potansiyel olarak çukurun içine girebilir, çünkü orada bitebilir ve bu faturaya son verebilir.
Fakat yine de daha az şans bu yüzden devam etsin böyle.
Onların nasıl değiştiğini görmek çok ilginçti; buradan önce sizi hatırlıyorsunuz, böyle gidersiniz.
Buradan böyle gideceksin ve buradan böyle gideceğiz.
Ve şimdi aniden onun değişimini görebiliyorsun.
Şimdi okları döndürelim ve şimdi ve nasıl olup bittiğini görün.
Hatta daha rasgele bir şey doğru görüyorsunuz.
Evet, bu doğrudur.
Ama burada olanlara bir bak.
Şuna bak.
Bunu bekliyor muydun
Ben ilk defa gördüğümde çok etkilendim, kesinlikle beğendim.
Süper değildim, şaşırmadım ve bunu hiç beklemiyordum.
Ve bu, bir insanın üstesinden gelebileceği zamanı bildiğiniz bir örnek.
Tahmin edebileceğiniz gibi yakaladığınız bir şey gibi görünüyor, ancak uygulama yoluyla öğrenme, köpek
örneklerinin aslında bazen normal hayattan daha iyi çalışabileceğini unutmayın.
programlanmış robot köpekler sadece futbol oynayabilir çünkü biz bile göremediğimiz bu fikirleri ortaya çıkarırlar.
Köpekler önceden
Ve harika bir örnek olarak, muhtemelen Asyalıların yukarı çıkmak yerine benim
için neden böyle olacağını tahmin etmiyorsunuzdur.
Sanki yukarı çıksam, çukura atlayacağım yüzde 10 olasılık var.
Ancak savaşa girerek neyi başarıyor.
Zamanın yüzde 80'i geri çekilecek ve devlette kalacak.
Ama zamanın yüzde 10'u buraya gidecek ve ben de buraya gideceğim zamanın yüzde 10'u olacak.
Dolayısıyla aniden artık duvarın içine atlamanın bu yeni yaklaşımında olduğunu görebilirsiniz.
Ateşe gidecek yüzde sıfır şans var ama bu noktadan öyle.
Ve sanki ateş çukuruna girmek istemiyor, böylelikle bon bonsu birkaç kez duvara
ilaçlıyor ve sonra bazı noktalarda sağa ya da sola gidecek, çünkü bu rasgelelik gerçekleşecek.
Ve böylece deneyler sonucunda ilerlediğimde OK'in duvara gittiğim zamanki kadar
iyi olmadığını öğrendi.
Ve eğer bunu düşünüyorsan, bunun gibi.
Bu robot, bir firepit olduğunu düşündüğünüzde, bunun nedeni, bir kare çok küçük bir çıkın
gibi, daha sonra bir uçurum gibi bir dağ gibidir.
Ve bu robot sadece uçurumun kucağında kalıyor ve sağa sola itilmesine kadar beklemeye çalışıyormuş
gibi davranıyor çünkü bir insanınkiyle aynı şeyi yaparsınız, öylece duramaz ya
da uçurumun sağına sarılırdınız demektir.
Ya da böyle bir şey.
Ve umarım sonunda böyle bir durumla sonuçlanmamamız gerektiğini bilirsiniz.
Fakat görsel olarak sadece görsel olarak burada bir şey düşünürseniz.
Ve bu da oldukça yoğun doğru.
ve ben burada olacağım ve ben güvende olacağım ve sonra sadece ben olacağım böyle devam et.
Böylece AI bu fikri ortaya çıkardı ve aynı burada sola gidiyor ve Riskin kavga
ediyormuş ama ben sadece bir duvarı kucakladığını bildiği gibi duvardan çıkarmaya çalışacağım duvara atlamaya çalışın ve
bazı noktanızda bildiğini biliyorum, orada olduğum her seferinde yüzde 10 olasılık
olasılığı var, bir şey olur
Buraya götürdükleri çok ilginç bir yaklaşım ve güzergahların buradan geldiğini görebiliyorsunuz, buradan sağa doğru gidebilir
ve oradan çıkışa veya buraya gideceksiniz ya da sola gidersiniz.
Ve burada bir noktada sola gideceksin ve böyle tekrar gideceksin.
Bu önemli.
Ben bir politika değilim, o yüzden buradan atlayışınızda bile buraya gidecek.
Belki Ve o zaman buradan aslında düz yağmur yağabilir.
Aslında sağa dönebilir ve buradan sonra ben de doğru anlama izin veririm.
Dolayısıyla, pek çok farklı seçenek var, tam da bu yoldışı adamı takip etmeyen, diğer yoldan
gitmek çocuklar.
Bu sadece kendisi için tasarlanmış arzulanan rotalar.
Fakat bunun nasıl işleyeceği aslında farklı olabilir.
Gerçek dünyaya bağlı.
İşte gidiyoruz.
Yapay zeka dünyası budur.
Bir plana kıyasla bir politika budur ve umarım özellikle burada gördüğümüz
şeyler nedeniyle AI'nın yapabileceği şeylerden yavaşça heyecanlanırsınız.
Bunlar AI'ların öne sürdüğü bazı çok büyük virtütüslü kararlar.
Ve AI'yi bu küçük örneğinden bile oynadığınızda görebileceğiniz gibi,
gerçek bir dünyada oynuyorsanız bile bazen insanlar gelebilecek fikir ve kararlar bulacaksınız.
Ve bu, Google Alfa hedefinin, dünya şampiyonu Kore'de geri
dönen Lisa idole şampiyonu karşısında oynadığı oyunlarda yaşananlara tamamen benziyor.
2016 yılında Mart 2016'da oynanacak Kore'de geri bakla oynuyorlardı.
İnsanın 3000 yılda hiç oynamadığı bazı hareketlerle ya da insanlar oyuna alışık değildi.
Ve işte tam da bunun bir örneğidir.
Bu yüzden bir kez daha heyecanlanmaya başladığınızı ve söylem ve ne entegre edebileceğimiz konusunda pompaladığınızı umuyoruz.
Ve ben onu arıyorum.
Bir dahaki sefer görüşürüz.
O zamana kadar tadını çıkarın.
BEN.