Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Ve bugün Mark'ın karar süreçleri veya M'den bahsediyoruz. D. Bugün elimizde olanı görelim.
Bu yüzden son kez bir harita konsepti üzerinde durduk.
Belman denklemine dayanan değerleri
hesapladığımız için, bu haritayı bu labirentte temsilcimiz için türetebiliriz.
Ve temelde bunun anlamı, bir acentenin başlangıcı nereden başlarsa başlasın diyelim.
Bitiş çizgisine ulaşmak için hangi adımları atacağını bilir, böylece sadece sağ yukarı gider.
Doğru ve bitti.
Ve burada soru şu ki.
Gerçekten bu kadar basit mi?
Takviye gerçekten daha iyi bir kelime sıkıcı olmaması nedeniyle bildiğiniz mi öğreniyor mu?
Bu evet.
Bir kere matematik yaptıktan sonra yapmanız gereken tek şey onları tamamladınız.
Aslında gerçek şu ki o kadar basit değil.
Ve bu iyi bir şey çünkü bu ders bizim
için daha ilginç kılıyor ve aslında çok daha karmaşık problemleri çözebiliriz.
Dolayısıyla bir süreç izi geliyor.
Ama önce iki şey hakkında konuşacağız.
Deterministik arama ve deterministik olmayan aramaya giriyoruz.
Öyleyse deterministik arama kavramından bahsedelim.
Bu bizim labaratuardaki temsilcimiz ve deterministik arama,
eğer ajan yukarı çıkmaya karar verirse, o zaman olacak% 100 ihtimal yükselmeye karar veriyor demektir.
Tam da böyle olacak.
Başka seçeneği yok.
Bir kere bir kez yukarı çıkın veya yukarı oku tıklayınca yukarı çıkacağını söylüyor.
Başka seçeneği yok.
Öte yandan nondeterministic arama, ajanımızın yukarı çıkmak istediğini söylediği zamandır.
Aslında onlar birkaç seçenek.
Örneğin, üç seçenek olabilir ve
üç seçeneğin bulunduğu bir örnek aramaya devam edeceğiz ancak,
rastgeleliğin farklı olabileceği soruna bağlı olarak farklı olabilmesi için
üç sınır olmak zorunda değildir. Bizim durumumuzda,% 80 ihtimalle yükseldiği üç seçenek olabilir.
Ama o zaman yüzde 10 ihtimalle yukarı çıkmak istediği için aslında sola döneceğini söyler.
Çünkü çevresi böyle çalışır, yaşadığı dünya böyle.
Ve yüzde 10 ihtimalle bir daha kontrol edersek, aslında doğru gidersiniz.
Ve bu durumda firepit'e düşecek.
İşte böyle işte.
bir örneğidir ve bunun gerçek
noktası, gerçek dünyada gerçek dünya probleminde gerçekte neler olabileceğinin gerçekçi bir
modelini yapmaktır; çünkü nadiren böyle durumlar alırsınız bir şey yaptığında ve tam olarak bu şekilde olur.
Bu stokastik olmayan bir sürecin nondeterministik olmayan bir kesin araştırmanın
Ve bunu oyunlar açısından düşünseniz bile, Pac-Man oynayan bir acenteniz olduğunu söyleyelim.
Her zaman öyle değil, öyle ki o karede ayakta durursa yukarı çıkıyor.
Her seferinde aynı sonucu alacaktır.
Gerçekten yukarı çıkacak ama bir durumda her iki durumda bir hayalet tarafından yenilmeyeceksin.
Bir hayalet tarafından yenilecek.
Gördüğünüz gibi, bazı rastlantılar var,
çünkü hayaletler nasıl hareket ettiğine bağlıdır ve her zaman aynı şekilde hareket etmezler.
Her zaman aynı lokasyonda başlamazlar.
Dolayısıyla, çok mantıklı, çok
acayip bir şey var ki, ajanın kontrolü altında olmayan bir şey var; bu da,
bunu nasıl baş edebileceğimizi ve nasıl baş edebileceğimizi öğrenmemiz için bize sunmanın
bir yoludur. Belman denklemini tüm takviye öğrenme sürecini nasıl etkilediğini etkiler.
yalnızca sola çıkacağınız ya da sağa
ya da sola gitmeniz ihtimaliniz yüzde 10'a inerseniz yüzde 10 şansınız varsa, doğruysa,% 10 şansla bazen
sonuna kadar sınırlandırılmış bir yukarı ya da aşağı ince bir ihtimal var, tam olarak bir probleminiz olabilir.
Ancak aynı zamanda tesadüfi şüphesiz, oraya giderseniz oraya giderseniz sağa ya da sıcaklığa gideceğiniz ve
Bazen imkânlar farklı olabilir.
Bazen rastgele olma durumu, bu örneğe benzer şekilde kaynatılmış başka bir şey haline gelebilir.
Seni yiyen Pacman hayaletleri seni yemiyor ya da farklı bir şeylere kaynatıyor olabilir.
Mesela, orada olduğu gibi, ajan Doom'u oynuyor ve bir canavar gibi
bir şey var, bir de canavar gibi bir şey var ve diğer
durumlarda da eğer hepimiz vurulup vurulmazsak bir ihtimal varmış gibi.
Ve bu yüzden ve böylece acentelerin kontrolü dışındaki bir şey tahmin edemediğim bir şey.
Burada nondeterministic aramada modelleme yaptığımız şey bu ve burada
iki yeni kavrama süreçlerin bir işareti ve / veya sürecin bir
işareti ve karar sürecinin işareti işareti yaklaştı bu yüzden bunlara bir göz atalım.
Ve ne kadar tanım ve metin koymaktan hoşlanmadığımı biliyorsun.
Fakat bu durumda bunun üzerinden geçilmesi bizim için gereklidir.
Öyleyse bir göz atalım, stokastik bir sürecin mülkiyet izi var.
Sürecin gelecekteki durumlarının koşullu olasılık dağılımı ve hem
geçmiş hem şimdiki durum, yalnızca öncesindeki olayların sırası yerine mevcut duruma bağlıdır.
Bu özellikteki bir işleme bir işaretleyici denir.
Çok karmaşık tanımı ve biraz tanıttığınız
gibi, sadece kendisi ile çelişmekle kalmaz, aynı zamanda kendine ters düşen bir hisle de karşı
karşıya kalır; öyleyse, bu noktada, durumunuza göre değişen pozitif varlığın koşullu olması şarttır.
Fakat aynı zamanda yalnızca mevcut duruma bağlıdır.
Öyleyse bundan alıkoyma.
Ben basit şartlarla parçalayacağım, böylece mülkiyet işareti gelecekteki devletleriniz olacak.
Yani sadece seçiminiz değil, her şey.
Seçiminiz ve ortamı, yalnızca
o ortamda aldığınız eylemlerin tümünün sonuçları, yalnızca şimdi nerede olduğunuza benzeyecektir.
Oraya nasıl gittiğine bağlı değil.
Ve bu kadar.
Yani bu halka açık bir meseledir ve bu mülkiyete sahip bir işleme piyasa süreci denir.
Öyleyse bir örnek vermek gerekirse, ajan
burada olursa ve eğer gitmeye karar verirse gider, gidebilir.
Bizim durumumuzda, deterministik olmayan arama örneğimizde aslında sola ve sağa gidebilir.
Tamam.
Bunun
nedeni, bizim ortamımızdaki bu şehri sopa ile çevremizdeki o rastlantılığa sahip olmamız.
Dolayısıyla bunlardan herhangi biri olabilir.
Ama önemli olan burada bunun bir süreç izidir olması, çünkü burada nasıl olursanızun umurumuzda değil.
Burada üstten gelebilirdi, burada soldan gelebilirdi ve buradan aşağıdan
gelebilir ve burada sona ermiş olabilir.
Burada 100.000 kere dolaşıp oynamaktan hoşlanıyordu ve sonra buraya geldi.
Önemli olan şeyin şu anda hangi devletin bulunduğu daha önce olanın önemi yok.
Ve bu yüzden sola veya sağa veya yukarıya
doğru çıkma ihtimalleri şu anda bu durumda olduğu zaman da aynı olacak.
Ve bu temelde sadece şimdi burada olmadan önce olanların önemi olmadığını söylüyor.
İçinde bulunduğun durum bu.
Ve unutmayın ki devlet sadece ayakta durduğu anlamına gelmez.
da soldaki canavarlar gibi ya da biliyorsunuz,
içinde bulunduğunuz durum ne olursa olsun üstten veya altdan gelen hayalettir. .
Devlet, ortamdaki temsilcinin tamamının devletidir, öyleyse sağ taraftaki canavarlar ya
Nasýl olduđun önemli deđil,
o eyalette olađandýđýn nasýl ve nasýl geldiđi önemli değil.
Şimdi gelecekte ne olacağı yalnızca bulunduğunuz devlet tarafından belirleniyor.
Artı onları alacağınız eylemler artı tabii bunun üzerine bindirilen rastgele.
Bu, işlemin bir işareti ve bir işaretleyici karar süreci veya bir MVP veya işaretçi karar süreci.
Sonuçların kısmen rastlantısal olduğu ve kısmen karar verme kontrolünde olduğu
durumlarda karar vermede modelleme için matematiksel bir çerçeve oluşturun.
Karar süreç sürecinin işaretinin süreçten
farklı ve farklı tüm kavram işareti olduğunun anlaşılması çok önemlidir.
Matematiksel bir çerçeve gibi var.
Fakat aynı zamanda, bir süreç
işaretinin ne olduğunu anlamamızın önemli olduğunu düşündüm çünkü karar
sürecinin işareti anlayışında hala yardımcı olduğuna ve karar sürecinin bir işareti olduğuna inanıyorum.
ve neler olduğunu
tam olarak kontrol ettiği, ancak şimdi biraz daha az kontrole sahip olduğu ortamda yaşıyor.
Bu, şimdiye kadar şimdiye kadar üzerinde tartıştığımız şey, ajanların daha önce onun gibi kontrol sahibi olduğu
Yukarı çıkmaya karar verebilir, ancak aslında biliyor.
Tamam, eğer yukarı çıkarsam bir
maymun şansı var, bu girişimlerden vazgeçip şansımı bırakıp şans gidecek.
Dolayısıyla her şey tamamen onun kontrolü altındadır.
Bu ortamda bazı tesadüfler vardır
ve bu, karar verme sürecinin ve Markov karar sürecinin
bir işareti, ajanın bu ortamda ne yapacağını anlaması için kullanacağı çerçevedir.
Bazı toksisite ile bazı rastlantısallıkları olan bir çevre var.
Ve şimdi temsilci, örneğin sola veya sağa doğru çıkması gerektiğini seçmeli.
Bu kararı vermek zorunda.
Ne yapacağını bilmiyor.
Ve bu kararın uygulanması
için bir çerçeve karar almaya yönelik bir işareti kullanacak ve bu kararın nereye gideceğine karar verecek.
işareti olarak adlandırılır, bu nedenle ajan çevreyi aynı
anda kullanan çerçeve, aracının bir pazar karar süreç ortamında çalıştığına atıfta bulunur.
Ve temelde bu ortamı oluşturan bu problem, karar sürecinin
Ve temel olarak burada iki kavrama
sahibiz: Sürecin işareti, bu ortamın PA'nın çalışmaları için tasarlandığı yoludur.
Şimdi nerede olduğunuza göre olan geçmişe bağımlı değildir.
Karar sürecinin işareti olan aynı zamanda, aracı
bu ortamı çözmek için kullanacağı çerçeve de var.
İyi haber şu ki, karar verme sürecinin işareti
ya da bahsettiğimiz bu çerçeve aslında Belman denklem sorusuna Belman denklemine eklenmekle birlikte sadece biraz daha sofistike.
O halde bir göz atalım.
Şimdiye kadarki Belman denklemimiz budur.
Bu mümkün olan tüm eylemlerin azami.
Bu durumda, bir devlette olma
değeri, o devletten alabileceğiniz olası tüm eylemlerin azami seviyededir.
Maksimum, bu eylemi
o devlette artı bir indirim faktörüne asal olan bir sonraki devletin değerinin çarpımı ile elde edeceğiniz ödülten alınır.
Şimdiye kadar sahip olduğumuz şey de bu.
Şimdi tüm süreçlerimizde biraz rastlantısallığımız
olduğu için bu bölüm değişecek çünkü hangi devletin sonuçta gerçekleşeceğini bilmiyoruz ve
ne olacağını bilmiyoruz, eğer biz yukarı çıkarsak çıkacağız. up veya bırakılacak olması
doğru olacaktır, bu yüzden bunu bir sonraki randevunun beklenen değeri ile birlikte koymamız gerekir.
Yani burada bunu değiştireceğiz, sonuçta sonuçta olabilecek üç olası durum var.
Ve bu yüzden bu değerin bir asal değeri olan bir değeri değiştirileceğiz.
Başbakanın asal olduğu görüşündedir.
Ve bu devlette üç Bryne değerimiz var.
Şimdi, aslında yüzde 80 oranında girmeyi düşündüğümüz durumu
çarpacağız, çünkü bu duruma geçme olasılığı artı bu devlete girme olasılığı yüzde
10 artı insanların devlete girmesi bu yüzden bu, beklenen değerimiz,
istatistiklerden alacağımız beklenen değeri devlete girdiğimiz takdirde almamızın bir nebze ortalama olduğunu
ve ne alacağımız ortalamasının ne olduğunu ve daha sonra burada değiştirdiğimizi varsayalım.
Sonra bu saldırganlığa kavuştuk ve çok büyük bir hızla atladığı için çok hızlı bir şekilde atlıyor
ancak eğer dikkatli bir şekilde bakarsanız Max'in burada Max dediği gibi aynı şeyi göreceksiniz.
O zaman S'lerin S ve A'ların R'si var ve onlar da gamma almışsın, gamma almışsın.
Ve nihayet burada vin var.
Yani hangi devletlerin içine gireceğini bildiğin kesin bir araştırma olduğunu tam biliyordun.
Şimdi, V'i aldığından beri hangi devletin içine gireceğini bilmiyorsun.
Bulunduğunuz veya gelecekteki durumunuzun
beklenen değerini alıyorsunuz ya da basit terimlerle, elde ettiklerinizin ortalamasını alıyorsunuz demektir.
Yani biliyorsun, 30 artı yüzde
3'lük bir şans bu Artı'nın temel olarak üç bölünmesi gibi bir şans olacaktı.
Fakat bu durumda, ortalama ortalamada olduğu gibi değil.
Buradaki olasılıklar nedeniyle ağırlıklı ortalamadır.
Bu aşamada, bu aşamada olduğunuzda, bu
asal değerin asal zamanı ve bazılarının, biz olduğumuza varabileceğiniz tüm bu
asalları aşması için bu eylemi gerçekleştirme olasılığınız var demektir.
Tam olarak ne üç, bir iki üçümüz vardı.
Bunları ekleyin, bunları ekleyin.
Burada aynı.
Bir, iki, üç.
Onları olasılıklarla çarpın ve ekleyin.
Ve bu senin yeni Belman denklemin.
Tebrik ederiz.
İleriye gitmek için birlikte çalışacağımız şey budur.
Ve karar süreçlerinde
kullanılan çerçeve budur, bunu çözen çerçeve budur.
Ajanlar, kontrol
edemediği rasgele olayların meydana geldiği bu tüm olası stokastik olmayan kararsız arama problemini çözmek için kullanıyorlardı.
Dolayısıyla bu çok daha karmaşık.
Ama gördüğünüz gibi, yavaş yavaş inşa ettik.
Şimdi zaten bildiğimiz bu bilgiyi zaten biliyoruz.
Bununla ilgili endişeler var.
Bunu biliyoruz.
Ne olduklarını biliyoruz.
Tek yaptığımız
şu ki bu bölümü buraya getirdik çünkü eylemde olasılıklar var veya sonuçların olasılıklara dayalı olduğuna dair nondeterministic üzerine sonuçlar.
Ve işte gidiyoruz.
Karar verme sürecinin bir işaretleyicisinin ve arkasındaki temel denklemin böyle işlediği budur.
Bir kez daha gerçek dünyadaki sorunlara gerçek ya da Sinatras'a hatta oyun
senaryolarına daha çok benzeyen bir şeydir çünkü her şey basittir.
Herkesin biraz rastlantısallığı vardır ve her zaman belli
bir durumda bir harekete geçmeyeceği gibi her zaman Nawal da aynı sonuca yol açmayacaktır.
Ve ileriye doğru gidişle uğraşacağımız
şey bu ve işler daha ilginç hale gelecek.
Umarız bunun için heyecanlısın ve bundan sonra ne olacağını görmek heyecanlı.
Ve bu arada, bu sefer bir göz atman için harika bir kağıt buldum.
Çok uygulanmış bir kağıt.
Yani bu gerçekten okumak gerçekten ilginç.
Buna, Mark'ın karar süreçleri sürecinin
uygulamaları üzerine bir anket denir ve 1993 yılında beyaz tarafından yazılmıştır.
Bağlantı var ve
Markov karar süreçlerinin aslında gerçek hayatı modellemek için kullanıldığı örnekler göstereceğim Sinatras, bundan son derece heyecanlandım düşünüyorum.
Örneğin nüfus toplama örneklerinden çok etkilendim.
Diyelim ki sizde bir balıkınız olduğunu ve bu yıl ne
kadar balığın balık olabileceğine karar vermeniz gereken balık nüfusunun ne olduğunu bilirsiniz.
Yani şu anki durumunuz bu.
Aldığınız eylem bu sene kaç kişiyi vurmuş olabiliriz.
Peki bunun olası sonuçları ne kadar yukarı ne var.
Gelecek sene kaç balta alacağız.
Kaç balık, yıl sonra, sonra da vereceğiz.
Ve deterministik değil, çünkü bir saatte alırsanız ve gelecek
yıl nüfusun yüzde 90'ında alırsanız, yüzde 100'e geri döndüğünüzü tam olarak vaaz olarak nitelendirmezsiniz.
Kontrolümüz dışında olan bazı rasgele faktörler var ve
bu nedenle ne olacağını anlamalıyız. Neyin gerçekleşeceğini modellemeliyiz ki
bir piyasa kararının tarımları işlediği budur.
Mahsulleri hasat gibi bir şey gibi
bir örnek var ne kadar hasat biz hasat ne kadar mahsul yok.
el altında.
Bir sigorta şirketi gibi finans ve yatırıma baktığım bir başka raporda, gün, yıl ya da belirli
bir zaman diliminde yatırım yapacağım kaynakların ne kadarının olacağına karar vermeliyiz ve bu belirli faktörlerin kontrolü
Örneğin, piyasa hareketlerini biliyorsunuz,
neler olabileceğini bilmiyorsunuz, bu yüzden aslında bir şekilde model almanız gerekmektedir.
Bunun için kullanılan karar süreçlerinin bir işareti.
Böylece burada çok sayıda ve çok sayıda örnek görebilirsiniz.
Ve bu, her biri için düşündüğüm örnek sayısıdır.
spor örnekleri bile biliyorsunuz, bu da çok ilginç.
Ve spor ve salgın hastalıkları ve motorlu sigorta talepleri teftiş ve bakım ve onarım işleri için
Şuna bir bak.
Sadece
hey hakkında bir fikir vermek için, bu sadece Matrix türüne ait varsayımlarla yapılmış değildir.
Aslında gerçek dünya
senaryosu bu yüzden daha iyi bir anlayışa sahibiz ve bu, promosyon videolarında skorlar için konuştuğumuz şey ya
da sana ilham verecek olan dersin açıklaması ve fikir vermek için sezgileriniz. Gerçek yaşamda AI nasıl kullanılacağı için.
Bu senin fırsatın.
Anlamak için bu kağıda bak.
Tamam, bu yüzden karar verme sürecinin izini sürdüreceğiz.
Gerçek hayatta neye benzediğini gerçekten çok iyi
biliyorsunuz ve bu gelecekte dünyayı daha iyi bir yer haline
getirmek için nasıl başvurabileceğinizle ilgili bazı fikirleri tetikleyebilir ve bu konuda çok mutlu oluruz.
Dünyayı daha iyi bir yer haline getirmek için bu derste öğrendiklerinizi kullanabilmeniz mutluluk vericiydi.
Bunda ne harika.
Öyleyse bu notada umarım bugünkü eğitimden hoşlanırsınız.
Gelecek sefer görüşürüz.
Ve o zamana kadar AI zevk.