Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Umarım şimdiye kadar dersin tadını çıkarıyorsunuzdur.
Ve bugün, seçim politikalarından hareketle bahsediyoruz.
Pekâlâ, içine girelim.
Daha önce, basit öğrenmemize bir sinir ağı ekleme hakkında konuştuk ve şu
ana kadar derinlemesine öğrenmeye başladık.
Öğrenme kısmı hakkında bir takım öğeler eklemeyi de içeren biraz konuştuk.
Ve bugün, oyunculuk hakkında konuştuğumuz bu bölümden bahsediyoruz.
O halde bir göz atalım.
Yani, burada, parametreleri, devlet aracısını açıkça o ortamda açıklayan vektör olan değerler
girdikten sonra aktardıklarımız var, o zaman tüm öğrenme tamamlandıktan sonra veya
öğrenme bitmeden bile.
Temel olarak, tüm q değerlerini elde ederiz, bu nedenle öğrenmeye ilgi duymuyoruz, şu anda
oyunculuk konusunda ısrarcı oluyoruz, böylece bir kez bu anahtar değerlere sahip olduğumuzda hangisini kullanmamız gerektiğini nasıl anlayacağız.
Düşünürseniz iyi olur.
Q değerleri, küpteki basit tahminlerdir.
Basit öğrenme algoritmasında yaptığımız gibi, en yüksek değeri en iyi
olanını seçtik.
En yüksek IQ değerine sahip olanı bulduktan sonra, sadece bizi en yüksek değeri
getirdiğinden ve Duval'ın hesaplayıcısının Artı DK faktörüne bir sonraki tarihin değerini katlamasını beklediğimiz
derhal ödülünün olduğunu bildiğimizden, bu eylemi gerçekleştiririz.
Ve bu özyinelemeli bir hesaplama, neden neden en iyi değeri alamayacağınızı ve bunun bir
nebze bittiğini.
Fonksiyonu kullandığımız kadar basit değildir ve bu, gerçek seçim politikaları hakkında konuşacağımız yerdir.
Ancak burada görebileceğiniz gibi, yumuşak bir maks.
Dolayısıyla burada gerçekte sadece bir yazılım fonksiyonuna sahip olmak zorunda değiliz.
Örneğin, Epsilon'un açgözlü Epsilon'u yumuşak ve yumuşak Mac'lerimiz var ve bunlar, en çok kullanılan eylem seçim
politikaları gibi tabii ki diğerleri de var gibi farklı eylem seçme
politikalarına sahip olabiliriz.
Örneğin en basit olanı, en iyi seçtiği çok basit bir eylem sosyalüdür.
En yüksek Q değerine sahip olanı.
bu eylem palsını sinirlendirmiyoruz ve neden farklı eylem palsı eylem seçim politikalarımız var?
Ancak neden
Her şey, keşfetmekten sömürüye karşı kaynar.
Takviye öğrenmenin özü budur, çünkü bunu bir süre önce ajanlarınızın bir ortamda
çalıştırdığında, iyi olabilecek bazı sıra değerlerini öngörebileceğini ve sonuçta
ortaya çıkabilecek olabileceğini gösterebiliriz diye biraz konuştık. ve keşfetmek zorunda kalacaklar.
Dolayısıyla, örneğin bu durumda, Q2'nin en iyisi olduğunu tahmin edersek ve sonra Q To alır
ve buna harekete geçer.
Buradan Bölüm 2'ye, sonra da alır bu çok olumsuz bir ödül alır.
Sonra ortam ajanın gitmesine ve patlamasına neden oluyor, çünkü şimdi o
S2'yi çok iyi olacağını düşündüğümü öğreneceğim, ancak çok kötü çıktı.
Sonuçlar çok kötü değil.
Böylece ağlar kendisini güncelleştirebilir, bir dahaki sefere muhtemelen
ruhumu yiyebileceği haldedir.
Çok fevkip bir şey olup olmadığını biliyorsunuz, bence bu, eylemle ilgili
olduğunu öğrenmek için birkaç kez ceza veya cezaya ihtiyaç duyacağınızı biliyor gibi.
bir harekete geçeceğim ve bilek hareketi yapacağım öğrenecek, çünkü şimdi en iyi değeri var.
Ancak belki de yakında farklı
Bazen çevre, ajanı farklı eylemleri keşfetmek için aracı farklılaştırmaya zorlar; ancak bazen temsilci
kendisini yerel bir maksimuma sıkıştırabilir; ilk keşif yoluyla takip ettiğini bulabilir ve bu, ah şu
şekilde güzel bir eylem olduğunu bulabilir: Ben hemen buraya gideceğim.
Ve o d'esprit koleksiyonu.
eylem olduğunu düşünüyor çünkü keşfedilmemiş olması burnuna giderken keşfediliyor ya da sola gitmek keşfetmek doğru
gidişatı keşfediyor ancak içinde bulunduğundan bu özel durumdan inmeye araştırılmadı. tür bu eylemi doğru önyargılı gibi
düşünmek ve düşünmek iyi bir eylem almak tutmaya devam edeceğini düşünmeye devam edecektir.
Ancak problem şu ki en iyi
Almaya devam edeceği gerçek bir ödül almaya devam edecek.
Ancak eğer bu eylem daha iyi olsaydı, bu eylem daha iyi olurdu, ancak bu eylemi bilseydi,
aslında bu eyleme geçeceğini ancak yerel bir maksimuma sıkışmış olmasından dolayı
bu iyi ödülleri almaya başlamış olsaydı ne olurdu? takviye edilmesi.
Bu, kendisini takviye etmeye devam edecek veya şiddet bunu takviye ederek bunun devam etmesi
için iyi bir eylem olduğunu gösterecektir.
Ancak gerçek şu ki, henüz keşfedilmemiş veya keşfedilmemiş olan başka bir hareket var.
Bu çok daha iyi olurdu.
Bu yüzden, yapmak istediğimiz, ajanımızın yerel bir maksimuma sıkışmasına izin vermeyen gerçek bir
seçim politikası oluşturmak istiyoruz.
Evet, sömürü parçası olan iyi eylemler yapmaya devam etmenin önemli olduğunu düşünüyorum.
Bulduğumuz şeylerden istifade etmeyeceğiz.
Fakat aynı zamanda keşif yapmak istediğimiz, keşfetmekten asla vazgeçmek istemediğimiz, hayatta olduğu gibi
öğrenmeyi bırakmaktan vaz geçip ölmeyi öğrenmekten vazgeçmek.
öğrenmeye devam etmek istediğiniz şey var ve ajan öğrenmeyi sürdürmek istiyor.
Büyüyemediğinizde ölmekte olduğunuz veya
Ve bu eylem seçim politikalarının geldiği yer budur.
Yani burada listelenen üç tane var, birincisi Epsilon'un açgözlü, yani çok sade bir
isim. Sanki çok güzel bir isim ve genellikle cerrahi isimler gibi şeyler var.
Aslında değil.
Yani temelde yaptığı şey, en iyi Q değerine sahip birini seçeceğidir ve Epsilon gibi epsilon, diğer yerleri
duyabiliyor, bu sadece bir seçim politikası gibi.
kısımlar, zamanın Epsilon'u yüzünden her zaman en yüksek Q değerine sahip olana benzer satışlar oluşturuyor.
Dolayısıyla bu durumda kayganlaştırmak için kullanıyoruz, böylece El-Q değerlerimizin dışında kalan
Örneğin eğer epsilonu yüzde 10'a ayarlarsanız o zaman 0'a gidersiniz. Eylemin rastgele seçileceği zamanın
yüzde 10'undan 1'i.
Yani yüzde 90'ı hala en yüksek değere dayalı en iyi eylemi seçeceksiniz.
Fakat zamanın yüzde 10'u rastgele bir eylem seçecek.
Üniforma, kesinlikle rastgele bir işlem yapıyor olacak ya da epsilonun
0 için sıfır noktasına gelmesini söyleseydiniz. 05, bu, acentenin eylemi en yüksek değere sahip olduğu zamanın yüzde 95'inde
olduğu anlamına geliyor.
Ancak zamanın yüzde 5'inde hala seçme ve rasgele eylem olacak.
Yani orada olacak ve keşfedilecek.
Dolayısıyla, Epsilon'un yumuşaklığı, FCL açgözlü olarak adlandırılmasına neden böyle benzediği gibi
çok benzer. O zaman, açgözlülükle, o küçük bölüm dışında hareketi iyi bir eylem seçersiniz.
Bazı zamanlar
EPS anlaşması ne kadar düşük olursa, Lepp Epsilon'u düşüreceksiniz, o kadar tepki verici bir şekilde,
en uygun eylem olan bu tür eylemi seçiyorsunuz ve keşif için ayrılma şansınızı o kadar
az bırakıyorsunuz, Epsilon'un yumuşak karşılığı.
Yani temel olarak zamanın bir Epsilon'u eksi seçtiğinizi rasgele seçiyorsunuz.
Epsilonlar 0'dan hoşlanırsanız. Yüzde 1 - 10'dur ve o zaman bu eylemi yalnızca% 10 alır.
Ve rastgele bir işlem seçtiğiniz zaman yüzde 90'ı.
Dolayısıyla, çok basit olan ters çevrilmiş algoritmalar ve yumuşak bir Max, bir sonraki adıma benzemektedir ya da
epsilon açgözlü algoritmanın epsilon'u üzerinde her şeyin haklı ve ikisinin de bir yeri
vardır da, daha gelişmiş bir versiyonudur.
Uygulamalı türde kodlamamızda kendi kendini finanse edeceğiz.
Bu yüzden soft max hakkında biraz daha ayrıntılı olarak konuşacağız.
O halde bir göz atalım.
Bu yüzden bir sonraki umarım geçelim.
Ebsen'in oldukça basit bir algoritma olduğu konusunda oldukça net.
Bunu seçin.
Çoğu zaman bazen gidip keşfetmek dışında.
Ve şimdi bu araştırmayı yapmak neden önemli olduğunu göreceğiz, böylece optimizasyon sürecinde
yerel maksimumlara ulaşamayacağız; şimdi yumuşak Mac'ler hakkında biraz daha konuşacağız.
Kursun sonunda yumuşak izler üzerine bir eğitim var.
Sanırım bu, Maxim'in konseptinden bahsettiğimiz bir ek 2 numaralı olduğunu düşünüyorum, çünkü burada biraz
yenileniyorsunuz, böylece sinir ağlarından bahsediyoruz ve bu arada konvolüyonel olarak hepimiz
kapsayacak.
Bu bölümde evrim sinir ağlarını kapsamıyoruz.
Elbette bu bölümde hala bir vektör kullanıyoruz.
Ancak dersin bir sonraki bölümünde, Doom oynamak için bir AI yarattığımızda, konvolüsyonel sinir
ağı kullanacağız; dolayısıyla, ilişkisel sinir ağlarında bakıp kendinize bir max max
almanız faydalı olabilir. fonksiyonu veya yumuşak Max hakkında biraz daha bilgi sahibi olabilirsiniz.
Dönüşümsel sinir ağlarını aldıktan sonra ve tabii ki daha sonra.
Ancak burada hızlı bir tazeleme var. Yani burada, köpek veya kedi olup olmadığına karar veren konvansiyonel
sinir ağımız var.
Yani burada, bu nöronlar arasındaki oylama süreci var ve bu, onun kabarık
kulaklarında bildiği özelliklere sahip olduğunu söylüyor. Sivri sivri yüz türü ve özellik çeşitleri gözle
gözlerin türüdür. gözler bir köpe ait tüm bu özelliklere bakar.
Yani yüzde 95 şans bir köpek ve onun yüzde 5 şansı bir kedi.
şu ki, bu değerleri birliğe ekleyerek nasıl alacağımız hakkında konuştuğumuz Tauriel'e nasıl girdik.
Ancak soru
Yumuşak max fonksiyonu için uyguladığımız değerler ne olursa olsun, bütün bütün
sinir ağlarımız konvolüsyonel sinir ağı artı tam olarak bağlantılı
Lares'tir;
Burası yumuşak bir sonraki işlevi için formülü sunduğumuz yer.
Neye benzediği.
Sonra da bu değerleri aldık.
Ve bu yüzden temelde hızlı bir yenileme.
Bu yumuşak Max için formüldür.
Bununla birlikte, sahip olduğunuz birçok çıktıların önemsiz olması gerekir.
Onları alacak ve bunları hepsi benim için olduğu kadar büyük olursa olsun 0 ile 1 arasındaki
değerlere çekecek ve alt kısımda toplam bir toplam olduğunu göreceksiniz, böylece bu
cihazlar sıfır olacak.
Ve bu değerlerin hepsi birer birer katacak.
Ve bu bizim için çok faydalı olur, çünkü soft max fonksiyonunu kullandığımızda ne olur bu
değerleri elde edersek bu en iyi görünümü seçeriz.
Ancak gerçekte ne olur, oraya ulaştığımız bu değerler doğru rakamlardır.
Bu bir numara çeşidi.
Hepsi bir taneye kadar katılmak zorunda değildirler ve 0 ile 1 arasında olması gerekmez.
Sadece birkaç numara.
Ancak yumuşak Max'i uyguladığımızda, gerçekte böyle numaralar elde ettiğimiz en iyi olanı seçmeyiz; böylece
sayılarımızı 0 ile 1 arasında bir aralıkta alıyoruz ve bu da 1'e kadar ek oluşturuyor.
Ve biliyoruz ki başka bir şey, bir taneye kadar ekler.
burada q değerlerimiz var ama burada aniden yumuşamış ya da olasılıklar var diyebiliriz.
Olasılıklar muhtemel olasılıkların daima 1'e kadar çıkması gerektiğini biliyor olabilir, bu yüzden
Bu nedenle, bunun en iyi eylem olma ihtimalinin yüzde 90 olduğunu söyleyebiliriz.
Bu lezbiyen bölümü yüzde 5 2 oranında yüzde 3 biliyoruz çünkü değeriniz ne kadar yüksekse o kadar
iyi olur.
Dolayısıyla onları 0-1'e çekersek bunlar olasılıklar olur ve onlarla bu şekilde başa çıkabiliriz.
Ve bu nedenle şimdi eylem seçildiğinde ve biz Q2 ile bu şekilde gelişiyoruz.
Ancak buna yakından bakarsanız, bu yüzde 100 sıkı bir değer değildir ve bunlar Saroo yüzde 0 değildir.
Yani bu yüzde 5 ila yüzde 3 arasında.
Dolayısıyla, algoritmada araştırmayı korumak için yumuşak Max'i uygulamak için en doğal yol, bu kesin
olasılıkları, o eylemi ne sıklıkta yapacağımız gibi kullanmaktır.
Dolayısıyla, bu olasılıklar aslında aldığımız bu eylemlerin dağılımını ortaya koyuyor ve böylece temel
olarak yumuşak Max, sömürüyü ve araştırmayı birleştirmenin bir yolunu bulmamızı kolaylaştırıyor.
En iyi en iyi eylem her zaman için en yüksek Q değerine sahip olması nedeniyle yüksek
ihtimale sahip olacak ve bu nedenle bunları dağıtımımız olarak kullanacağız ya da biz
söyleyeceğiz. Tamam alacağız Q2 zamanın yüzde 90'ını ancak zamanın yüzde 5'ini, ilk çeyreği almamızı ve
yüzde 2'lik kısmımızı elde ettiğimiz zamanın yüzde 3'ü ve yüzde 3'ünü 4. çeyreğe alacağız.
Ve buradaki güzellik ayrıca, bu değerlerin ağa girmesiyle ve bu ajan
giderek güncellediği için, ortamla ve bu güncellemelerle daha fazla aşina hale geldiği için bu değer, örneğin
bunu tespit edebileceği şekilde olabilir bu değer aslında daha az veya bu aslında
daha yüksek ve bu olasılıklar da bir ajan geçtikçe değişecektir.
Her ne kadar burada olsa da Choo-Choo var.
Kimse zamanın bazen yüzde 5'inin daha kesin olması için Q1'i seçeceğiz ve
bazen de bir eylem yapmak üzere harekete geçeceğini söyleyemez.
üç iki oranında iki adımla harekete geçecek ve harekete yüzde 3 oranında bir katkı yapılacak.
Bazen zamanın yüzde
Dolayısıyla, yeterli iterasyona sahip olduğumuz sürece her aksiyon bu süreçte oynamak için bir şansa sahiptir; bir
ajan bu devletler vasıtasıyla çok ve çok kez geçmektedir.
Ve bu, her türlü derin öğrenme algoritmasının bu şekilde birçok kez yapmak
istediğiniz şekilde işlediği şeydir, böylece deneyimden öğrenirsiniz ve burada görebileceğiniz gibi çok
doğal bir geçiş olur.
bazı mantıklar içeren rastgele bir yüzde 10 değil aynı zamanda Zaman rasgele bir
eylem seçiyoruz ancak bunu yaptığımızın arkasında ve keşfettiğimiz temel değerlere dayalı bazı mantıklar var.
Sadece rastgele bir Epson öfkeli algoritması gibi değil, sadece rasgele
seçtiğimiz eylemleri yumuşak maksimal değerlerine dayanarak seçmemizin yanı sıra arkasında
Ve bu yüzden bu derste kullanacağımız eylem seçim politikası budur.
İsterseniz, Ebsen açgözlü eylem bölümü Polsce'yi kesinlikle kontrol edebilirsiniz, ancak ağırlıklı olarak
Yumuşak Max eylem bölümü politikasını kullanacağız ve sizin için ilginç bir okumam
var.
Bu yüzden buna, 2010 maddesinin değer farklarına dayalı takviye öğrenmede adaptif Epsilon
açgözlü araştırması denir.
İlginçtir, çünkü Mike Michel Michelle ve Miquel toksiklerinin nasıl kullanılacağından emin değilim, Algren'in
ve ayarlanmış Epsilon açgözlü algoritmasını tanıtır ve burada görebileceğiniz VDB VDB algoritması veya epsilon
açgözlü VDB algoritmasını denir.
Ve aslında Ebsen açgözlü ve yumuşak Max ile
kıyaslar ve esas olarak arkasındaki ana fikir, aracının bulunduğu epsilon değerini ayarlamaktır,
ajan mutlaktır.
Aracı devlet hakkında çok emin olsaydı Epsilon daha küçük olmalıydı, bu yüzden ajan
cevaplandıysa daha az keşif olmalı Epson daha yüksek olmalı daha yüksek olmalıdır.
Yani 2010 yazısı.
Bu yeni önerilen algoritmanın yaygın şekilde kullanılıp kullanılmadığı veya toplulukta kabul görülen bir şey olup olmadığı veya yapay
Times'ın bu öneriden bir şekilde bir yol bulması durumunda emin değilim.
Ancak bununla birlikte, Epsom Ingredion'u yumuşak Naxal'ın size Subha sitesini zorlama fırsatı
verdiğiniz konusunda yardım ettiğiniz eylem seçimi politikaları
hakkındaki bilginizi güçlendirmenize kesinlikle yardımcı olacak ve insanların yapay zekayı iyileştirmek
istediklerinde aslında hangi yönde düşündüklerini de görebilirsiniz. Elche'nin yapay zekasının sınırlarını zorlayan ve zarfı
bu alandan zorlayan gerçekten enteresan algoritmalar oluşturmayı planlıyorsanız, bu, insanların hangi
yönde çalıştığını bazen hangi yönde düşündüklerini görebilmeniz için iyi bir yol olabilir Yapay zeka normlarını
veya daha sonra 2010'da var olan normları iyileştirmek.
İşte gidiyoruz.
Umarım bugünün eylem seçim politikalarıyla ilgili eğitimden hoşlanıyordunuz ve biz hapsedici açgözlü Epson
tuzu ve yumuşak Mac'ler hakkında öğrendik ve şimdi şeylerin pratik yüzü için daha hazırlıklısınız.
Ve o notada bir sonraki adımınızı bekliyorum.
Ve o zamana kadar AI zevk.