Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Bugünün hikayesinde, 3C'deki final a'dan bahsediyoruz.
Avantajdan bahsediyoruz.
Öyleyse işte.
Zaten daha önce aktör eleştirmeni ve senkron hakkında konuştuk.
Ve bu yüzden bugün bakacağımız şeylere bir yol inşa etti ve avantajlı olarak her şeyi
bir araya getireceğiz.
paylaşılan bir sinir ağı ve ardından da yaş ve benzeri arasında paylaşılan eleştirilere sahibiz.
Şimdiye kadar sahip olduğumuz şey, ajanlar arasında eşzamansız ajanlar arasında
Bunların hepsi nasıl oynuyor ve neden bu eleştirmen ajanlar arasında paylaşılıyor.
Şuna bir göz atalım:
Örneğin, bu ajana bakacağımız bir örneğe bakacağız ve belirli bir durumda olduğumuzda ne
olacağını görmek için daha iyi anlıyor ve oyunda hangi hareketi yapacağınıza karar vermeliyiz.
olur, bu bilgi sinir ağına giriyor ve sarmaşık sığınağa gidiyor, sonra da havuza iniyor, sonra da
düzleşmeye devam ediyor ve oradan da Gizli sinir ağının katmanlarını gizlice bırakır
ve çıktı olarak bu politik değerleri siz değerlerinizden biri haline getirir.
Yani bu temsilci bu görüntüyü gördüğü bir durumda ve bu durumda ne
Ve ayrıca değeri eleştirmen olarak alıyor.
Ve böylece, sinir ağlarını işletmek için kullandıklarını bildiğimiz için, bazı hataları veya kayıpları ağ üzerinden geri
yaymak zorundalar.
Böylece ağırlığı güncellemek için bu şekilde bu ne bekler ya da burada kayıplar ile
uğraşacağız.
İki kayıp biziz.
Değer kaybı ve posta var.
Bu nedenle, değer kaybı kısmi kayıpların havuzlara bağlı olduğu ve bu nedenle değerli olduğu değere bağlıdır.
Zaten daha önce baş ettik.
Ödül kazandığımızı biliyoruz ve bir indirgeme faktörümüz olduğuna inanıyoruz, bu yüzden temelde
bu, derin öğrenme öğreticilerinde dönüşümde sözünü ettiğimiz şeyle çok benzerdir.
Temel olarak şebeke belirli bir V değerini öngörüyor ve aynı zamanda şu ana kadar çevrede neyin bildiği konusuna neyin ne
olması gerektiğini tahmin edebiliyoruz; bu değerin devlette ne olması gerektiğini tahmin edebilir ve ikisini
karşılaştırarak değerini hesaplayabiliriz kaybetme ve ardından geri yayınlayıcı ağı ağırlıkları
güncelleme.
İşte bu yeni şey politikanın kaybedilmesi.
Peki bu politika kaybı nedir ve nasıl çalışır?
Eleştirmenin aktörler arasında ya da ajanlar arasında paylaşıldığı bu durumun nihayet
ortaya çıkacağı bölüm de budur.
Böylece palsu kaybını anlamak için Avantaj olarak adlandırılan bir değeri tanıtmamız gerekiyor, bu nedenle
hikayenin bu bölümünün adı Salyut'un tüm bu bölümünde avantaj ve avantaj olarak Q'nun
A eksi V'si olarak hesaplanıyor.
devlet S'de olduğunuz durumda oynamayı seçtiğiniz tüm eylemi o devletin değerini eksi olarak eklemeyi seçtiniz.
Yani temel olarak Q değeri veya
Bu ikisi arasındaki fark budur ve buna buna denir.
Ve avantajı, titreşimsiz hesaplamada kullanılır.
Şimdi, nabızsız hesaplamanın formülüne girmeyeceğiz çünkü oldukça entropi kullanan karmaşıktır ya
da entropinin kullanması gerekmiyor.
Bu formülü incelemeyeceğiz ama bunu sezgisel bir seviyede anlayacağız.
Neden bunu yapıyoruz, neden bu avantajı hesaplıyoruz ve bize nasıl yardımcı oluyor?
Bir saniyeliğine bu öncül bakalım.
Burada Q değeri, sinir ağının bu aracı için tahmin ettiği şeyden gelir ve oynayabileceği eylem için
bu belirli durumda bu belirli eylemi öngörür ve böylece
bu eylemleri gerçekleştirir ve bunlardan birini kaydırabilir ve oynatabilir oysa Wii değeri eleştirmen tarafından
belirlenen değerdir.
Bu, paylaşılan bu bölümde sahip olduğumuz değerdir ve burada bu bölümün paylaşıldığı, eleştirmenlerin oynamak
için anahtar bu, çünkü kredi bu şekilde işe giriyor.
Çünkü seçtiğimiz bir değeri ya da bu eyalette bu aracı için oynamayı seçtiğimiz
eylem var.
Fakat eleştirmen bize o devletin bilinen değerinin ne olduğunu açıklayabilir, çünkü ortaklaşa performans gösteren bütün
ajanlar grubu için genel olarak bilinen değer ne olur, çünkü paylaşımları yanıtlamaz, çünkü ilk
B onlar eleştirmen paylaşıyorlar Hepsi bu kadar farklı bir set için
hesaplanan v değerlerine katkıda bulunuyorlar. z algoritması Tamam diyor.
Böylece eleştirmen, bilinen değerine kıyasla seçtiğiniz q değerinden ne kadar daha iyi bir v
değerini biliyor.
Demek istediği de budur.
Yani temelde budur.
Dolayısıyla burada bir q değeri seçeceğim, burada kullandığım şey yumuşak bir maksimum işlev veya üzerinde veya bir Epsilon Greeli politikası
veya böyle bir şey gibi olsun veya olmasın dayalı politikam temel alınarak.
Ve elbette keşif artı istismar orada bir araya gelecek ama biz
Q değeri seçtik ve şimdi soru ekstra nedir.
Bu, seçilen hareketin o devletin bilinen değeri ile karşılaştırıldığında getirdiği avantajın ne olduğunu ve
bu da avantajın esası olan neyin çarptığı ve daha sonra politika kaybını hesaplamak için kullanıldığı
ve daha sonra politika kaybının tekrar sağlandığı anlamına gelir. geri ağa kadar.
değerini daha iyi temsil etmesi için ağırlıkları ayarlanır ve bu da en üst kısımdır.
Böylece hem bir ağ üzerinden geri yayılırlar hem de ağın eleştiricinin
Ancak burada anahtarın bir parçası da ağırlıkların değerinin bakra olmasıdır.
Post-ofisler, oranları, bu avantajın en üst düzeye çıkarılmasını sağlayacak şekilde ayarlandığını unutuyor; bu sezgisel
anlayışın sezgisel tarafı olduğu için, en iyi hale getirmeye yardımcı olması
için bu politikayı en son ağ yoluyla sonlandırdığımızı görüyoruz Bu avantaj.
Ve bunun anlamı temel olarak bir aracı, q değerlerinin devlet için bilinen değerden daha düşük olduğu
eylemler gibi kötü eylemler ile karşılaştığında olduğu anlamına gelir.
ve daha sonra birdenbire çok kötü bir eyleme rastladığınızı ve eylemi seçtiğinizin farkındadır.
Yani temel olarak tüm ATC algoritması, devletin değerinin X olduğunu
Ve bu coşku için bunun nedeni, hepimizin şimdiye kadar zaten bu çevre için ne
bildiğimizi ve yapmış olabilecekleri şeylerden daha kötüsü böyle bir şeyi yapsak iyi olur.
Bu yüzden daha fazlasını yapmamalıyız.
Ve bu nedenle ağırlıklar bir şekilde olur, böylece daha nadir olur.
Bu yüzden daha az rastlanır.
Dolayısıyla bu kötü eylemi seçtiğimiz daha seyrek bir olay.
olmasını sağlamak için teşvik edin: Wantage'ın o oranda çok yüksek olması gerçekten de güzel.
Öte yandan, q değerinin V'den büyük veya çok daha büyük
olduğu çok iyi bir eylemi seçerseniz, ağ üzerinden Polonya kaybının bu gerilemesi sırasında ağırlıklar güncellenecek ve bunu gerçekten güçlendirecek
şekilde olacaktı. ağırlığın, atrezia algoritmasının o kadar iyi olacağını düşünmesini sağlayacak
şekilde ayarlanacak şekilde tekrar
Bunlardan daha fazlasını yapmalıyım ve bu nedenle ağırlıkları gelecekte oluşması muhtemel
olacak şekilde güncelleştireceksiniz.
yavaş yavaş adapte olacağı ve yavaş yavaş kendiliğinden değeri doğru hesapladığı ve
mümkün olduğunca doğru bir şekilde hesapladığı bir şeye nasıl gireceğini bilirsiniz.
Dolayısıyla bu nedenle ağın
Öte yandan, yüksek bir avantaja sahip eylemleri teşvik eder ya da teşvik eder.
Yani, oraya gidiyoruz, bu da bu bölüm.
Ve şimdi sadece ilk 1'de tartıştığımız şeyleri güçlendirmek için başka birine göz atalım.
Aynı şey burada.
yapacaklarına karar vermeleri gerektiği için, bu bilgi bu görüntünün ağlarına İnternet kullanımını, konvansiyonel olarak kullandıklarında düzleşmelerini sağlıyorlar
Lehre gizli katmanlara, sonra buradan gider bir çıktı elde ediyoruz
ki politikanın akut değerlerini elde ediyoruz, böylece V değerlerini yine iki kayıp elde ediyoruz.
En iyi ajanslar, devletin bulunduğu bir durumda ve sonra ne
Burada değer kaybımız var Polonya kaybı, burada değer kaybı.
Nasýl hesaplanýyor biliyoruz.
Bunu derin Q öğrenmeyle tartışırken ve şimdi de şimdi tartışırken.
Böylece değeri hesaplanır ve ardından politika kaybı gerçekleşir ki, onun için
çıkmayacağımız hesaplanır.
mı? Bu yüzden, belli bir işlemi gerçekleştirdik, seçim politikamıza dayalı olarak, yumuşak Max veya üstü güreş açgözlülük ya
da kullanmakta olduğumuz başka herhangi bir sosyal politika ne olursa olsun, belirli bir hareketi seçtik.
Ancak sezgisel bir seviyede bu avantajı hesaplıyoruz, tamam
Ve sonra aldığımız eylem nedir Şimdi onu paylaşılan eleştirmenlerden gelen bilinen ve değerli devletin değeri ile
karşılaştıralım, bu yüzden bu eleştirmen, şu an bu temsilcilerin hepsini
aynı anda gözlemlediğini düşündüğünüz gibi Bu kişide bir tanesine baktıklarında eleştirmen,
eleştiricinin ortamla hız kazanmasını sağlamak için eleştirmenlere katkıda bulunuyorlar ve
böylece eleştirmenin gerçek ortamda ağırlıkta olduklarını temsil ediyor olmasını sağlamış oluyorlar.
çıkıyor; böylece, gerçek sinir ağının ağırlığı, çevredeki şeylerin durumunu çok
iyi yansıttıyor ve daha sonra bu değere dayanabiliyor ve buradan kullanabiliyorlar.
Burada değer kaybı ortaya
Ve temelde.
Bu ajanlardan tümü bu eleştirmenlere katkıda bulunuyor.
Fakat aynı zamanda bu değerli varlıklar aracılığıyla aynı zamanda eleştirmen bu
kurumların kararlarını veya politikalarını gözlemlemektedir.
Sanki kutuplara bir ok gibi çizmeye çalışıyormuş gibi geriye bakmaya gidiyormuşum gibi ... ok
bir ok ok.
ve bir karar verdiniz diyerek bunu seçtiniz, bu eylemi seçtiniz.
Yaptıkları karara onlara bakmak, bu kararları bu vesiteyle eleştiriyor
Bu harika.
Şimdi avantajı veya dezavantajını hesaplayalım ahırlar, Q değerinin yaptığım
kararı vermiş olabileceğini ya da yaptığım seçim eleştiriye bilinen değeri eksi almayı seçtiğini
bildiğiniz eşittir.
Eleştirmenle ilgili değil.
düşük olacak çünkü politikamız q değerlerine dayalı eylemler seçtiği için Q değeri
ne kadar yüksek olursa seçilme olasılığı o kadar yüksek olur.
Öyleyse Kalika farkı düşük bir fark ise Polonyalıysanız, o zaman, ağ üzerinden
iletilen kayıplarınızı parlattığınızda, ayarlanma şekli ağırlığın böyle olmayacak şekilde ayarlanmasını teşvik edecektir. yine Q değeri
veya Q değeri daha
Dolayısıyla, bir yay Max politikası kullanıyorduysak, o zaman yalnızca en yüksek değerlerden birini seçtiğimizi
hatırlıyor musunuz, bunu konuştuğumuzda daima en yüksek değeri olanı seçeriz.
Aslında aslında yumuşak Max kullanıyordum veya açgözlü politika izlerken, olasılıklı bir yaklaşım
kullanıyorduk.
sonra temelde nerede bunlardan herhangi birini seçebiliriz seçiyoruz ama yüksek küp daha iyi.
Ve
Yani bir şey seçtikten sonra avantaj çok düşük olsaydı, bomba ağı bir dahaki
sefere ekleyecek ve bu eylemin değeri daha az olacak ve belki de başka bir şey
daha olacak.
Bu nasıl bölünür ve öte yandan bu avantajın yüksek olacağı bir şey seçersek
bu politika yasalarına ve daha sonra ağlara gidecek ve biz
bunu daha yaygın olarak gözlemlenen olay olarak güncelliyoruz. senaryo.
Ve temel olarak, Polonya'daki bu kayıp, ağın, bizim yaptığımız şekilde adapte olmasına ya da şekil değiştirmesine yardımcı olur.
İyi şeylerin ahlakı, iyi eylemler ve iyi şeylerdir ve kötü şeylerden daha azını yapar.
İşte bu iki kayıp da bu şekilde ortaya çıkıyor ve bu şekilde tekrar uygun görünüyorlar.
Umarım bu, çok sezgisel bir şekilde giderir; elbette, formüller içine girerek hepsinin
arkasındaki karmaşık matematiğe girmedik ve çok karmaşık ayrıntılara girdik.
Ancak aynı zamanda umarım sezgisel bir şekilde sezgisel bir şekilde.
Bütün bunlar, oyuncunun ve eleştirmenimizin neden bu ajanların eşzamansız veya eşzamanlı taraflarının
olduğunu bildiğinize birlikte nasıl etkileşime girdiğini temizler.
O zaman bu sizin aktörünüz ve eleştirmeniniz ve bu avantajın ve bunların hepsinin nasıl yürüdüğü.
Yani bunlar eşzamanlı ajanlar.
Onlar gidiyor.
Bunu oynamakta ya da çevreyi keşfetmekte ve çevreyle çalışmaktadırlar ve hepsi
bir eleştiriciye katkıda bulunuyorlar; bu da eleştirmenlerin politikalarını gözlemleyerek bunun adı verilen aktörleri
gözlemliyor.
Ve bu vantage ve dolayısıyla bu aracılığıyla aracılığıyla bir kayıptan sonra bir politika ve değer
kaybı ya da sadece şebekeye geri yayılır.
Bir yandan, çevredeki gerçek şeyleri temsil eder.
Aktörler performanslarını arttırmak için bir başka el.
İşte gidiyoruz.
Bu, tartıştığımız sezgiyi hızlıca özetler.
Bir kez daha umarım bu hepsi sezgisel bir seviyede ve tabii ki pratik öğreticilerde
bir araya gelmektedir. Bunların hepsinin Atlanta'daki işleyişiyle ilgili daha fazla konuşacağız, bina sahipleri süreci boyunca size
yol göstereceğiz.
imajı aklında tutmak ve bunun nasıl bir araya geleceğini gösteren bir yol haritası gibi
olması iyi olur, umarım bu işlerin pratik tarafında daha iyi gezinmen çok yardımcı olur.
Ancak bu
Ve bugün ek okumalar açısından iki öğemiz var, bu yüzden ilk önce avantaj sağlanıyor.
İşte John Shulman'ın genelleştirilmiş avantaj tahminini kullanarak yüksek düzeyde demans kontrolünü
sağlıyoruz ve bu, ayağa kalkmaya kalkış sopa figürünün bir görüntüsüdür.
Ve burada avantajlı ve avantajlı olanlarla ilgili daha fazla şey bulabilir ve tüm farklı
avantajları bulacaksınız.
bunun arkasındaki formüllerin nasıl çalıştığını öğrenmek isterseniz; Üstteki üst öğeler
veya formüller ve bu avantajın alanındaki boşluk yoktur.
Tahminde genel bir avantaja sahipsiniz ve hesaplamadaki formlarda aslında kullandığınız avantajlara sahip olursunuz; bu nedenle
avantaj ve
Onları konuştuk.
Bu gitmek için yazılmış.
Size hatırlatmak istediğimiz bir veya daha fazla başka bir unsur olan blog, Arthur Giuliani'nin blog yazısı
dizisidir ve bu da birkaç kez daha bahsettik.
Bu, özellikle A-3 deniziyle ilgili sekizinci bölüm.
Böylece burada başka bir açıklama bulabilirsiniz.
Bu yüzden, neler olup bittiğine dair biraz daha matematiğinizle ve belki buradan bazı ek şeyler
alabilirsiniz.
Her şeyden önce aklımızda tuttuğumuz iki şey, bu blog, pi meşale kullandığımız yoğun
takipçilerdir.
Dolayısıyla bunu aklınızda tutun.
Ve ikincisi, yaklaşımımızı yapılandırmamızın amacı aktif eleştirmen hakkında konuştuktan sonra senkron
bir konuşma yaptık.
görüşmelerinde bir aktör eleştirdi, bu yüzden bunu aklınızda bulundurun, bu yüzden umarım bu da sizi mahvetmez.
Ardından avantaj hakkında konuşurken, Arthur'un bir Synchronoss'la ilgili ilk
Ancak elbette bunun dışında harika bir içerik parçasıdır.
Ve bazı ek bilgiler için kontrol etmenizi öneririz.
Öyleyse, umarım bugünkü dersin tadını çıkarırız.
Ve bir dahaki sefere görmeyi sabırsızlıkla bekliyorum.
O zamana kadar tadını çıkarın.
BEN.