Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Bugün her üç görünüşte dünyaya yolculuğumuza devam ediyoruz ve ikili bir C nin
senkron yüzü hakkında konuşuyoruz, böylece senkronize avantaj kısaltmamız var.
Aktif eleştirmen.
Ve bugün burada senkronun ne anlama geldiğini bulacağız.
Ve bir adım geri dönelim.
Şimdi, Asya'nın belirli bir durumda olduğunu öğrenmek için bu dersi ne başlattığımıza
bir göz atalım.
Devleti gözlemliyorlar.
Bu durumda devlete kararlar veriyorlar ve sonra devlet yeni bir devlete dönüşüyorlar;
ayrıca ödül alıyorlar.
Bu eylemi veya bir çeşit ödül almak için verilen ödül de ceza olabilir ve yeni bir
hale gelir.
Ve şimdi bunu temel alarak yeniden bir adım daha atıyorlar.
Bir ödül alırlar ve yeni bir devlet olurlar ve başka bir eylem alırlar
vb. Ve böylece bütün takviye öğrenmesinin temelini oluştururlar.
Ayrıca, derin öğrenme ve derin konvansiyonel öğrenmeyi sürdürmede öğrenmede kullandığımız şey bu ve ajanlarımız
kademeli olarak daha karmaşık ve daha karmaşık ortamlar atmasını sağladı.
Ancak şimdi daha iyi bir konsept sunacağız ve hatta daha da ileri bir seviyeye geçeceğiz.
A-3'te bu eşzamanlı unsurla tanıtılan şey, bir ajan çevreye
saldırmak yerine.
Üç ajanı ya da aynı çevreye saldıran çeşitli ajanlar ya da birkaç aracı var.
Ve buradaki anahtar, senkronizasyon olarak adlandırılmasının nedeni bu, çünkü yıldız girişleri farklı olacak
şekilde farklı şekilde başlatılıyor.
Örneğin, pratik kaynaklardan gördüğünüz gibi, rasgele bir tohum belirlediniz ve onu ajanların her biri için
farklı bir şekilde ayarladınız.
Bu şekilde başlangıç ​​noktaları farklı olduğundan.
İlk önce, farklı yollarla ortamlara geçecekler ve sonra farklı yollarla
keşfedilecekler ve sonraki yinelemelerde de farklı yollarla keşfedilecekler.
Ve mesela, üç ajanımız var.
Birdenbire, bir yaşından ziyade üç kat fazla deneyim elde ediyorsunuz,
çevreyi araştırıyorsunuz ve keşfediyorsunuz ve bu ortamda nasıl çalıştıracağınızı anlamaya çalışıyorsunuz.
Şimdi üçünüz var ya da bunun birçoğundan geçiyor ve bu deneyimi elde ediyorsunuz ve
böylece orada her biri daha büyük bir deneyim öğreniyor ve sadece daha geniş bir
deneyim yelpazesi sunmaktan ayrı olarak bir ajanın şansını da azaltıyor yerel bir maksimuma sıkışmak.
Mesela bir aracı çevreyi yenmek için en uygun olmayan yol bulursa, çünkü çözümden
sağa sola saparsa her zaman daha cezalandırılmış gibi bulur ve
yerel bir maksimuma sıkışabilir.
Aslında olmadığı yerde en uygun çözüm olduğunu düşünerek bunu yapmaya devam edebilirsiniz.
belirli bir yerel maksimumda sıkışan bir aracın olasılığı yüksek olabilir, ancak Veya belirli bir değer olabilir.
Aynı yerel maksimumda birkaç ajanın sıkışması ihtimali, acentelerin sayısı
ile düşüşün üzerine düşer; bu nedenle,
Fakat üçünün hepsinden üç tanesini yerel maksimuma sıkıştırabilme ihtimaliniz
çok daha düşüktür.
Ve birbirleri arasında deneyim paylaştıkça, birbirlerine yardımcı olabilirler; öyleyse biri sıkışırsa, örneğin yerel bir maksimum olur
ve bunun sadece en iyi olduğunu düşünün ve bu en iyi çözüm her zaman
en iyisidir ve Bunu yapmaya devam ediyor.
bu adamın sakin bir harekette sıkıştığını ve onların ona yardım edeceğini düşünelim diyelim.
Diğer ajanlarla etkileşime geçtiği sürece Öyleyse, hücresel yolla tüm algoritmamızı oluşturduğumuz yol boyunca
diğer ajanlarla etkileşime geçtiği sürece
Ona, aslında bunu bildiğinizi bildiğinizi ya da bunu keşfetmeniz gerektiğini ya da bundan
kurtulma olasılıklarının artacağını bildireceklerdir.
Ayrıca genel olarak çevre, heyecanın daha iyi seçenekler görmesine rağmen bu büyük bir maksimuma sahip olduğunu
ve keşfetmeye devam etmemiz gerektiğini biliyor çünkü daha iyi seçenekler varmış gibi görünüyor.
Çok kısa sürede kaba bir sezgisel anlayışla bu, bunların senkronize aracılar olmasının avantajlarından
bazılarıdır; bu nedenle, seçim ve tecrübe edinmeniz için daha fazla deneyime sahip olursunuz.
Yerel bir azami CRN'de sıkışıp kalmak için daha az şansınız varsa, çözüme
daha hızlı ve genel olarak erişebilirsiniz.
Bakalım bunların hepsi nasıl oynanıyor.
Şimdiye kadar inşa ettiğimiz bu modelde, hatırladığımız şu ki, gerçek eleştirmen aracılığıyla şimdiye kadar elde
ettiğimiz şey bu ve bu hepimiz şu kadarıyla hatırlıyor musunuz ki, ilk tanıştığımız kaplumbağa hatırladığınız
gibi bu biliyorsun bunu zaten derin okyanusta bile almıştık.
ana kadar bu eleştirmenin sahip olduğu ve devletin değerini ölçmenin veya bir sinemanın aynı sinir
alanını kullanan bir sahnenin değerini tahmin etmenin bir anlamı yok. ağlar veya aynı yaklaşım.
Q learning's Şimdi sadece X adını verdik, ancak şimdi eleştirmen tanıttık ancak şu
Ama şimdi işte, eşin daha mantıklı olmaya başlayacağı.
Yapacağımız şey, bunu tekrarlayacağımızdan, şimdi çoklu ajanlara sahibiz Çünkü çoklu ajanlar
bu ise bunun benzeyecektir.
Dolayısıyla bunu hayal etmenin ilk yolu şu ki bu üç gün boyunca deneyimlerini
birbirimizle paylaştıklarını hatırlıyoruz.
Aslında bunlar şu anki gibi, hepsi bağımsız.
Oyunu oynayan bir oyuncunuz var ve oyun oynamaktan başka oyunda başka bir oyun oynamak.
Tıpkı ajanınızı üç farklı bilgisayarda başlatmak gibi, üç farklı bilgisayarı birbirine bitişik olarak yerleştirdiğiniz gibi
başlatmak gibidir ve bunun harika olduğunu bilirsiniz.
Beğendiğiniz gibi, daha fazla deneyim kazanacağınızdan emin olabilirsiniz, özellikle de başlatıldıysa, daha fazla çeşit
kazanırsınız.
Burada, burada aynı resme sahip olsak bile, daha önce hiç bir zaman
başlangıç ​​olmamış olduklarını varsayabiliriz.
Aslında farklı olduklarını bildireceğiz, böylece bu oyundan özdeş
öğrenme aynı eğitim gibi olmayacak.
Ve bu nedenle, üç bilgisayar yan yana koyduğunuzu ve
bunları başlattığınızı evet iseniz, daha fazla deneyime sahip olacaksınız, çünkü üç ajan oynamaya gidiyorsunuz ve ayrıca olası çözümlerden
daha geniş bir çeşitliliğe sahip olacaksınız .
Bu doğru.
Ancak problem şu ki, deneyimlerimizi birbirimizle paylaşmamakta veya birbirimizden
öğrenmemektedirler.
Bu yüzden sinerjileri yok.
ekibiniz varsa nasıl yaparsanız alacağınız dengeyi sağladıklarında elde ettikleri güçleri yoktur.
Sahip oldukları avantaj veya ekstra gücü, birbirinizden ayrı olarak görece daha iyi çalıştıkları bir takım
Yani bir takımda olduğu gibi burada bir artı bir artı bir tane var.
Üç, ancak bir artı bir yumurtlama ekibinde, üçü de üçlü değil, çünkü
birbirlerinin güçlü yanlarını kullanıyor ve birbirlerinin zayıflıklarını ve aynı şeyi hafifletiyorlar.
Bu iki bilgisayarı yan yana koyarsanız evet evde daha çok deneyim belleğine sahip olacaksınız ve muhtemelen birisi daha
iyi bir çözüm elde edecektir.
Harika biri olan bu deneyim paylaşmaya başlarlarsa daha da iyi olacak.
Ve bunu nasıl yaparlar.
Bu Wii sayesinde, onu hesaplıyoruz, böylece ağımızın çıktısı olan bu Wii
değeri aslında böyle.
Yani her seferinde her seferinde aynısı var.
Bütün bu ajanlar aynı eleştirmene katkıda bulunuyorlar.
Ortak bir eleştiriye sahip oldukları ayrı ayrı eleştirilere sahip değildirler ve aktör eleştirmenlerinin senkronize
oldukları bağlamın anahtarı budur.
Bu yüzden, deneyim kazanırken bizi izleyen bir eleştirmen var.
Peki Wii'yi nasıl hesaplarız.
Wii'yi almak zorundayız.
Hatırladığınız gibi, aldığımız değerler aracılığıyla TV'yi ortamdan alabileceğimiz ödülleri
alabiliriz.
Ve ajanlar kendi çevrelerini keşfederlerken hesaplar Wii'yi öngördükleri anlamına gelir.
Ayrıca Wii'leri hesaplayabiliyorlar.
Bu, hepsinin skorun önceki bölümlerinde daha önce tartıştığımız şeylerle
bağlantılı olması.
ve zaten keşfedildikleri ve bu değerin değiştirebileceği tabii ki onları araştırdıklarından ödüller aracılığıyla beklemektedirler.
Dolayısıyla zaten bir Wii'ye sahip olduklarını tahmin edebildikleri, bu labirentte var
olduklarını bildikleri
Fakat Wii'ye göre, bunun sinir ağının çıktısı da var, çünkü
bunlar üzerinden geçecekler ve sinir ağlarını daha iyi uyumu sağlamak için ayarlayacaklar.
Yani temelde bu paylaşılıyor, eleştirmen kısmı ajanlar arasında paylaşılıyor ve birbirleri arasında bilgiyi
paylaşma şekli, birbirleriyle paylaşılan ortamda neler olup bittiğini
nasıl görebildikleri ve bunu Bir sonraki bölümde avantaj göreceğiz.
Bu yüzden çevreyi nasıl davrandıklarını optimize etmek için kullanın.
Ve burada not etmeniz gereken diğer şey.
Yani bu C ile geçti.
Burası, A-3'ün çekirdeği burada görüyor gibi.
Bu, 08:30 versiyonudur. Fakat bunun daha da iyi uygulanması var.
çok isterim ve onun hakkında konuşacakları şey, Pi torche'un yaratıcısının aslında biriyle nasıl bir ayarlama
yapmış olmasıdır paylaşılan kodları ve bunların hepsini aldığı hub'ı alıp, şu anda ayrı ayrı sinir ağlarına
sahip olduklarını ve yaptıkları ayarlamanın aslında tüm bu sinir ağlarını alıp bunları
birine koyduğunu gösterdiler. onları al ve onları bir araya getir.
Gerçekten duyacağınız A'dan C'ye kadar, ilk derslerden birinde ve şeylerin pratik tarafında
konuşmayı
Sonuçta burada ajanlar arasında paylaşılan sadece bir sinir ağı var.
Bu yüzden her birinin aktör için paylaşılan bir sinir ağı ve eleştirmen için bir
sinir ağı Shelfer gerçek eleştirmen için bir sinir ağı doğruluğunu paylaştı.
Şimdi hepsinin aktör ya da eleştirmen ya da eleştirmen tarafından paylaşılan bir sinir ağı var x ya da eleştirmen.
Sonra eleştirmen burada ortaktır.
Bir bakalım hadi.
Bu resimleri sola doğru hareket ettirelim, böylece biraz boşluk bırakın.
Ve bu temelde pratik öğreticilerde kullanacağımız mimari veya
yapıdır.
Biliyorum ki bu gibi durumlarda bu aşama biraz zor gelebilir ama avantajları hakkında konuşacak bir
şey daha var ve işte bunu daha iyi göreceğiz.
Nasýl gidiyor bu yüzden eylemdeki sezgiden bahsedeceđiz.
Ancak genel olarak konuşursak, bunun nedeni budur.
Bu, her ajanın kullandığı veya paylaştığı bir ağ var.
Temelde bunun anlamı, ağların ağırlıklarının yaşlar arasında paylaşıldığı ağırlıkları paylaştıkları ve
güncellediklerinde yalnızca kendi ağlarını değil de tüm ağın güncellenmesidir.
Ve sonra her ajan için bu eylemler gibi çıktılarına sahipler ve sonra da paylaşılacak
olan eleştirmenleri izleyecekler.
Bu yüzden hepsinin şu anda bir sürü şey varmış gibi bir şey olduğunu biliyorum, fakat umarım yavaş yavaş eninde sonunda
bir araya geliyor.
Buradaki ana paketleme eleştirmenin paylaştığı için.
daha hizli alabilmek için temsilciler birlikte birlikte olduklarından emin olabiliyorlar.
Sonuçlari
Ve sonraki öğreticide bunların hepsinin nasıl eklendiğini daha da iyi göreceğiz.
Bütün bunlar bir araya geliyor.
Şimdilik, sana tavsiye etmek istediğim var ya da ek bir okuma önerisi
istiyoruz.
Yani bu Jaromir Jansch'ın bir blogudur.
Buna A3 yapalım implantasyonların aslında iki parçalı uygulama ve teori olduğunu görelim.
sadece bu öğretici amaçlı değil sadece Sutro için değil, bu bölümün tamamı için.
Bağlantı var ve öğreticinin pratik tarafında Adlon'un uygulayacağı şey ile çok benzer,
bu nedenle
Orada teşvik edici bazı ek bilgiler var, bazı ek bilgiler var.
İşte bu yüzden onu buraya getiriyoruz.
Fakat yine de bir sonraki dersin hepsini bir araya getirmeye başlayacağız.
Konuştuğumuz her şey.
Ve bir dahaki sefere görmeyi sabırsızlıkla bekliyorum.
Ve o zamana kadar tadını çıkarın.