Merhaba ve yapay zeka dersine tekrar hoş geldiniz.
Ve nihayet derin eğitime başladığımız eğlenceli şeyleri takip ediyoruz.
Pekala, bir göz atalım.
Bruce, katil kazandıklarını ve neyle ilgili olduğunu konuştuk.
Ve biz Ajan çevre ve ajan devletin nasıl bakacağını öğrendim.
Ya da bir eylemde ödül alıyor.
Yeni bir devlete girin ve bu geribildirim döngüsüne dayalı olarak eylemler üzerinde devam edilecek ve
bundan öğrenileceklerdir.
Almak için en iyi işlemlerin neler olduğunu anlayın.
Ve böylece bir labirentin temel örneğine baktık.
Asya'yı araştırdıkça çevre devletlerin değerlerini anladığını gördük.
Daha sonra, devlet değerleri ile uğraşmaktan eylem değerleriyle değerlerle ve
daha sonra A-Basin ile ilgilenerek, alaycı olmayan çevrelerdeki planların nasıl çalıştığını ve politikaların stokastik ortamlarda nasıl
işlediğini anladık ve bu, stokastik ortamlarda nasıl çalışıyor; bir politika örneği.
Bu, temel öğrenmede tartıştığımız her şeyin hızlı özetidir.
bunun derin öğrenme eklenerek derin öğrenme yoluyla bir sonraki seviyeye nasıl atılabileceğine bir göz atalım.
Ve şimdi
TAMAM.
Dolayısıyla bu bizim ortamımız ve şu anda yapacağımız şey, sadece bu matriste basit
hesaplamaları yapmak yerine ekleyeceğiz, ki bu da oldukça basit.
Yapacağımız şey, bir x ve y eksenini ekleyen iki eksen ekleyeceğiz veya onları x1
ve x2 olarak adlandıracağız.
Sadece işleri daha da genelleştirmek için.
Ve burada gerçek numaramız var. Satırların sütunları 1 2 3 4 o numarayı 1'den 3'e kadar numaralandırıyor.
Ve şimdi her bir durum, bir çift iki değer x1 ve x2 tarafından tanımlanabilir,
böylece aracının içinde bulunabileceği bu karelerden herhangi biri x1 x2 ile tanımlanabilir.
Mesela şu an mesela X1 1, X 2 2 ye eşittir.
Ve bu nedenle kendi kare şeklinizde kaçabilmemizin bir yolu değil, eyaletinizde tanımlayabiliriz.
Tabii ki bu, Devletleri tanımlayan bir ortamın çok basitleştirilmiş bir versiyonudur.
Ancak yine de bu durumda işe yarıyor.
Ve şimdi, bu durumları bir sinir ağı içine besleyebileceğimiz anlamına geliyor.
için x numaralardan biri antikler ve ikisinin de varlığından bahsetmek isterim.
Ve bu arada, iyi eklerin seyrinin sonunda, bu bölümle başarılı bir şekilde ilerlemek
Yapay sinir ağı üzerindeki erişilemeyen kişileri kontrol etmenizi tavsiye edersiniz, böylece
nasıl çalıştığını anlarsınız, böylece burada incelemek zorunda kalmazsak, yapay sinir ağlarının
nasıl çalıştığının faydalarından yararlanabiliriz ve bu yüzden devlet hakkındaki bu bilgiyi sinirsel bir
ağa besleriz ve daha sonra bu bilgiyi, sinir ağının yapısına bağlı olarak X1 ve X2, birden çok
gizli katmana vb. sahip olacak şekilde işleyecektir.
Bu pratik öğreticilerde öğreneceğiniz bir şey ama sonunda değerler için
tüketim yapacak ve bu dört değer aslında Q değerimiz olacak.
Bu yüzden, hangi eğitimi almamız gerektiğini belirleyen değerler ve bu öğreticide yer almayan değerler, hangi eylemin gerçekleştirileceğine
karar vermek için bu anahtar değerlerin nasıl kullanıldığını tam olarak görecektir.
Ancak burada ana nokta, sadece bu labirenti öğrenme perspektifinden izlemememiz.
Şimdi labirent durumlarını alıyoruz ve bu hücreleri alabilmek için onları derin bir
sinir ağına besliyoruz.
Ve günün sonunda hala bir eylem hazırlamaya devam edeceğiz, ancak hangi
eylemi yapmamız gerektiğini anlayacağız ve bunları daha ayrıntılı olarak tartışacağız ancak şimdi şu anki
soru şu: Bütün bunları yapmamızın nedeni biz denilen şey.
İlk öğrenme yaklaşımı iyi çalıştığı zaman işler neden bu kadar çok karmaşık
hale geliyor?
Bunun nedeni öğrenmenin bu çok basit ortamda yapıldığıdır ve kavramları daha iyi anlamak
için şu anda bu çok basit ortamla uğraşmaya devam ediyoruz.
Ancak aynı zamanda basit Kial öğrenimi artık daha karmaşık ortamlarda çalışmayacak
ve örneğin yapay zeka Doom veya başka bir Atari oyununu oynarken
koparmak gibi Doom oluşturan veya oynayacak kendiliğinden çalışan otomobillerden bahsediyoruz hatta
kendi kendine çalışan otomobiller ve robotlar etrafında yürümek ve temelde öğrenme yeteneği yetersiz
olan eylemleri gerçekleştirmek gibi güçlü gelişmiş güçlendirme öğeleri bu zorlukları
çözebilecek kadar güçlü değildir.
Tıpkı disiplinimizdeyseniz veya x numaralı ve x-2 arasındaki ek bölümleri tamamladıysanız derindeki öğrenme
kursunda gördüğümüz gibi derin öğrenmenin sizin için çok daha üstün olduğunu bileceksiniz basit
bir serin öğrenmeyi bırakıp öğrenen her tür makine.
İşte bu yüzden, derin öğrenmenin gücünü burada kullanıyoruz, böylece çevre
hakkındaki bilgileri bir değerler vektörü olarak besliyoruz.
kullanıyoruz ve daha sonra bunu hangi aksiyonların hangi ajanların alacağına karar vermek istediğimiz işlemleri gerçekleştirmek için kullanıyoruz.
Bu durumda sadece derin bir sinir ağına girmek için
Bu nedenle, bunu neden bu kadar çok yaptıklarımızın üst düzey bir özeti gibi.
Şimdi basit öğrenmeyle derin Killary arasında dönüşüm yaptığımızda ya da basit öğrenmeden derin Killary'ye
geçiş yaptığımızda serin öğrenme kavramına ne olacağı hakkında biraz daha detaylı bir göz atalım.
Önceki sezim öğreticilerinde gördüğünüz gibi, zamansal fark öğrenmenin temelini oluşturan böyle bir
slayt vardı.
Bu zamansal farklılık için formül ve temelde Öyleyse geçelim.
Yani temelde burada mavi ok işaret eden bir devlet görevlisi vardı.
Ve biz, zamansal farkın, örneğin yükselen bu değer için nasıl çalıştığını anlıyorduk.
Ve şimdi burada gördüklerimiz bundan önce basit Killary'deydi, derin katliam basit katilde
değil.
Ne gördüğümüz, ajanın yukarıya çıkma eylemi hakkında öğrendiği bir sonraki renk tonu değerine sahip olması
öncesindeydi.
Ve sonra gitmeye karar vermeye karar verdi.
Ve harekete geçtikten hemen sonra, bu hareketi bu durumda yapmak için bir ödül alır.
yeni devlette basmakalıp alabilir. okunan gamma DK faktörü ile çarpılır.
Ve bu ödül artı şimdi yaptığı yeni devletteki değerini değerlendirebilir, yeni
devletin küpündeki tüm yeni q değerlerinin maksimumu o
Bu, esasen, yeni küp değerinin veya türünün, eylemi gerçekleştirmek için yeni aldığı ampirik küp
değerine işaret ettiği anlamına gelir.
İdeal olarak bu ikisi aynı olmalıdır.
Dolayısıyla, bu durumda bu eylem hakkında hafızasında tuttuğu Q değeri, fiilen
aldığı ödülün yanı sıra, gama çarpılarak sona eren devletin değerine eşit olmalıdır.
şeyin eksiğinden sonra aldığınız zamansal farkı hesaplıyoruz.
Bu nedenle, ne beklediğini aklınızda tuttuğu
Birini diğerinden çıkarırsın.
Bu geçici bir fark.
Ve sonra öğrenme hızınızı Alfa'yı, q değerinizi zamansal farkla, ancak Alfa katsayısı ile yeni q
değerinizi ayarlamak için kullanırsınız.
Bu basit öğrenmenin özüdür.
Şimdi, derin Killary'de nasıl değiştiğine bir göz atalım ve böylece slaytla hala
çalışacağız ancak tam olarak ne olduğunu göreceğiz.
Dolayısıyla, derin bir öğrenmede, sinir ağı, Valis'i öncekilerde ve gördüğümüz gibi
öngörür.
Sinir ağı Donna Citronelle değerler için öngörür veya belirli bir devrede daha
fazla olası eylemin değerini öngörebilir.
Fakat bu durumda, yapılması gereken yalnızca dikey dört eylem kaldığını biliyoruz.
Ve böylelikle sinir ağı bu değerlerin dördünü öngörecektir, böylece derin bir öğrenme durumunda hiç bir son olmayacak,
öncesi ve sonrası hiçbir önemi yok.
Ve bunu, bunu biraz daha iyi anlayacağımız şekilde.
Dolayısıyla sinir ağı bu değerlerin dördünü öngörür ve sonra ne
olacağını karşılaştırır, ancak sinir ağı bu kesin değeri karşılaştırır, ancak bir
önceki adımda hesaplanan değerdir.
Bu ajan önceki meydanda olduğu zamanlarda.
Diyelim ki, bir süre önce temsilcinin bu meydan da olduğu ve bu
değer daha önce hesaplandığını bilmiyorum diyelim.
Bu yüzden, bir süre önce önce aracı bu değeri hesapladı; daha sonra temsilciler bu değeri
gelecek için sakladı ve şimdi gelecek geldi.
Böylece şimdi yine meydanda ve şu anda tahmin edilen bu küp değerlerini alıyor ve
bunlardan biri dörde yaklaşmak için.
Şimdi ne yapacağı tahmin edilen Q değerini, bir önceki adımdan kaydettiği bu değerle karşılaştıracak ve
bunun şu anda neden önemli olduğunu tam olarak anlamak için burada anlamak
çok önemli.
Belli bir zaman zarfında bu özel meydanın bir subayı önce yok.
ve onu bu karede önceki zamandan önceki zamandan aldığı bu değerle
karşılaştırarak tüm durumu değerlendiriyor ve önceki gibi biliyorsunuz Gerçekten bu eylemi gerçekleştirdi.
Bu sefer sinir ağını kullanarak tahmin ettiği Q değerini alıyoruz
İşte gidiyoruz.
Şimdi bunların hepsinin sinir ağı içinde nasıl çalıştığını ve nedenini bir göz atalım.
Neden şu an biraz karışık gibi geldiğini biliyorum, ancak saniyede bir basit
terimlerle parçalayacağız.
Böylece kendi ağınızdaki çevre durumlarında sinirsel ağa besliyoruz bu
gizli katmanlardan geçiyor, bu çıktılarla Q1 Q2 Q3 Q4 çıktı.
belirli durumda, sinir ağı olası eylemler için tahmin ettiği küp değerleridir.
Bu
Bunlar kümülüs.
Dolayısıyla, hedef göstermek istiyoruz ve bu hedefler tam olarak var. Dolayısıyla burada geri dönersek
hedef bu, bu da tahmin edilen değerdir.
Ve sonra, aynı zamanda, kareye en son ne zaman bir hedefimiz olduğunu biliyoruz.
Mesela bu aynı eylem için bir hedefimiz var.
Yani burada bir hedefimiz var ve karşılaştırmamız için, Q1'le karşılaştırdığımız hedefe
karşı Q2'yi karşılaştırıyoruz. Hedef, önceki Q3'ten hedefe karşı bir hedef Q4'e karşı sahip olduğumuz hedef.
Ve bu yüzden burası, sinir ağı ya da ajan artık daha iyi geçmek için nasıl derin
öğrenme yoluyla öğreniyor parçasıdır.
Burada kilit nokta, hala serin öğrenme uyguladığımız ancak kavramların cevabı, zaten tartıştığımız oldukça açık
olan zamansal farklılıklar yoluyla öğrendiğinizi öğrendiğiniz basittir ve neden
bu kadar iyi bilemediğimizdir.
Aynı zamanda derin öğrenmede sinir ağları sinir ağlarını nasıl ağırlıkları ayarlayarak
öğrenir öğrenirler.
öldürme öğrenme kavramlarını takviye kavramlarını, sinir ağlarının gerçekte işleyiş biçimine uyarlamalıyız.
Dolayısıyla, basit
Ve bunların ağırlığı güncelleniyor.
Ve bu yüzden burada anlamaya çalıştığımız şey, bu geçici
kavramsal fark kavramını kendi ağınıza nasıl uyarlayacağımız, böylece sinir ağlarının tam gücünden yararlanabileceğimiz.
Şimdiye kadar bunu aldık, çevre durumumuzu buraya giriyoruz, çünkü vektör bir sinir ağı içinden
geçerek anahtar değerlerin tahminlerini aldık ve daha sonra aracı bu durumda idi.
Bu ilgili eylemlerin her biri için bir iki üç dört hedefleyecek yeni hedefimiz var.
Ve şimdi biz bitmek üzere.
Tamam, her birini her biri ile karşılaştıralım.
Ve buradan, sinir ağlarıyla hızlanmaya başlarsanız, oldukça basit bir hal alıyor.
Bir kez daha Anax üzerinde.
Bir numara burada olan bir kayıpta hesaplayacağız ve bu Q eksi Q'dan bir q eksi olacak şekilde
bir q hedefi olacağız.
Bunu, her birinin kare farkını kareye oturtacağız ve onları toplamaya
gidiyoruz.
ve hedeflerin karekökündeki farklılıkların toplamını alıyoruz ve onları gönderiyoruz, bu bir kayıptır.
Bu yüzden, bu değerlerin
Ve ideal olarak tıpkı zamansal farklılığın öğrenme sürecinde olduğu gibi, bir saniye
daha geri dönersek, İdeal olarak şunu söylemiştik: bu, bunun zamansal farkın sıfır olmasını istemek
için bunun eşit olmasını isteriz, böylece bu temelde ajan tam olarak ne tahmin ettiğinizi tahmin ederseniz,
Q değeri ajanın tahmin ettiği şey tam olarak veya sahip olduğu ve hafızanın çevrenin tam
olarak tanımlayıcı olması ve bu nedenle ajan çevreyi oldukça iyi elde edemez.
Hiçbir sürpriz yok, yok yok. Bir zaman farkı, oldukça olumlu ya da çok olumsuz
bir pilot olan sürece.
O zaman bazı sürprizlerimiz var.
Ancak genel farklar sıfır ise o zaman ortamı o kadar iyi bilir
ki neler olup bittiğini tahmin edebilir ve bu nedenle politikası çok iyi olur ve gezinebilir.
Yani burada.
Aynı şey, bu yasanın mümkün olduğunca küçük olabileceğini varsayılarak sıfıra yakın olmasını istiyoruz.
gerçek gücünden yararlanacağımız bölüm bu yüzden bu kayıpları alacağız ve geri yayılımı kullanacağız ya da degradasyon
düşüşü yapacağız bu kayıpları alıp onu bir ağ üzerinden iletilen veya geriye
doğru ya da geriye ağ üzerinden geçirerek ağırlıklar halinde büyük ve iyi bir tarih koymaktır.
İşte bu yüzden şimdi bunun için sinir ağı gerçek
Ağdaki tüm bu özetler, bir dahaki sefer bu ağa, çevreyi tanımlayan şekilde biraz daha iyi
geçtiğimizden ve bu tam olarak ne olduğumuz.
Yani geri dönerseniz, burada kayıplar Kalka hesaplanır ve ağın ağırlıkları güncellenen yayıcı
olduğunu kanıtlar.
olur ve bu da yine olur ve böylece devam eder ve bu devam
eder ve bu ajan öğrenir ya da temelde ajanların beyni olan öğrenme ağı olan
sinir ağı gittikçe daha fazla öğrenir ve çevreyi daha açıklayıcı ve dolayısıyla aracı çevrede gezinebilir.
Sonra buraya geldiğimizde tekrar tekrar
Tanımlayıcı çevre dediğimizde, temel olarak, bu aracının bulunduğu ortamı koyduğumuzda, gerçek
işaret değerlerine daha yakın ve daha yakına girme olasılığımız daha yüksektir ve bunun nedeni
doğru bulmak isteyen küp değerleridir Bunun nedeni bu yeni hedeflerin
ampirik olarak türetilmesidir, o yüzden her gün bu sevimli hedefleri nasıl buluyor.
Aslında orada var bu yüzden gözlemliyor.
Tamam, bir kere bu adımı attığımda aldığım ödül nedir.
Ve o zaman bu devletin değerleri nedir.
Aynı şey daha önce Q öğrenmede ve basit öğrenme sezgisinde gördüğümüz gibi.
Böylece bunu deneme yanılma yoluyla öğrenir ve ardından ağını kurar veya
tahmin edilen değerlerin yakın ve yakın olacağı şekilde olur.
Hedefi tamamladım.
Q değerleri, burada basit beceri öğrenme algoritmasının basit zamansal fark öğrenmesinde
ele alınan konsepte çok benzemektedir.
Al işte ozaman, buyur.
Ajan da böyle öğrenir.
Yani burada kalacağız.
Ve öğrenen kısmıdır.