WEBVTT 00:00.390 --> 00:02.710 Merhaba ve Baharat Intertoto'ya hoş geldiniz. 00:03.000 --> 00:07.800 Pekala, bu yeni kod bölümünde oyunla ilgili tecrübe uygulayacağız. 00:07.920 --> 00:13.850 Dolayısıyla, yeniden oynatma belleği diyeceğimiz yeni bir sınıf yapacağız ve deneyiminizi, sezgisel 00:13.850 --> 00:16.700 derslerde gördüğünüz gibi çalmak için uygulayacağız. 00:16.890 --> 00:21.540 Ancak öncelikle, deneyim tekrarının ne olduğu konusunda hızlı bir hatırlatma yapalım. 00:21.540 --> 00:27.750 Yani tüm bu yapay zekanın Markov karar süreçlerine dayandığını ve Markov karar 00:27.750 --> 00:31.840 süreçlerinin bir dizi olaya bakmaktan ibaret olduğunu biliyorsunuzdur. 00:32.010 --> 00:38.770 O halde, bir devletten bir sonraki devlete geçmek gibi olayları biliyorsunuz ve tipisiniz. 00:39.060 --> 00:44.410 Fakat olaylar ertesi günden bu kadar iyi olsaydı, şimdiki durumla çok ilişkili olurdu. 00:44.550 --> 00:46.820 Şebeke pek iyi bir iş çıkarmazdı. 00:46.980 --> 00:52.710 Bu nedenle, derin öğrenme kursundan gelen kişiler için, zaman serimizi yalnızca bir zaman 00:52.710 --> 00:54.860 adımıyla öğrendiğimiz yerdeki ile aynıdır. 00:55.020 --> 01:00.300 Hiçbir şey öğrenmiyordu çünkü bir zaman aşımı, bir modelin uzun vadeli 01:00.300 --> 01:03.070 korelasyonlarını anlamayı öğrenmesi için yeterli değildi. 01:03.090 --> 01:07.060 İşte burada aynı ve bu yüzden deneyim tekrarını uygulamak zorundayız. 01:07.230 --> 01:08.230 Peki nasıl işliyor 01:08.340 --> 01:13.960 Bu, yalnızca t zamanında yalnızca bir durum olan mevcut durumu göz önünde bulundurmak yerine 01:13.960 --> 01:14.640 çok basit. 01:14.680 --> 01:16.830 Geçmişte daha çok düşünmeye başlayacağız. 01:16.830 --> 01:22.560 Bu nedenle, lityumlar için tam olarak benzer ve bu nedenle olaylar dizisi olamaz. 01:22.560 --> 01:27.450 Sanırım birincisi geçmişte yüz devlet olacak. 01:27.450 --> 01:33.770 T-eksi yüz seksen eksi 99, eksi 1 ve daha sonra S-T. 01:34.020 --> 01:40.830 daha az geçişler koyuyoruz ve bu yüzden kısa süreli bir hafızaya karşı uzun süreli bir hafızamız 01:40.830 --> 01:47.040 var ya da anlık bir hafıza diyelim ve bütün süreci daha iyi işleyen hale getirmeliyiz. 01:47.040 --> 01:49.950 Başka bir deyişle, belleğe adlandırdığımız nesneye 100 01:50.310 --> 01:57.690 Ve son 100 etkinliğin bu hafızasını yarattığımızda, bir sonraki güncellememizi yapmak 01:57.690 --> 02:02.300 için bu geçişlerin rasgele gruplarını alacağını basitleştireceğiz. 02:02.310 --> 02:09.270 Bir sonraki bölümü seçerek bir sonraki hamleniz budur ve bu nedenle deneyim tekrarlama için 02:09.270 --> 02:13.450 uyguladığımız bu tekrar hafıza sınıfında üç fonksiyon yapacağız. 02:13.530 --> 02:17.490 Her şeyden önce her fonksiyonun işlevi, her sınıf için geçerli. 02:17.520 --> 02:23.400 Ve böylece bu fonksiyonda, gelecek sınıfa gelecek 02:23.400 --> 02:27.210 nesnelere iliştirilecek değişkenleri tanımlayacağız. 02:27.540 --> 02:32.790 Ve çok basitçe bu değişkenler, 100 olaya 100 geçişin belleği olacak. 02:32.970 --> 02:38.790 Ve 100 numara olan kapasitesi, kapasitenizi arttırarak daha uzun bir bellek denemekten 02:38.790 --> 02:39.550 mutluluk duyacaktır. 02:39.780 --> 02:46.170 Bu, işlevi ilk işlevi ve daha sonra hafızanın hiç 100'den fazla geçiş içermediğinden 02:46.500 --> 02:51.050 emin olmak için iki farklı fonksiyonu bir itme fonksiyonu yapacağız. 02:51.180 --> 02:57.150 Ve bunun için kapasiteyi basit bir koşulla kullanacağız ve sonunda basit 02:57.360 --> 03:03.300 işlevi yapacağız ve bu, son 100 geçişin bu belleğinde bazı geçişleri 03:03.390 --> 03:05.060 örneklemek için olacak. 03:05.520 --> 03:08.440 Pekâlâ, sınıfı tanıtarak başlayalım. 03:08.520 --> 03:17.460 Bilirsiniz bildiğiniz gibi sınıfla başlarız ve onlara tekrar tekrar bellek dediğimiz sınıfa veririz ve daha 03:17.460 --> 03:25.500 sonra parantez içinde nesne girdikten sonra Cullin'i göndeririz ve sonra ilk işle başlarız. 03:25.560 --> 03:26.860 Son işlevi. 03:27.150 --> 03:30.730 Bu ölümle başlamadan önceki ile aynı şey. 03:30.870 --> 03:36.750 Ardından iki alt çizgi, tekrar ve daha sonra değişkenlerin altını çiziyor. 03:36.750 --> 03:42.750 değişken olan elbette ben var ve ondan sonra bazı anılarda 03:42.750 --> 03:48.810 bazı deneyimleri deneyebilmemiz için başka bir değişkene sahip olacağız; kapasite ol 03:48.810 --> 03:52.950 Dolayısıyla gelecek nesil sınıfının ilerideki örneklerine eklenen 03:52.950 --> 03:58.020 Dolayısıyla bu kapasite yalnızca yüz sayılacak çünkü yüze daha 03:58.020 --> 04:00.960 az geçişle birlikte tecrübe edeceğiz. 04:00.960 --> 04:03.910 Tamam, sonra Collon Ve işte gidiyoruz. 04:03.930 --> 04:10.430 İşlevin içine girelim ve tekrar oynatma bellek nesnemizin değişkenlerini tanımlayalım. 04:10.440 --> 04:19.400 Birincisi kendi kendine öğretilen kapasite olacak ve muhtemelen bunun, bizim olaylar anısına sahip olmak istediğimiz 04:19.670 --> 04:24.690 maksimum geçiş sayısı olan kapasite olacağını anlamış oldun. 04:24.830 --> 04:30.980 bir nesnesi oluşturulurken girilecek argümanlara eşit olacak ve bu kapasite olacaktır. 04:31.000 --> 04:34.530 Ve bu, yeniden çalma bellek sınıfının 04:34.550 --> 04:36.480 Init işlevinin argümanı budur. 04:36.660 --> 04:38.180 Yani kapasite. 04:38.180 --> 04:44.960 Yani yine de karıştırılmamalıdır ki, bu kapasite, nesneye eklenen değişkenin adıdır 04:45.470 --> 04:52.670 ve buradaki kapasite, yeniden oynatma bellek sınıfının bir nesnesini oluştururken giren argümandır. 04:52.810 --> 04:53.620 Tamam. 04:53.830 --> 04:55.880 Ve sonra ikinci bir ses tonumuz var. 04:56.170 --> 04:57.890 Tabii ki bu bellek. 04:58.000 --> 05:01.620 Bu yüzden Nemec kendine övündü. 05:01.760 --> 05:02.650 Tamam. 05:02.800 --> 05:05.730 Ve öyleyse bu hafıza Voivode ne olacak. 05:05.990 --> 05:13.950 Peki bu hafızanın son 100 etkinliği içermesi gerektiği ve bu nedenle bu basit bir test olmalıdır. 05:14.100 --> 05:20.300 Son 100 geçişi içeren ve son 100 geçiş listesini içeren bir listeyi biliyorsunuz ve listeyi 05:20.300 --> 05:20.850 başlatıyorsunuz. 05:20.870 --> 05:24.620 Bunun gibi köşeli ayıraçları eklemek için daha basit bir şey yok. 05:24.740 --> 05:26.040 Ve işte gidiyoruz. 05:26.060 --> 05:31.490 Belleğimiz deneme başlangıcında ya da daha kesin bir şekilde araştırmanın başlangıcında, belleğin 05:31.490 --> 05:36.430 boş bir liste olacağı şekilde başlatılmış ve daha sonra geçişleri koyacağız. 05:36.500 --> 05:38.350 Her seferinde gelecek bir ülkeye ulaşırız. 05:38.600 --> 05:43.370 Ve bundan bahsettiğimizde, itme fonksiyonunu çağıracağımız bir sonraki işle tam 05:43.520 --> 05:44.720 olarak bunu yapacağız. 05:44.790 --> 05:51.380 Olayları bu hafıza listesine yerleştirmek için bu push fonksiyonunu yapacağız ve sonra bu hafıza listesinin 05:51.620 --> 05:57.170 her zaman 100 olay içerdiğinden ve hiç olmadığıdan emin olmak için kapasiteyi kullanacağız. 05:57.500 --> 05:59.660 Pekala, bunu bir sonraki adımda da yapalım. 05:59.690 --> 06:01.250 Ve o zamana kadar ben.