Halo dan selamat datang di Intertoto rempah-rempah.
Baiklah jadi di bagian kode baru ini kita akan mengimplementasikan pengalaman dengan bermain.
Jadi kita akan membuat kelas baru yang akan kita sebut memori ulangan dan itu akan menerapkan pengalaman bermain
persis seperti yang Anda lihat di kuliah intuisi.
Tapi pertama-tama mari kita ingatkan apa itu replay pengalaman.
Jadi, Anda tahu semua kecerdasan buatan ini didasarkan pada proses keputusan Markov dan
proses keputusan Markov terdiri dari melihat serangkaian peristiwa.
Jadi acara yang Anda tahu misalnya pergi dari satu negara ke negara berikutnya dan tipis satu.
Tetapi jika kejadian seperti itu baik sejak hari berikutnya itu sangat berkorelasi dengan keadaan saat ini.
Yah, jaringannya tidak akan berjalan dengan baik.
Jadi bagi mereka yang datang dari kursus pembelajaran mendalam itu persis sama dengan tempat kami mempelajari seri waktu
kami hanya dengan satu catatan waktu.
Itu tidak belajar apa-apa karena satu catatan waktu tidak cukup memadai untuk model
untuk belajar memahami korelasi jangka panjang.
Jadi itu sama di sini dan itu sebabnya kami harus menerapkan replay pengalaman.
Jadi bagaimana cara kerjanya.
Nah itu sangat sederhana alih-alih hanya mempertimbangkan keadaan saat ini yang hanya satu keadaan waktu
t.
Kami akan mempertimbangkan lebih banyak di masa lalu.
Jadi persis seperti untuk lithium dan karena itu rangkaian acara kami tidak akan seperti.
Dan saya kira satu ini akan menjadi contoh seratus negara di masa lalu.
Jadi sebagai T-minus seratus delapan puluh minus 99 hingga minus 1 dan kemudian S-T.
Jadi dengan kata lain kita menempatkan 100 transisi lebih sedikit ke dalam apa yang kita sebut memori dan itulah mengapa kita
memiliki memori jangka panjang sebagai lawan dari memori jangka pendek atau bahkan haruskah aku mengatakan memori instan dan
itu membuat seluruh proses bekerja jauh lebih baik.
Dan kemudian setelah kita membuat memori ini dari 100 peristiwa terakhir kita akan sederhana bahwa itu akan mengambil
beberapa batch acak dari transisi ini untuk membuat pembaruan selanjutnya.
Itu adalah langkah kami selanjutnya dengan memilih bagian berikutnya dan oleh karena itu di kelas memori replay yang
kami laksanakan untuk replay pengalaman kami akan membuat tiga fungsi.
Pertama-tama fungsi seperti biasa itu terjadi untuk kelas mana pun.
Jadi dalam fungsi ini kita akan mendefinisikan variabel yang akan dilampirkan ke instance kelas masa depan yang
merupakan objek masa depan yang akan dibuat dari kelas ini.
Dan sangat sederhana variabel-variabel ini akan menjadi memori dari 100 transisi ke 100 peristiwa.
Dan kapasitas yang merupakan angka 100 Anda akan dipersilakan untuk mencoba memori yang lebih lama dengan
meningkatkan kapasitas.
Jadi itulah fungsi pertama di dalamnya dan kemudian kita akan membuat dua fungsi lainnya, satu fungsi push
untuk memastikan bahwa memori tidak pernah berisi lebih dari 100 transisi.
Dan untuk ini kita akan menggunakan kapasitas dengan hanya melakukan satu kondisi sederhana dan kemudian pada akhirnya
kita akan membuat fungsi sederhana dan tentu saja untuk mengambil sampel beberapa transisi dalam memori ini
dari 100 transisi terakhir.
Baiklah jadi mari kita mulai dengan memperkenalkan kelas.
Jadi seperti yang Anda tahu kita mulai dengan kelas dan kemudian kita memberi mereka ke kelas kita menyebutnya memori replay dan
kemudian dalam kurung kita masukkan objek kemudian Cullin dan kemudian kita mulai, kita mulai dengan fungsi pertama.
Akhirnya adalah fungsi.
Jadi itu persis sama dengan sebelum kita mulai dengan kematian.
Kemudian dua garis bawah di dalamnya dua garis bawah lagi dan kemudian variabel.
Jadi tentu saja ada diri yang merupakan variabel yang melekat pada instance masa depan dari
objek masa depan dan kemudian kita akan memiliki variabel lain agar Anda dapat mencoba beberapa
pengalaman lain dengan beberapa kenangan dan itu akan menjadi kapasitas.
Jadi kapasitas ini hanya akan menjadi nomor seratus karena kita akan membuat pengalaman
bermain dengan seratus transisi lebih sedikit.
Baiklah dan kemudian Collon. Dan ini dia.
Mari kita masuk ke dalam fungsi dan mari kita mendefinisikan variabel objek memori replay kami.
Jadi yang pertama adalah kemampuan belajar sendiri dan seperti yang mungkin Anda pahami, ini akan menjadi kapasitas yang merupakan jumlah maksimum
transisi yang ingin kita miliki dalam ingatan kita tentang berbagai peristiwa.
Dan ini akan sama dengan argumen yang akan diinput ketika membuat objek dari kelas
memori replay dan oleh karena itu kapasitas.
Itulah argumen dari fungsi init.
Jadi kapasitas.
Jadi sekali lagi jangan bingung sendiri bahwa kapasitas adalah nama dari variabel yang melekat pada
objek dan kapasitas di sini adalah argumen yang akan diinput saat membuat objek dari kelas memori replay.
Baiklah.
Dan kemudian kita memiliki voivode kedua.
Itu tentu saja memori.
Demikianlah yang diajarkan Nemec pada dirinya sendiri.
Baiklah.
Dan untuk apa Voivode memori ini berada.
Nah memori ini seharusnya berisi 100 peristiwa terakhir dan karenanya ini harus menjadi tes sederhana.
Anda tahu daftar yang akan berisi 100 peristiwa terakhir 100 transisi terakhir dan untuk menginisialisasi
daftar.
Tidak ada yang lebih sederhana, kami hanya menambahkan beberapa tanda kurung seperti itu.
Dan di sini kita mulai.
Memori kita diinisialisasi jadi tentu saja pada awal percobaan atau lebih tepatnya awal eksplorasi
memori akan menjadi daftar kosong dan kemudian kita akan meletakkan transisi.
Setiap kali kita mencapai kondisi masa depan.
Dan berbicara tentang hal itulah yang akan kita lakukan dengan fungsi selanjutnya yang akan kita
panggil fungsi push.
Kami akan membuat fungsi push ini untuk menanam acara di daftar memori ini dan kemudian kami akan menggunakan
kapasitas untuk memastikan bahwa daftar memori ini selalu berisi 100 peristiwa dan tidak pernah lagi.
Baiklah jadi mari kita lakukan ini di berikutnya juga.
Dan sampai saat itu aku.