Halo dan selamat datang di tutorial ini.
Baiklah sekarang kita memiliki AI kita siap untuk dilatih.
Dan langkah pertama pelatihan adalah mengatur replay pengalaman kami.
Jadi kita perlahan-lahan sampai di sana.
Pelatihan dan kabar baiknya adalah bahwa kami memiliki versi replay pengalaman yang diimplementasikan.
Selain itu disesuaikan dengan jejak kelayakan yang saya ingatkan adalah teknik yang alih-alih mempelajari nilai
q setiap transisi mempelajarinya setiap 10 transisi.
Jadi pada dasarnya itu persis sama seperti sebelumnya.
Tetapi alih-alih memiliki satu target kata tunggal untuk setiap langkah kita akan memiliki target kumulatif sepuluh
langkah dan hadiah kumulatif 10 langkah dan kita akan belajar pada 10 langkah setiap kali.
Jadi kita belajar transisi 10 langkah daripada yang seperti sebelumnya.
Dan dengan ini saya akan melakukan keajaiban dan itu akan membuat keajaiban bagi proses pelatihan.
Anda tahu pelatihan akan memakan waktu lebih sedikit.
Berkat teknik ini, tetapi kami harus menentukan replay yang tidak berpengalaman yang kami pelajari setiap 10 langkah.
Jadi itu sebabnya replay pengalaman ini bukan implementasi klasik replay pengalaman.
Seperti melakukan satu untuk mobil self-driving.
Ini adalah implementasi replay pengalaman dengan mempertimbangkan 10 langkah pembelajaran ini dan oleh karena itu Anda akan
menemukan dalam file replay pengalaman ini dua kelas satu kelas yang membuat kemajuan AI Anda melakukan sepuluh
langkah sehingga dapat jumlah hadiah diamati pada 10 langkah ini.
Itu kelas pertama dan kami membutuhkan kelas ini karena kami perlu memasukkan 10 langkah ini
dalam kelas memori ulangan yang merupakan penerapan kelas untuk pengalaman yang kami mainkan dan itulah cara
kami memastikan bahwa memori juga memperhitungkan fakta bahwa kami belajar 10 langkah.
Jadi itu sebabnya Anda akan menemukan dua kelas dalam implementasi replay pengalaman ini
tetapi itu hanya untuk memperhitungkan bahwa kita belajar dalam 10 langkah dan yang harus diperhitungkan juga ke dalam memori.
Jadi berbicara tentang ingatan kita, mari kita ciptakan.
Kita akan memanggil memori memori kita dan memori akan menjadi objek dari memori replay dan kelas memori
replay adalah kelas dari pengalaman ini replay sekarang.
Dan jadi saya mengambil pertama kali pengalaman replay ini dan di situlah saya mengambil kelas memori
replay.
Sempurna.
Dan sekarang Anda dapat melihat kita harus meletakkan dua argumen, argumen pertama adalah dan langkah-langkah yang sesuai
persis dengan jumlah langkah yang akan kita pelajari nilai-nilai kunci.
Jadi, Anda tahu jumlah langkah di mana kami mengakumulasi target dan yang kami inginkan.
Kita akan memiliki target kumulatif dan imbalan kumulatif dan kemudian argumen kedua adalah
kapasitas yang merupakan ukuran memori.
Jadi misalnya di sini kita bisa melihat sepuluh ribu.
Jadi jika kapasitasnya sama dengan 10.000 itu berarti kita akan memiliki ukuran 10.000 dan
karena itu itu berarti bahwa kita akan mendapatkan memori dari 10.000 langkah yang dilakukan oleh mata.
Tetapi sekali lagi kita tidak akan belajar setiap transisi.
Kita akan belajar setiap sepuluh langkah di sepanjang 10.000 langkah terakhir dari memori ini dan itulah
fitur baru yang kami perkenalkan di sini dibandingkan sebelumnya.
Sebelumnya kami hanya memiliki trik memori replay ini dan di sini kami memiliki trik memory replay plus trik ini saya telah
belajar setiap sepuluh langkah dan kami akan belajar setiap sepuluh langkah dan kami akan
melakukannya dalam memori yang terdiri dari 10.000 langkah terakhir.
Dan replay yang berpengalaman ini dikombinasikan dengan sifat tidak memenuhi syarat dengan 10 langkah akan sangat
meningkatkan kinerja pelatihan.
Jadi mari kita akhiri dengan dua argumen ini.
Yang pertama adalah dan langkah-langkah dan itu akan sama dengan.
Tetapi untuk sekarang katakanlah dan langkah-langkah akan menentukan langkah apa yang benar setelah itu akan benar-benar menjadi hinaan dari
kelas lain dari file replay pengalaman ini yang merupakan kelas progres langkah akhir dan yang
memungkinkan untuk membuat kemajuan selama sepuluh langkah.
Dan ingat selama 10 langkah kita akan membunyikan kata-kata pada sepuluh langkah untuk mendapatkan hadiah kumulatif
lebih dari 10 langkah.
Dan itu adalah tes kelayakan yang tepat.
Jadi sekarang yang harus kita lakukan adalah membuat langkah-langkah ini di sini dan kita membuatnya dengan kelas kedua yang kita
miliki dalam file replay pengalaman ini yang merupakan langkah kemajuan.
Jadi sekarang kita akan membuat langkah ini dan ini akan menjadi objek dari kelas langkah kemajuan yang
kita ambil lagi dari pengalaman yang kita mainkan.
Itu dia.
Jadi itu kelas anti-kemajuan dan sekarang kita harus meletakkan tiga argumen seperti yang Anda lihat kita
harus meletakkan lingkungan yang merupakan lingkungan di sini yang kita impor.
Maka argumen kedua adalah AI kami dan ini tentu saja AI yang kami bangun
tepat di sini di U. S. dan argumen terakhir adalah langkah dalam hal ini di mana kami akan
menentukan bahwa kami ingin 10 langkah yang Anda ketahui untuk belajar setiap 10 langkah yang setiap 10 transisi.
Jadi mari kita bantu argumen ini.
Yang pertama adalah lingkungan dan itu malapetaka dan baik-baik saja.
Kemudian yang kedua adalah AI AI kami dan kami menghitung ai ai.
Itu yang ada di sini.
Jadi ini hanya nama argumen dari langkah progres kelas dan ai ai ini.
Ini ai ai kita.
Salah satu yang kami buat dan argumen terakhir adalah dan stack dan itu sama dengan 10.
Baiklah.
Jadi saat ini kami hanya mempertimbangkan dalam memori bahwa ada pembelajaran pada 10 langkah dan
pembelajaran pada 10 langkah ini disebut jejak kelayakan.
Jadi kami benar-benar mengerjakan hal-hal canggih di sini.
Tapi ingat itu karena kami berusaha menjadi Dume yang tidak seperti membuat sepotong kue.
Jadi kita membutuhkan teknik canggih ini untuk membuatnya bekerja.
Jadi sekarang kita hampir siap.
Sebelum melanjutkan ke langkah berikutnya yang akan benar-benar menerapkan nampan LGBT, satu-satunya hal yang harus
kita sertakan adalah kapasitas tentu saja dan itu katakanlah 10.000 orang kita akan memiliki ukuran 10.000 yang berarti
bahwa memori akan berisi yang terakhir 10000 langkah yang dilakukan oleh AI dan itu akan memungkinkan kita
untuk menghasilkan banyak langkah.
Seingat saya fungsi sederhana.
Anda tahu memori berisi 10.000 transisi tetapi untuk melatih mata kita akan mencicipi begitu banyak kumpulan sepuluh transisi
tidak satu dibandingkan dengan sebelum 10 transisi kali ini dan kami akan mencicipi batch
mini dari 10 transisi ke dalam memori yang terdiri dari 10.000 langkah .
Baiklah jadi sekarang saya kira kita siap untuk melanjutkan ke langkah selanjutnya yaitu tentang menerapkan
jejak kelayakan.
Jadi kita akan bertualang di sini.
Ini bukan implementasi sederhana.
Jadi, istirahatlah yang baik dan ketika Anda siap kami dapat menyerang ini.
Dan kemudian nikmati.