Halo dan selamat datang di ceritanya.
Sekarang kita akan membuat for loop untuk menghitung kerugian kebijakan dan kehilangan nilai dan begitu
kita memiliki dua pelajaran ini kita akan dapat menggunakan pengoptimal kita untuk menempatkan rokok di
pasir untuk mengurangi kerugian.
Baiklah jadi kita mulai.
Kami mulai di sini dengan cara di tutorial sebelumnya kami menerapkan bagian ini dan saya lupa menghapus indentasi
tentang hal itu.
Jadi mulai dari sini bukan di musim gugur.
Dan sekarang kita memulai loop penuh baru jadi saya mulai di sini dengan empat.
Dan sekarang yang akan kita lakukan adalah kita akan mulai dari langkah terakhir yang dilakukan selama eksplorasi dan kita
akan bergerak mundur dalam waktu.
Jadi itu sebabnya saya lakukan untuk saya di tanah yang dibalik hadiah imbalan terbesar adalah yang paling.
Dan karena setiap langkah eksplorasi terkait dengan tempat kami bekerja karena pada setiap langkah kami mendapat hadiah
saat kami mengucapkannya.
Apakah ini jumlah langkah dan ini terbalik di sini digunakan sehingga kita dapat mundur dalam waktu sehingga kita pergi.
Dan sekarang yang akan kita lakukan adalah memperbarui hadiah kumulatif yang jauh dan kita akan memperbaruinya dengan
cara ini.
Itu sebenarnya sama dengan apa yang kami lakukan untuk Doom.
Ini sama dengan gamma yang kita dapatkan dari parameter kita dan mengambil dari program pertama yang tidak jauh ditambah
hadiah ini yang bisa kita dapatkan dengan mengambil hadiah paling sedikit dan mengambil indeks.
Jadi bagi kami ini akan menjadi pekerjaan yang terakhir dan kemudian akan menjadi hadiah dari hari sebelumnya dan lain-lain.
dan setiap kali kami memperbarui Dengan mengalikannya dengan gamma dan kemudian menambahkan hadiah ini di set.
Dan dengan melakukan ini, ingat kita akan mendapatkan pada akhirnya.
Jadi saya akan menuliskannya ketika mereka datang dan kami akan mendapatkan hadiah komunitas kami yang akan
keren di akhir loop ke nol kami.
Hadiah dari langkah nol plus waktu gamma adalah satu.
Kami adalah yang pertama kali menambahkan gamma kuadrat pada kata.
Langkah kedua plus itu ditambah gamma pada kekuatan dan minus satu kali imbalan yang didapat pada langkah dan minus 1 di mana
sejumlah langkah tetapi kemudian hati-hati pada akhirnya kita akan memiliki gamma pada kekuatan sejumlah
langkah.
Waktu mendevaluasi nilai fungsi yang diterapkan ke status terakhir.
Itu yang seharusnya kita dapatkan.
Dan ini kita akan dapatkan itu karena ingat di sini kita mendapat nilai ini dan langkah terakhir karena ini dilakukan pada akhir
ini untuk loop di sini.
Jadi kami mendapat nilainya dan kami mengatur agar kami sama dengan nilai itu.
Jadi sekarang di awal dari loop penuh kedua di sini akan sama dengan nilai tanggal terakhir
ini.
Tapi kemudian dengan melakukan ini, inilah yang akan kita dapatkan pada akhirnya setara atau nol persen atau satu atau
dua lapangan tenis plus dapat menambah kekuatan dan minus satu kali kita berada di langkah dan minus
satu plus permainan dengan kekuatan angka dari langkah kali nilai Lastings ini.
Jadi itulah hal utama yang harus dipahami dan ini bisa menjadi aksi penghargaan kumulatif.
Dan itulah mengapa penting untuk memulai dengan menginisialisasi atau dengan di sini dan melakukan loop terbalik
ini untuk mendapatkan persamaan akhir yang sempurna.
Dan sekarang setelah kita memiliki nilai yang tepat untuk hadiah kumulatif Yah kita akan menghitung keuntungan
dan keuntungan di sini hanyalah keuntungan dari mendapatkan hadiah ini dibandingkan dengan mereka.
Jadi saya akan memperkenalkan keunggulan evolvable dan karena itu akan sama dengan hadiah kumulatif ini dikurangi
nilai fungsi V yang diperoleh pada tahap tersebut.
Jadi karena itu itulah nilai minus kami.
Sempurna.
Dan sekarang kita memiliki komunitas tempat kita bekerja dan keuntungannya maka kita bisa mendapatkan nilai yang hilang.
Ini yang pertama yang bisa kita dapatkan sekarang.
Jadi kita akan mendapatkan nilai kita dengan sangat baik dan ini akan diperbarui dengan cara berikut.
Ingat sejauh ini bahwa mendevaluasi kita diinisialisasi ke nol.
Jadi kita akan mengambil nilai yang hilang lagi dan pada 0. 5 kali kuadrat untuk keuntungan sehingga kita bisa mendapatkannya dengan cara
ini.
Keuntungan juga dipikirkan.
Jadi itu hanya berarti untuk mengkuadratkan keunggulan daya dan itu adalah nilai plus
kerugian yang dihasilkan oleh prediksi nilai fungsi yang dihasilkan oleh sungai.
Jadi masuk akal bahwa ini didevaluasi hanya karena mengingat keuntungan dari tindakan di negara
bagian adalah perbedaan antara nilai Q dan nilai fungsi B.
Jadi ketika kita memainkan aksi optimal Nah kita mendapatkan status stasioner dengan Q optimal dari aksi optimal
pemain bintang di negara bagian sama dengan nilai optimal.
Vistar negara s.
Jadi cukup intuitif untuk memahami bahwa jika keuntungannya tidak sama dengan nol maka akan ada
perbedaan antara keduanya.
Dan karena itu begitulah yang terakhir diukur.
BAIK.
Jadi yang terakhir dihitung satu yang terakhir.
Sekarang kita punya satu lagi.
Itu adalah kerugian kebijakan dan itulah yang akan kita hitung saat ini
dan untuk menghitungnya kita perlu mempertimbangkan lagi estimasi keuntungan umum karena untuk menghitung kerugian kebijakan kita perlu
estimasi keuntungan umum dan untuk mendapatkan keuntungan umum bangsa pertama-tama kita perlu perbedaan temporal dari
katup panggung.
Jadi kita memiliki banyak hal untuk dihitung di sini dan kita akan mulai dengan perbedaan temporal ini begitu
kita mendapatkan perbedaan temporal.
Kami akan mendapatkan estimasi keuntungan yang digeneralisasi dan begitu kami mendapatkan keuntungan yang digeneralisasi untuk
menyebutkan kami akan mendapatkan semenanjung.
Baiklah.
Jadi mari kita mulai dengan perbedaan temporal T. G. DD sama dengan hadiah dari langkah
I ditambah Ghana yang kami dapatkan di daftar program kami sehingga Bromstad gamma kali nilai hutang
ini ditambah satu dan kami menambahkan data untuk mengaksesnya dikurangi nilai langkah I dan sama kami tambahkan data.
Baiklah.
Itulah rumus perbedaan temporal dan nilai-nilai negara.
Dan sekarang kita dapat memperbarui estimasi keuntungan umum dan bagaimana tanggalnya.
Baik kita mengambil R-GA dan kita mengalikannya dengan parameter gamma kali gamma sehingga kita mengakses dengan parameter kita
juga.
Jadi kami mengambil sel program dan kami menambahkan perbedaan temporal dari nilai-nilai negara.
Jadi berhati-hatilah.
Kami berada di loop.
Dan setiap kali kita mengalikan dengan dan oleh dan kita menambahkan perbedaan temporal.
Jadi, penting untuk dipahami bahwa pada akhir loop ini. Estimasi keuntungan
umum ini akan sama dengan jumlah pada semua langkah kali gamma sehingga kekuatan i kali perbedaan temporal pada langkah tersebut sangat
penting untuk menjaga agar dalam pikiran.
Dan sekarang kita memiliki estimasi keuntungan umum dan perbedaan umum kita akhirnya
dapat menghitung kebijakan.
Jadi mari kita lakukan ini.
Kami akan memperbarui undang-undang kebijakan kami dengan cara berikut dengan mengambil kebijakan lama untuk kami dan kami mengurangi probabilitas
LUGG yang diperoleh pada langkah yang kami kalikan dengan estimasi keuntungan umum ini yang harus kami masukkan ke dalam
variabel karena kami akan menghitung gradien.
Jadi itu harus dilampirkan ke gradien dalam grafik dan kemudian kita tambahkan minus 0. 1 kali entropi.
Entropi diperoleh pada langkah di musim gugur.
Dan lagi.
Sekarang hati-hati.
Ini adalah bagian dalam loop yang berarti bahwa pada akhir flu apa yang akan Anda dapatkan
adalah polis plus sama dengan minus beberapa di atas langkah-langkah produk luggin kebijakan pada langkah-langkah untuk estimasi keuntungan
umum.
Ditambah 0 ini. 01 kali entropi melakukan sehingga kita dapatkan.
Dan sekarang apa kebijakan I.
Nah itulah probabilitas Max lunak dari tindakan dan entropi dari ini yang saya akan Anda tahu
apa itu tempat kami menghitung sebelumnya.
Dan apa yang kami ingin lakukan daftar.
Jadi kita sudah memilikinya.
Tapi tahun ini saya mendengar itu adalah probabilitas Max lunak dari tindakan.
Dan mengapa kita memberi minus di sini.
Itu karena keberuntungan dari probabilitas dan entropi adalah nilai negatif.
Dan karena kita ingin meminimalkan nilai absolutnya, kita harus melihat ini sebagai kemungkinan LUGG sebagai lawan
dari jarak.
Tidak, kami ingin memaksimalkan probabilitas tindakan yang akan memaksimalkan keuntungan.
Itulah seluruh ide di baliknya.
Kami ingin memaksimalkan kemungkinan memainkan aksi yang akan memaksimalkan keuntungan dan bagi
Anda yang mungkin bertanya-tanya apa tujuan entropi ini efisien.
Ada faktor ini 0. 01 di sini.
Nah tujuan dari itu adalah hanya untuk mencegahnya agar tidak jatuh terlalu cepat ke dalam perangkap di mana kita
memiliki distribusi probabilitas dengan nol untuk semua tindakan kecuali satu yang memiliki probabilitas satu.
Dan jika itu terjadi, itu akan meminimalkan entropi.
Jadi itu sebabnya kami menambahkan revisi kecil ini 0. 01 tahun itu akan membuat entropi bertambah
besar dalam arti.
OK jadi sekarang kabar baiknya adalah bahwa bagian yang paling sulit dilakukan.
Kami memiliki dua kerugian dan oleh karena itu apa yang hanya perlu kami lakukan sekarang dan kami sudah tahu bagaimana
melakukannya adalah melakukan hanya untuk mendapatkan nilai dalam arti mengurangi dua kelas ini.
Jadi apa yang akan kita lakukan sekarang adalah keluar dari lingkaran ini dan kita akan mengambil pengoptimal kita.
Yang kita buat secara terpisah lalu ingat hal pertama yang harus kita lakukan adalah menginisialisasi
semua parameter penilaian ke nol dan untuk melakukan ini kita tambahkan itu lalu ke nol dan itu disebut metode grad.
Baiklah jadi itu sudah selesai.
Sekarang kita akan melakukan propagasi mundur tetapi kita akan memberikan dua kali lebih penting untuk
kebijakan yang terakhir daripada nilai yang hilang karena kebijakan lebih kecil.
Jadi untuk melakukan ini kita akan memasukkan kebijakan kurung dan skor plus plus 0. 5 nilai kerugian jadi 0. 5 kali nilainya bagi kami dan kami akan
menambahkan di sini bahwa kami menerapkan metode mundur untuk melakukan propagasi mundur dan berkat trik ini di sini
dengan kebijakan yang kurang ditambah setengah dari nilai yang kami miliki dua kali
lebih penting daripada kebijakan dibandingkan the Vaness.
OK maka kita akan menggunakan trik lain yaitu untuk mencegah gradien dari mengambil nilai
yang sangat besar dan karenanya menghasilkan algoritma.
Dan trik untuk melakukan itu adalah untuk mendapatkan pertama perpustakaan obor kami kemudian
akhir dan modul dari perpustakaan obor kemudian submodule utils dan sekarang kita akan menggunakan fungsi CLEP garis bawah grad
pada norma skor dan kita akan memasukkan parameter model dengan input kedua yang akan menjadi 40.
Dan trik itu pada dasarnya akan memastikan bahwa gradien tidak akan mengambil nilai yang sangat
besar dan menghasilkan algoritma.
Dan bagi Anda yang mungkin bertanya-tanya apakah ini 40 tahun.
Persis.
Nah itu hanya berarti bahwa kita menggunakan nilai-nilai ini sehingga norma gradien tetap antara
0 dan 40 dan oleh karena itu bagaimana kita mencegah gradien dari mengambil ke nilai besar.
OK sekarang kita hampir selesai.
Ingat kami membuat ini dan yakin bahwa fungsi Gretz yang dibagikan pada awal musim gugur adalah untuk memastikan bahwa
agen dan model bersama berbagi gradien yang sama dan melakukan ini untuk memastikan bahwa kami dapat menerapkan
fungsi ini di sini.
Jadi kita akan menambahkan dan yakin berbagi lulusan untuk memastikan bahwa moral dan model bersama berbagi gradien yang
sama.
Baiklah jadi itu hanya pencegahan.
Saya tidak yakin itu benar-benar diperlukan tetapi Anda tahu setidaknya kita tidak akan mendapatkan masalah di sini.
Baik.
Dan akhirnya baris kode terakhir kita tentu saja akan melakukan langkah optimasi untuk mengurangi kerugian
dan Anda tahu bagaimana melakukannya tentu saja kita ambil optimizer kita dan kita tambahkan langkah itu dengan tanda kurung
lalu kita lanjutkan ke pelatihan otak kita lebih.
Jadi selamat.
Saya harap ini tidak terlalu berlebihan.
Jangan khawatir, saya akan memberikan kode dengan semua komentar.
Jadi, jika Anda melewatkan detail apa pun, Anda dapat melihat komentar.
Dan jangan khawatir jika Anda belum mengerti apa-apa ini sangat maju.
Tapi yakinlah ini juga kunjungan ingat paling kuat yang dibuat dari pencipta pi.
Jadi kami benar-benar bekerja dengan yang terbaik di sini.
Keadaan seni sehingga benar-benar normal jika Anda tidak mendapatkan semuanya pertama kali tetapi
dengan mengerjakannya berkali-kali Anda pasti akan semakin nyaman.
Jadi sekarang kita selesai dengan pelatihan.
Jadi pada dasarnya kami membuat semua hal terpenting yang Anda tahu kami buat dengan membangun arsitektur
jaringan saraf dengan konvolusi LCN dan lapisan yang terhubung sepenuhnya.
Kami melatih otaknya dengan membuat kode kereta ini di sini.
Jadi pada dasarnya jantung algoritma dilakukan.
Anda membuat A3 melihat selamat.
Sekarang kita memiliki beberapa hal yang harus dilakukan tetapi itu hanya untuk mendapatkan bagian yang menyenangkan.
Anda tahu kami perlu melakukan tes ini yang kami temukan yang akan menguji agen dan memberikan video dan
pesawat keluar.
Jadi ini akan sangat menyenangkan untuk menonton kami tidak akan kode semua baris tes ini yang saya jatuh karena seperti yang kami katakan
kami melakukan hal yang paling penting.
Semua yang berhubungan 23C tetapi saya tentu saja akan menjelaskan kode dan akhirnya kami memiliki ini dibuat saya menemukan yang
akan mengeksekusi kode.
Dan sejak saat kita mengeksekusi kode ini semua kode akan dihasilkan.
Jadi otak akan dibuat.
Pelatihan akan terjadi dan mata akan memainkan game baru pelarian dan kami akan mendapatkan semua videonya.
Jadi saya tidak sabar akhirnya menonton mereka.
Kita akan melihat apakah dia cukup pintar untuk menangkap bola.
Jadi sekarang saya akan melihat tutorial berikutnya untuk UI desktop ini sehingga kami dapat menguji AI pada beberapa
game baru.
Dan sampai saat itu nikmati AI.