Halo dan selamat datang di tutorial ini mainan spesial ini akan menjadi sangat menarik karena kita semakin dekat
dengan A. S. C. algoritma.
Anda akan melihat bahwa apa yang akan kami terapkan dan yang disebut penelusuran kelayakan
atau Sarsour sebenarnya adalah algoritma dari algoritma agen kritik aktif yang sinkron yang tidak dapat kami pertimbangkan.
Dan kami melihat karena kami masih akan memiliki satu agen tetapi Anda masih akan
melihat bahwa apa yang akan kami implementasikan sebenarnya diambil dari makalah berikut yang merupakan makalah ini sebagai metode Synchronoss
untuk pembelajaran penguatan yang dalam dan dalam tulisan ini Anda akan menemukan algoritma A-3 yang akan kami terapkan
sebagai bonus akhir dari kursus ini.
Tapi seperti yang saya katakan kita semakin dekat dengan itu karena model yang akan diimplementasikan
saat ini sebenarnya yang ini sinkron dan sekuler itu yang hampir A3 C yang melakukan setelah itu
tetapi dengan satu agen dan yang kuat tentang ini ini dan langkah Cunanan kita akan belajar untuk mengumpulkan
hadiah dan mempelajari target kumulatif pada langkah akhir, bukan satu langkah seperti Priestley.
Dan itulah yang akan membuat pelatihan jauh lebih berkinerja dan karenanya jauh lebih kuat.
Jadi kita benar-benar memiliki kode pseudo untuk algoritma ini. Algoritma ini untuk di sini.
Jadi mari kita klik dan kita mulai.
Itulah algoritma yang akan kami implementasikan.
Tetapi ingat hanya dengan satu agen perbedaannya adalah bahwa di sini mereka mengambil tindakan.
80 menurut kebijakan presiden Greely berdasarkan nilai q untuk negara saat ini dan tindakan yang
dimainkan.
Namun dalam kasus kami, kami tidak menerapkan kebijakan hijau yang sangat baik.
Kami menerapkan Max lunak.
Tetapi sisanya sama seperti yang Anda lihat.
Kami akan menghitung kumulatif yang kami kerjakan dan langkah sebenarnya 10 langkah.
Ingat langkah-langkahnya sama dengan 10.
Jadi kami akan mengimplementasikan baris kode ini dalam algoritme kami yang akan kami implementasikan saat ini.
Kami akan mendapatkan ini.
Dan sebagian besar kita akan menerapkan ini juga.
Anda akan melihat bahwa kita akan mendapatkan nilai q maksimum untuk kondisi saat ini dan tindakan saat ini
dalam theta ini.
Ini hanya parameter target.
Jadi mari kita lakukan ini, mari kita serang algoritma ini.
Yang ini disebut pembelajaran sinkron dan tetap.
Tetapi kami tidak memiliki hak untuk mengatakan sinkron sejauh yang kami ketahui karena kami hanya memiliki satu mesin.
Tetapi karena itu kita dapat menyebutnya dan mempelajari jejak kelayakan atau bahkan Sarsour.
Baiklah jadi mari kita lakukan ini.
Ini akan sangat menyenangkan.
Kita pada dasarnya dapat mengikuti kode di sini dan itulah yang akan kita lakukan.
Dan agar Anda dapat melihat parameter yang kita butuhkan adalah kembali parameter yang merupakan parameter
peluruhan dan oleh karena itu kita akan mulai dengan memperkenalkan variabel untuk parameter Gahanna ini dan memilihnya.
Jadi mari kita lakukan ini.
Kita sebenarnya tidak memerlukan ruang kelas yang luar biasa. Kita cukup mengimplementasikan ini dengan fungsi
karena Anda tahu kita tidak benar-benar perlu membuat objek untuk ini untuk melacak
model. Fungsi akan cukup karena pada dasarnya yang ingin kita lakukan adalah untuk kembalikan input dan target sehingga nanti
ketika melatih AI kita siap untuk meminimalkan jarak antara prediksi dan target dan untuk mendapatkan prediksi kita
membutuhkan input karena kita akan menerapkan otak kita pada input untuk mendapatkan output sinyal yang akan
menjadi prediksi kami.
Dan begitu kita memiliki prediksi dan target kita, kita akan siap untuk melatih AI
dengan mencoba meminimalkan jarak yang jauh antara prediksi dan toilet.
Jadi itulah inti dari melakukan ini sekarang.
Kami menerapkan fungsi ini untuk dapat mengembalikan input ini di Soviet sehingga kami
dapat siap untuk pelatihan untuk meminimalkan prediksi jarak kuadrat mengelola toilet.
Baiklah jadi mari kita lakukan ini seperti yang kita katakan kita ingin mengimplementasikan fungsi.
Kita mulai dengan ini.
Ini akan kita sebut sebagai tanda garis bawah kelayakan.
Anda juga bisa menyebutnya Sarsour.
Anda juga dapat menyebutnya langkah untuk menelepon apa pun yang Anda inginkan, tetapi sebut saja penelusuran
kelayakan dan fungsi ini akan mengambil satu argumen yang akan menjadi kumpulan dan mengapa itu karena kami
akan mendapatkan beberapa input dan beberapa target karena kita akan melatih AI secara berkelompok.
Jadi input dan target akan masuk ke dalam beberapa batch dan karenanya argumen input di
sini adalah batch ini yang akan berisi beberapa input dan kemudian beberapa target yang akan dihitung.
Jadi begitulah.
Itulah satu-satunya argumen yang kita butuhkan.
Sekarang mari kita masuk ke dalam fungsi dan mari kita mendefinisikan apa yang perlu kita lakukan.
Jadi seperti yang kita lihat di Basilika makalah kita perlu parameter lagi jadi seperti yang kita katakan kita mulai
dengan memperkenalkan parameter gamma ini semi-dekat dan kita sudah bisa menguraikan nilai.
Dan kita akan memilih empat koma sembilan puluh sembilan yang merupakan nilai klasik baik untuk Ghana dan Norreys.
Saya memeriksa bahwa ini adalah nilai yang baik untuk AI kami.
Baiklah, langkah selanjutnya, langkah selanjutnya adalah menyiapkan masukan dan target kita karena itulah yang ingin
kita kembalikan.
Kami ingin mengembalikan input ke target untuk mempersiapkan pelatihan.
Jadi kita sudah dapat menginisialisasi mereka dengan daftar kosong karena tentu saja input ini Di dalam yang
terbaik kita akan memiliki beberapa input semua ke dalam daftar dan saat itulah inisialisasi
input sebagai daftar serta target yang kita tuju.
Jadi kami menginisialisasi dan memasukkan target kami dan pada akhirnya fungsi penelusuran kelayakan ini akan mengembalikan
input ini dengan tepat.
Dan ya ini tentu saja Filton.
Kami memiliki beberapa input dan beberapa target terkait apa yang akan dikembalikan oleh fungsi.
Baiklah selanjutnya langkah selanjutnya adalah memulai loop dan itu persis karena kita mengikuti kode
lambat dari kertas.
Kode semacam ini.
Dan seperti yang Anda lihat ada bagian kode berulang ini dan mengulangi persis satu lingkaran penuh dalam kode.
Kami akan menghitung imbalan kumulatif di sini terakumulasi selama 10 langkah.
Dan bagaimana cara menghitungnya.
Nah di setiap langkah yang bukan langkah terakhir kita akan mendapatkan nilai inti maksimum dari mata uang
yang kita masuki selama ini dan langkah-langkah berjalan.
Dan jika kita mencapai Negara terakhir dari 10 langkah dengan baik ini akan sama dengan nol.
Itu kami tidak ingin melakukannya lagi.
Dan kemudian kita memiliki ini untuk loop yang akan menjadi yang lain.
Mereka tidak mengatakan ulangi di sini tapi itu sama dengan itu akan menjadi loop penuh kedua dalam algoritma kami.
Yah kita akan memiliki cara kita dengan mengalikannya dengan gamma parameter peluruhan dan menambahkan
kata.
Jadi mari kita lakukan ini mari kita kembali ke Python dan mari kita mulai dari awal.
Dan apa yang akan menjadi variabel iteratif.
Nah itu akan menjadi seri 10 langkah kami.
Anda tahu seri 10 transisi kami sehingga kami akan memanggil seri variabel ini yang mewakili serangkaian
10 transisi seperti urutan 10 transisi.
Jadi untuk seri.
Lalu apa yang Anda pikirkan.
Nah seri kami akan turun ke batch kami.
Ada batch yang akan melatih seri AI dan seterusnya dalam batch yang untuk semua seri 10
transisi dalam batch input kami.
Nah di mana kita akan melakukannya dengan baik untuk mendapatkan hadiah kumulatif yang akan Anda lihat dalam
silika bahwa kita memerlukan keadaan transisi pertama dari seri dan juga keadaan transisi terakhir dari seri.
Jadi apa yang harus kita lakukan sekarang adalah mendapatkan status input ini dan jadi kita akan menempatkan kedua
status ini menjadi layak yang akan memanggil input dan kita akan mendapatkan dua status input ini.
Yang pertama dari seri dan yang terakhir yang akan kita masukkan ke dalam array non-pilot tetapi tidak ada kekhawatiran tidak
akan bertahan dengan ini dan Ampyra tentu saja akan mengubahnya menjadi mengerikan tetapi langkah
pertama adalah menempatkan kedua menyatakan yang pertama dalam yang terakhir menjadi sebuah kerajaan.
Dan di sini, di array ini kita menambahkan input pertama yang merupakan tahap input dari transisi
pertama dari seri dan itu adalah Seri dan kemudian untuk mengambilnya untuk transisi kita ambil indeks nol dari
seri itulah transisi pertama dan kemudian kita dapat mengaksesnya dengan mengambil atributnya yang state dan thats karena
dalam file replay pengalaman kami, kami memang menemukan struktur khusus untuk setiap transisi dan Anda
tahu strukturnya.
Setiap transisi terdiri dari kata aksi negara.
Tetapi kemudian elemen terakhir yang dilakukan sehingga struktur khusus yang diizinkan untuk kami gunakan
sekarang berasal dari cara kami mendefinisikan transisi dan mengalami replay.
Baiklah jadi dengan ini kita mendapatkan status input dari transisi pertama dan sekarang mari kita dapatkan
juga tahap input dari transisi terakhir dari seri.
Dan untuk melakukan ini itu dengan mengatakan kita bisa menyalin ini dan menempelkannya dan ganti karena Anda berada di sini dengan indeks
terakhir dari seri yang dapat kita akses dengan trik ini dikurangi satu seri minus satu yang menyatakan
akan mendapatkan status input yang terakhir transisi seri.
Baiklah kita perlu meletakkan kedua elemen ini di dalam beberapa kurung siku karena itulah yang diharapkan oleh
wasit sebuah fungsi dan kemudian hal penting yang harus dilakukan karena kita akan mengubahnya
menjadi jawaban obor dalam variabel obor.
Ingat juga tensor torch adalah definisi array khusus yang berisi satu tipe tunggal.
Jadi kita perlu memaksakan memiliki satu tipe tunggal.
Dan seperti biasa kita akan memilih tipe float dan seterusnya menambahkan parameter ini di sini tipe D
sama dengan P yang mengapung.
Sehingga Anda dapat mengambil yang ini dan sekarang kita bisa mengonversinya menjadi tensor obor dalam voivode obor.
Jadi mari kita lakukan ini.
Baiklah pertama-tama mari kita ubah itu menjadi sensor obor.
Dan ingat kita dapat menggunakan torche yang dari non-prime yang kita tuju dan kita meletakkan semua array dari dua negara input
di dalam penari obor ini dengan obor dari mereka dengan fungsi sempurna yang akan mengubah array ini dari
dua keadaan input menjadi obor sensor.
Dan sekarang kita menempatkan obor ini jawabannya menjadi obor dengan sangat baik menggunakan kelas variabel sehingga input akan menjadi objek
dari kelas yang berharga.
Dan sebenarnya ketika Anda memahami kelas variabel ini mengambil semua ini sebagai argumen dan yang
menciptakan objek.
Baiklah jadi sekarang kita harus baik.
Kami memiliki dua input yang kami butuhkan.
Itu adalah keadaan input dari transisi pertama dan kemudian input mengatakan bahwa transisi terakhir.
Dan sekarang kita memiliki input. Nah apa yang bisa kita dapatkan, kita bisa mendapatkan sinyal output dari otak
AI.
Itu adalah prediksi bahwa kita akan menyebutnya output.
Itu sinyal keluaran.
Dan untuk mendapatkan output.
Nah sekarang itu sangat mudah karena kita sudah memiliki otak yang merupakan jaringan saraf convolutional
kami.
Jadi kita bisa mengambil CNN otak kita diterapkan pada input yang akan mengembalikan prediksi yang
merupakan output sesederhana itu.
Dan sekarang kita sudah siap untuk melanjutkan ke langkah selanjutnya.
Dan langkah selanjutnya adalah mulai menghitung komunitas ini jika Anda mau.
Jadi sekarang kita akan melakukan hal yang sama persis seperti kita untuk algoritma Sarsour atau harus kita sebut
dan langkah-langkah untuk belajar.
Kami akan memperkenalkan variabel hadiah kumulatif yang akan menjadi hadiah kumulatif, mari kita kembali ke makalah seperti yang Anda lihat sekarang
apa yang harus kita lakukan untuk mendapatkan hadiah komunitas ini yang merupakan milik kita
di sini.
Baik dan setiap langkah dari 10 langkah berjalan kita perlu memperbaruinya dengan menambahkan nol ke komunitas ini jika
kita jika kita mencapai tahap terakhir dari seri atau maksimum nilai inti jika kita belum mencapai tahap
terakhir seri yang untuk semua statika yang bertahan.
Jadi itu hanyalah bonanza.
Ayo kembali ke Piscean.
Jadi hadiah komunitas ini seperti yang baru saja kita lihat akan sama dengan nol koma nol jika kita mencapai kondisi terakhir
dan kita dapat menulis kondisi ini dengan cara ini jika serangkaian indeks minus 1.
Itu adalah transisi terakhir dari seri ini.
Kemudian kami menambahkan yang dilakukan karena dilakukan sebenarnya adalah atribut dari Anda tahu struktur transisi ini yang
kami definisikan dalam pengalaman kami memainkan pengalaman kami memutar ulang pelanggaran dan ini dilakukan berasal dari sebenarnya
struktur pembukaan karena jika kita pergi ke situs web Allergan terbuka yang sebenarnya benar di sini saya
menyiapkannya.
Itu perbuatan baik atau wazir.
Dan jika kita pergi ke dokumentasi dan kemudian jika kita.
Itulah tutorial yang saya sangat anjurkan Anda untuk melihatnya.
Anda dapat menjalankan lingkungan yang Knowsley Anda dapat melihat bahwa pengamatan kami bahwa ini
adalah transisi yang ditentukan oleh pengamatan.
Kami ingin ini dilakukan di sini dan ini dilakukan berarti transisi atau langkah selesai.
Dan jadi kita akan menggunakan ini dilakukan di sini untuk kondisi JIKA kita.
Oleh karena itu iSeries kegilaan ketika itu dilakukan berarti jika transisi terakhir dari seri selesai.
Dan hadiah kumulatif ini akan sama dengan nol jika transisi terakhir dari seri dilakukan.
Jika kita belum mencapai transisi terakhir, hadiah kumulatif baik akan diperbarui dengan seperti yang
kita katakan maksimum dari nilai-nilai kunci.
Dan karena output ini di sini adalah output dari otak yang merupakan prediksi dari jaringan saraf.
Dan seperti yang Anda tahu prediksi dari jaringan saraf adalah nilai-nilai yang diprediksi Nah output ini
berisi nilai-nilai.
Dan karena kita perlu mengambil maks dari nilai q dengan baik, kita perlu menambahkan pertama indeks ini karena
struktur ini mengandung dua nilai kunci dan yang berikutnya.
Dan kemudian kita perlu menambahkan data untuk mengakses data.
Struktur output ini Anda tahu memiliki struktur khusus dari obor voivode.
Jadi dengan ini kita mendapatkan nilai-nilai inti kita dan kemudian kita ingin mengambil nilai maksimum dari
isyarat kita dan jadi kita menambahkan Max.
Dan sekarang kita mendapatkan apa yang kita inginkan seperti dalam makalah ini maksimum nilai kubus untuk
negara-negara non-terminal sebagai sempurna.
Dan sekarang yang akan kita lakukan adalah membuat lipatan kedua.
Itu untuk 10 langkah dari seri kita akan memperbarui kumulatif berjalan dengan cara ini dengan mengalikan terlebih dahulu
oleh Gamma parameter peluruhan yang sudah kita miliki dan kemudian tambahkan kata B
Jadi mari kita lakukan ini.
Kami benar-benar akan melakukan hal yang persis sama seperti dalam pseudocode karena Anda dapat melihat mereka mulai
dari kanan.
Jadi mereka tidak memulai dengan langkah pertama dan masuk ke tes terakhir yang mereka mulai dengan langkah terakhir.
T-minus 1 ke langkah pertama untuk memulai.
Itulah yang akan kita lakukan dan itu karena kita ingin mendapatkan
imbalan kumulatif yang sama dengan yang sama dengan kita atau nol plus gamma atau 1 plus gamma kuadrat atau dua plus yang ditambahkan plus
gamma dengan kekuatan 10 atau 10 di mana adalah 1 atau 2 yang 10 adalah kata yang diperoleh pada setiap langkah
dari seri.
Jadi mari kita istirahat sejenak sebelum mengambil loop penuh kedua dan sampai jumpa di tutorial berikutnya.
Sampai kemudian menikmati AI.