Halo selamat datang kembali ke kursus kecerdasan buatan.
Dalam tutorial hari ini kita akan membahas tutorial yang cukup kompleks yang disebut penelusuran kelayakan atau
langkah.
Q belajar dan ini adalah sesuatu yang akan saya terapkan di sisi praktis hal-hal jadi itu
sebabnya kita perlu keluar dan di pusat itu adalah topik yang cukup kompleks sehingga kita punya pendekatan yang sangat
menarik untuk mempercepat kita dengan intuisi di belakang.
Jadi saya menyukai pendekatan yang berbeda dalam pikiran daripada yang biasa kita gunakan untuk melihat tampilan sederhana itu dan
melihat bagaimana hasilnya.
Jadi saya ingin memberi Anda contoh untuk memulai.
Saya akan memberi Anda contoh dalam tutorial ini dan itu akan menunjukkan kekuatan kelayakan.
Dan berikan kami intuisi di balik banyak hal.
Dan kemudian jika Anda ingin mempelajari lebih lanjut tentang sifat-sifat kelayakan saya akan memberi Anda tempat terbaik di
mana Anda dapat membacanya.
Saya akan memberi Anda referensi ke buku tetapi sebaliknya.
Jadi sementara ini akan berbeda karena kita ke dalamnya lebih dulu daripada menggali intuisi
kita akan melihat contoh dan intuisi menjadi jelas setelah kita bicarakan.
Dan itulah harapan saya.
Jadi mari kita lihat.
Mari kita lihat, mari kita lihat apakah kita bisa melakukan ini.
Jadi di sini kita punya dua agen dan mereka menavigasi lingkungan yang sama dan kita akan melihat bagaimana kedua agen
ini bekerja.
Yang pertama akan bekerja dengan jejak kelayakan kami.
Yang kedua akan bekerja dengan jejak yang tidak terbaca dan mudah-mudahan kita akan melihat mengapa yang kedua akan menjadi
jauh lebih kuat daripada yang pertama.
Jadi mari kita lihat.
Kita akan melihat agen ini dulu.
Dan cara dia beroperasi adalah cara tepat yang telah kita bahas sejauh ini.
Jadi agen akan mengambil langkah atau akan mengambil tindakan untuk pindah ke kondisi baru.
Baik untuk mendapatkan hadiah tertentu akan menempatkan itu melalui atau melalui algoritmanya memperbarui jaringan
saraf yang menjalankan agen ini atau yang berjalan dalam pikiran agen ini.
Jadi pada dasarnya itulah cara belajar dari saat itu akan mengambil langkah baru.
Jadi dari negara baru ini akan mengambil tindakan baru berdasarkan apa yang dikatakan jaringan sarafnya
untuk lakukan adalah mendapatkan hadiah naik pembaruan dan seterusnya dan akan terus melakukan itu.
Jadi jelas ini akan melakukan pekerjaan yang cukup baik dan seperti yang telah kita lihat sebelumnya dari Squire
praktis sebelumnya untuk DRO kita akan mendapatkan beberapa hasil yang cukup baik di sini tapi sekarang kita akan menambahkan fitur baru
Sekarang agen nomor dua orang ini di sini dia akan menavigasi lingkungan yang sama.
Apa yang akan dia gunakan keterbacaan pohon.
Dan inilah artinya.
Apa yang akan dia lakukan adalah dia akan mengambil langkah apa pun yang akan dia
ambil dalam kasus ini lima forceps akan mengambil empat langkah dan kemudian hanya setelah mengambil langkah-langkah ini dia akan menghitung total hadiah yang dia
dapatkan dari langkah-langkah itu dan dia akan memasukkannya melalui jaringannya.
Dia akan memasukkannya melalui jaringan sarafnya yang mengatur proses pengambilan keputusan dan kemudian jaringan saraf
itu akan belajar dari itu.
Jadi yang mana.
Segera seperti yang menurut Anda lebih kuat.
Pria yang hanya mengambil satu langkah pada satu waktu dan jenis suka menusuk orang buta atau dalam gelap dan dia seperti
OK jadi saya akan mengambil langkah melihat apa yang terjadi.
Ambil langkah apa yang akan terjadi.
Mengambil langkah.
Apa yang terjadi.
Lelaki di atas atau lelaki yang mengambil Marsha dengan sangat berani melalui empat langkah berturut-turut dan kemudian dia memutuskan
apakah itu langkah yang baik atau tidak sama sekali dan mengapa Anda bisa melihat di sini atau mengapa Anda
mungkin memahami mengapa lelaki kedua lebih baik atau lebih kuat adalah karena lelaki kedua
sebenarnya tahu apa yang terjadi pada akhirnya.
Orang pertama ketika dia ketika dia menilai apakah langkah ini baik atau tidak, dia hanya melihat hadiah
yang dia dapatkan.
Dan dia hanya dibimbing oleh hadiah yang diberikan lingkungan kepadanya.
Hal yang sama di sini dia hanya dibimbing oleh hadiah yang diberikan lingkungan ini padanya.
Jadi, setiap kali itu satu-satunya jenis kompas yang ia miliki, pahala, hadiah, dan hadiah.
Padahal di sini si dia sebenarnya bisa menilai setelah mengambil langkah-langkah yang bisa dinilainya.
OK jadi saya sampai di garis finish.
Jadi kombinasi langkah-langkah ini bagus.
Semuanya bagus.
Atau Oh tidak, saya berakhir di firepit atau Ohno I.
Saya lakukan dan ketika mobil saya tidak sampai ke garis finish atau saya melewati dinding pasir atau saya kehilangan permainan
malapetaka atau sesuatu.
Dan kemudian dia memutuskan bahwa seluruh kombinasi langkah ini buruk.
Dan oleh karena itu untuk langkah-langkah yang sebelumnya dia memiliki lebih banyak informasi.
Dia memiliki lebih banyak wawasan seperti dalam pendekatan yang sangat intuitif.
Sekali lagi ini adalah topik yang jauh lebih kompleks daripada yang kita gambarkan di sini.
Tetapi dengan cara yang intuitif misalnya jika Anda mengambil langkah ini langkah ini hanya memiliki informasi untuk Anda dapatkan Anda hanya memiliki
informasi yang kembali dari hadiah ini di sini.
Dan untuk langkah ini dalam hal ini langkah yang persis sama.
Ini memiliki lebih banyak informasi dan informasi datang jauh-jauh dari.
OK jadi apa hasilnya setelah empat langkah atau lima langkah atau apa pun.
Ya, begitulah cara kerjanya dan mengapa disebut kelayakan jejak karena selama proses ini dia
tidak hanya melihat hadiah komputer dari apa yang terjadi dan kemudian kerugian kumulatif dan
kemudian semua yang sesuai.
Namun sebenarnya ada jejak kelayakan seperti apa yang disebut kepercayaan disabilitas.
Ada jejak yang disimpan dalam algoritma yang mengatakan OK jadi jika kita mendapatkan katakanlah kita mendapat hukuman kita mendapat
hadiah negatif maka langkah mana yang paling mungkin memenuhi syarat untuk hukuman itu.
Jadi kita tidak hanya tahu apa keseluruhan pola ini atau kombinasi langkah sekolah tetapi
kita juga menyimpan jejak kelayakan langkah mana yang akan kita perbarui jika kita mendapatkan semua orang.
Jadi misalnya jika sebagai hadiah negatif kita mungkin memiliki jejak kelayakan
yang menunjukkan kepada kita bahwa ini adalah langkah yang paling bertanggung jawab untuk apa yang kita
dapatkan pada akhirnya atau jika itu adalah hadiah positif lagi kita mungkin tahu algoritma membantu kita melacak algoritme
kelayakan ini juga membantu kami melacak langkah apa atau tindakan apa yang harus memenuhi syarat untuk diperbarui berdasarkan hadiah yang kami
dapatkan.
Dan itulah mengapa itu disebut jejak kelayakan.
Dan itulah intuisi dasar di balik kelayakan dan mudah-mudahan dua contoh
agen ini membuatnya cukup jelas atau cukup intuitif sementara kemampuan ini bisa sangat kuat.
Dan jika seperti yang dijanjikan jika Anda ingin mempelajari lebih jauh ke dalam jejak kelayakan topikal atau langkah pembelajaran maka
sebuah buku luar biasa indah yang dapat Anda temukan disebut penguatan belajar.
Pengantar adalah oleh Richard Sutton Andrew Barto 1998.
Saya pikir mereka sedang dalam proses menciptakan edisi kedua atau masalah yang sangat kritis.
Tetapi ini adalah buku yang paling umum atau paling populer atau paling banyak direferensikan tentang pembelajaran
penegakan hukum. Ada banyak kutipan yang konyol.
Saya berpikir seperti puluhan ribu jika saya tidak salah.
Dan juga bab yang Anda butuhkan untuk ini adalah Bab 7.
Jadi untuk melihat pilihan-pilihan yang memenuhi syarat ada satu bab lengkap tentang Bab 7.
Anda dapat membaca tentang itu dan itu masuk ke banyak detail.
Maju Mundur jejak kelayakan dan juga bagaimana perbedaan temporal yang integral di satu sisi dan ujung lain spektrum
Anda memiliki metode Monte-Carlo di antara Anda memiliki jejak kelayakan diduga jejak atau Anda
tautan untuk beralih dari perbedaan temporal ke metode Monte-Carlo.
Sangat menarik, baca banyak gambar yang sangat saya hargai dengan penjelasan yang sangat intuitif.
Jadi ada banyak hal yang dapat Anda pelajari dari buku ini tentang kecerdasan buatan dan
pembelajaran penguatan tetapi jejak kelayakan yang khusus adalah tempat yang sangat baik untuk dikunjungi adalah buku ini untuk
penelusuran kelayakan.
Dan referensi kedua untuk hari ini adalah sesuatu yang akan menunjukkan kepada Anda dalam uji coba praktis
pembelajaran mendalam atau makalah penelitian mendalam Google tentang metode sinkron untuk pembelajaran penguatan lebih
dalam.
Ya itu kertas itulah satu-satunya kertas yang A-3 lihat kertas yang akan kita diskusikan lebih jauh
dalam skor.
Kami semakin dekat dan lebih dekat ke sana.
Dan seperti yang Anda tahu kami cukup bersemangat tentang hal ini jadi ini akan terlihat sedikit
tentang bagaimana mereka menerapkan jejak kelayakan dalam makalah ini sehingga kami akan menggunakan ini lebih banyak untuk sisi
praktis hal.
Jadi semoga Anda menikmati tutorial hari ini dan tahu Anda sedikit lebih nyaman dengan jejak kelayakan dan saya
tidak sabar untuk melihat Anda lain kali.
Sampai kemudian menikmati a.