Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Dan akhirnya kita menuju hal-hal menyenangkan yang kita pelajari dalam.
Baiklah jadi mari kita lihat.
Bruce, kita berbicara tentang penghasilan pembunuh dan tentang apa semua itu.
Dan kami belajar tentang lingkungan Agen dan bagaimana agen akan melihat keadaan.
Atau dia dalam mengambil tindakan mendapatkan hadiah.
Masuk ke negara baru dan berdasarkan pada umpan balik itu mereka akan terus mengambil tindakan dan mereka akan
belajar dari itu.
Memahami apa tindakan terbaik yang harus diambil.
Jadi kami melihat contoh dasar labirin ini.
Kami memahami bahwa ketika Asia mengeksplorasi lingkungan memahami apa nilai-nilai negara.
Kemudian kami beralih dari berurusan dengan nilai-nilai negara ke berurusan dengan nilai-nilai
tindakan dengan nilai-nilai dan kemudian A-Basin bahwa kami memahami bagaimana rencana dalam lingkungan yang tidak sarkastik bekerja dan
bagaimana kebijakan bekerja di lingkungan stokastik dan ini contoh kebijakan.
Jadi itu adalah rekap singkat dari semua yang kita bahas dalam pembelajaran dasar.
Dan sekarang mari kita lihat bagaimana ini dapat dibawa ke tingkat berikutnya melalui pembelajaran mendalam melalui penambahan
pembelajaran mendalam.
BAIK.
Jadi ini adalah lingkungan kita dan apa yang akan kita lakukan sekarang adalah kita akan menambahkan bukan hanya
melakukan perhitungan dasar dalam matriks ini yang kita miliki yang cukup sederhana.
Apa yang akan kita lakukan adalah kita akan menambahkan dua sumbu yang menambahkan sumbu x dan y atau kita
akan menyebutnya x1 dan x2.
Hanya untuk membuat segalanya menjadi lebih umum.
Dan di sini kita memiliki bilangan real baris baris kolom 1 2 tiga 4 dia akan memerintah nomor baris 1 hingga 3.
Dan sekarang setiap keadaan tunggal dapat dijelaskan dengan sepasang dua nilai x1 dan x2 sehingga salah satu dari
kotak ini di mana agen mungkin dapat di dapat dijelaskan oleh x1 x2.
Jadi misalnya sekarang dia ada di bujur sangkar dengan X1 sama dengan 1 dan x 2 sama dengan 2.
Dan karena itu, itu bukan cara kami dapat melarikan diri di alun-alun Anda, yang dapat kami uraikan di negara Anda.
Maka tentu saja ini adalah versi yang sangat disederhanakan dari lingkungan menggambarkan negara.
Namun demikian itu berhasil dalam kasus ini.
Dan itu berarti bahwa sekarang kita dapat memberi makan keadaan ini ke dalam jaringan saraf.
Dan omong-omong di sini saya hanya ingin menyebutkan bahwa pada akhir dari lampiran yang
baik kita punya x nomor satu dan kejenakaan dan dua untuk melanjutkan berhasil dengan bagian ini.
Sangat disarankan agar Anda memeriksa yang tidak dapat diakses yang ada di jaringan saraf tiruan
sehingga Anda memahami cara kerjanya sehingga kami tidak perlu mempelajari hal itu di sini
dan kami hanya dapat menggunakan manfaat pengetahuan tentang cara kerja jaringan saraf tiruan bekerja dan jadi kami memberi
makan informasi ini pada keadaan menjadi jaringan saraf dan kemudian akan memproses informasi ini X1 dan x2 tergantung pada struktur jaringan saraf
itu mungkin memiliki beberapa lapisan tersembunyi dan sebagainya.
Jadi itu adalah sesuatu yang akan Anda temukan dalam tutorial praktis tetapi pada akhirnya kami
akan menyusun sedemikian rupa sehingga memberikan nilai-nilai dan keempat nilai ini sebenarnya akan menjadi nilai Q kami.
Jadi nilai-nilai yang menentukan tindakan mana yang perlu kita ambil dan yang tidak dalam tutorial ini akan melihat dengan
tepat bagaimana nilai-nilai kunci ini digunakan untuk memutuskan tindakan mana yang diambil.
Tetapi poin utama di sini adalah bahwa kita tidak lagi melihat labirin ini dari perspektif pembelajaran.
Kami sekarang mengambil keadaan labirin dan kami memberi mereka makan ke dalam jaringan saraf yang dalam untuk mendapatkan
bilik ini dan.
Dan pada akhirnya kami masih akan membuat tindakan, kami masih akan mengerti
tindakan apa yang perlu kami ambil dan kami akan membahas semua ini lebih detail tetapi pertanyaannya
sekarang adalah mengapa kami melakukan semua ini mengapa kami menyebutnya.
Mengapa membuat segala sesuatunya menjadi jauh lebih rumit ketika pendekatan awal pembelajaran itu bekerja
dengan baik.
Alasan untuk itu adalah untuk belajar bekerja di lingkungan yang sangat sederhana ini dan kami terus
berurusan dengan sekarang dengan lingkungan yang sangat sederhana ini untuk lebih memahami konsep.
Tetapi pada saat yang sama bahwa pembelajaran Kial sederhana tidak akan lagi bekerja di lingkungan
yang lebih kompleks dan kita berbicara tentang misalnya mobil self-driving yang akan membuat atau
bermain Doom ketika kecerdasan buatan memainkan Doom atau game Atari lainnya seperti breakout atau
bahkan mobil self-driving dan hal-hal pembelajaran penguatan yang lebih maju seperti robot berjalan-jalan dan melakukan tindakan dalam
semua kasus itu pada dasarnya pembelajaran tidak cukup tidak kuat tidak cukup kuat
untuk dapat menguasai tantangan itu.
Dan seperti yang telah kita lihat dalam kursus pembelajaran yang mendalam jika Anda pernah dalam disiplin kami atau jika Anda
telah melakukan bagian lampiran pada x nomor satu dan X-2 Anda akan di mana Anda tahu bahwa pembelajaran mendalam jauh lebih
unggul daripada segala jenis pembelajaran mesin apalagi pembelajaran keren yang sederhana.
Dan itulah mengapa kami memanfaatkan kekuatan pembelajaran mendalam di sini sehingga kami
memasukkan informasi tentang lingkungan sebagai vektor nilai.
Dalam hal ini hanya untuk digunakan ke dalam jaringan saraf yang dalam dan kemudian kita menggunakannya untuk melakukan tindakan
yang ingin kita putuskan tindakan mana yang akan diambil agen.
Jadi itu semacam ikhtisar tingkat tinggi tentang mengapa kami melakukan ini.
Dan sekarang mari kita melihat sedikit lebih detail apa yang terjadi pada konsep pembelajaran keren
ketika kita mentransfer ketika kita melakukan transformasi dari atau transisi dari pembelajaran sederhana menjadi Killary yang mendalam.
Jadi seperti yang Anda lihat di tutorial intuisi sebelumnya, kami memiliki slide seperti ini yang merupakan dasar dari
pembelajaran perbedaan temporal.
Ini adalah formula untuk perbedaan temporal dan pada dasarnya Jadi mari kita lalui.
Jadi pada dasarnya kami memiliki agen yang dalam kondisi ini di sini yang ditunjukkan panah biru.
Dan kami memahami bagaimana perbedaan temporal bekerja untuk nilai ini misalnya naik.
Jadi apa yang kita lihat di sini adalah sebelum ini ada di Killary yang sederhana, bukan pembelajaran yang mendalam di dalam killer yang
sederhana.
Apa yang kami lihat adalah sebelum agen memiliki nilai rona berikutnya yang telah ia pelajari tentang tindakan
naik.
Maka ia memutuskan untuk mengambil konsepsi untuk naik.
Dan tepat setelah dia melakukan tindakannya dia mendapat hadiah karena mengambil tindakan ini di negara ini.
Dan itu adalah hadiah plus sekarang dia dapat mengevaluasi nilai dari kondisi saat ini dia di mana
adalah maksimum dari semua nilai q baru dari semua kubus dari tindakan baru yang dia dapat mengambil yang utama
di negara baru sebagai cetak dan baca dikalikan dengan faktor DK gamma.
Jadi pada dasarnya itu adalah isyarat nilai kubus baru atau jenis seperti nilai kubus empiris yang baru saja
ia terima untuk mengambil tindakan itu.
Dan idealnya keduanya harus sama.
Jadi sebenarnya nilai Q yang dia miliki dalam ingatannya tentang
tindakan ini di negara bagian ini harus sama dengan hadiah yang sebenarnya.
Dan oleh karena itu, itulah cara kami menghitung perbedaan temporal yang kami ambil apa yang Anda kejar dikurangi
apa yang ia dapatkan dari apa yang ada dalam pikirannya apa yang ia harapkan.
Anda akan mengurangi satu dari yang lain.
Itu perbedaan temporal.
Dan kemudian Anda menggunakan tingkat belajar Anda Alpha untuk menyesuaikan nilai q Anda Anda nilai q baru Anda dengan perbedaan
temporal tetapi dengan koefisien Alpha.
Jadi itulah inti dari pembelajaran yang sederhana.
Sekarang mari kita lihat bagaimana perubahan dalam Killary yang dalam dan jadi kita masih akan bekerja dengan
slide tapi kita hanya akan melihat apa yang terjadi
Jadi dalam pembelajaran yang mendalam jaringan saraf akan memprediksi untuk Valis seperti yang kita lihat di sebelumnya dan seperti yang akan kita
lihat.
Donna Citronelle jaringan saraf akan memprediksi nilai-nilai atau mungkin memprediksi lebih banyak nilai dari tindakan
yang lebih mungkin dalam keadaan tertentu.
Tetapi dalam hal ini kita tahu bahwa hanya ada empat tindakan yang harus dilakukan.
Dan jaringan saraf akan memprediksi empat dari nilai-nilai ini sehingga tidak akan ada akhir dalam situasi pembelajaran yang dalam adalah penting
adalah bahwa tidak ada sebelum atau sesudah.
Dan ini adalah bagaimana kita akan mengenal ini sedikit lebih baik.
Jadi jaringan saraf akan memprediksi empat dari nilai-nilai ini dan itu akan membandingkan bukan dengan apa
yang akan terjadi setelahnya, tetapi jaringan saraf akan membandingkan dengan nilai yang tepat ini tetapi itu adalah nilai
yang dihitung pada langkah sebelumnya.
Jadi di waktu sebelumnya ketika agen berada di alun-alun ini.
Jadi katakanlah saya tidak tahu beberapa waktu yang lalu agen itu lagi berada di alun-alun ini
juga dan sudah menghitung nilai ini sebelumnya.
Jadi di waktu yang lama dahulu agen menghitung nilai ini maka agen menyimpan nilai ini untuk masa
depan dan sekarang masa depan telah datang.
Jadi sekarang dia di alun-alun lagi dan sekarang dia punya nilai-nilai kubus yang diprediksi dan salah
satunya adalah untuk empat naik.
Jadi sekarang apa yang akan dia lakukan adalah membandingkan nilai prediksi Q dengan nilai ini yang telah dia rekam
dari langkah sebelumnya dan akan mengerti persis mengapa ini penting saat ini sehingga penting dipahami
di sini.
Tidak ada sebelum seorang petugas di alun-alun ini waktu khusus ini.
Kami mengambil nilai Q yang diprediksinya menggunakan jaringan saraf saat ini dan kami membandingkannya dengan
nilai ini yang ia miliki dari waktu sebelumnya dari waktu sebelumnya saat ia berada di kotak ini menilai
semua situasi dan Anda tahu seperti sebelumnya waktu dia benar-benar melakukan tindakan ini.
Jadi begitulah.
Sekarang mari kita lihat bagaimana ini semua bekerja di jaringan saraf dan mengapa.
Kenapa aku tahu kedengarannya agak rumit sekarang tapi kami akan memecahnya menjadi istilah sederhana hanya dalam
sedetik.
Jadi ini di jaringan Anda sendiri, kami memasukkan lingkungan lingkungan ke jaringan
saraf melalui lapisan tersembunyi yang keluar dengan output ini Q1 Q2 Q3 Q4.
Dalam keadaan spesifik ini adalah nilai kubus yang diprediksi oleh jaringan saraf untuk tindakan yang
mungkin.
Itu yang kumulatif.
Jadi kita muncul untuk menargetkan dan target ini ada dengan tepat sehingga jika kita kembali ke sini ini
adalah target jadi ini adalah nilai yang diprediksi.
Dan kemudian, tetapi juga kita tahu bahwa kita memiliki target sejak terakhir kali kita berada di alun-alun.
Kami memiliki target untuk tindakan yang sama ini, misalnya.
Jadi di sini kita punya target dan kita akan membandingkan kita membandingkan Q1
versus target itu. Kita membandingkan Q2 versus target target yang kita miliki dari Q3 sebelumnya versus target Q4 versus target.
Jadi ini adalah bagian di mana jaringan saraf atau agen sekarang belajar melalui pembelajaran mendalam bagaimana
melewati lebih baik.
Dan poin kuncinya di sini adalah bahwa kita masih menerapkan pembelajaran yang keren tetapi konsep jawabannya sederhana Anda belajar
Anda belajar melalui perbedaan temporal yang cukup mudah yang telah kita bahas
dan kami tahu mengapa tidak.
Tetapi pada saat yang sama dalam pembelajaran mendalam bagaimana jaringan saraf belajar jaringan saraf belajar melalui kami
menyesuaikan bobot.
Jadi kita harus mengadaptasi konsep penguatan konsep-konsep pembelajaran membunuh sederhana dengan cara jaringan saraf benar-benar
bekerja.
Dan itu adalah melalui memperbarui bobot mereka.
Jadi inilah yang kami coba cari tahu di sini bagaimana kami
mengadaptasi konsep perbedaan temporal ke jaringan Anda sendiri sehingga kami dapat memanfaatkan kekuatan penuh jaringan saraf.
Sejauh ini kami sudah mendapatkan ini sehingga kami memasuki keadaan lingkungan kami di sini sebagai vektor melewati jaringan saraf
kami mendapatkan prediksi nilai-nilai kunci dan kemudian dari waktu sebelumnya agen berada di negara itu.
Kami memiliki target baru ini untuk menargetkan satu dua tiga dan empat untuk masing-masing tindakan ini.
Dan sekarang kita siap.
OK mari kita bandingkan masing-masing dengan masing-masing.
Dan dari sini itu menjadi sangat mudah jika Anda kecepatan dengan jaringan saraf.
Sekali lagi itu ada di Anax.
Nomor satu kita akan menghitung kerugian yang ada di sini dan kita akan menjadi target q yang ini minus Q
minus yang satu ini.
Kita akan menguadratinya sehingga perbedaan kuadrat dari masing-masing ini dan kita akan
menjumlahkannya.
Jadi kami mengambil jumlah perbedaan kuadrat dari nilai-nilai ini dan target mereka dan kami akan mengirimkannya dan
itu akan menjadi kerugian.
Dan idealnya sama seperti yang kita lakukan dalam pembelajaran perbedaan temporal jadi jika kita
kembali sejenak ingat kita berkata Idealnya kita ingin ini sama dengan ini sehingga kita ingin perbedaan
temporal menjadi nol sehingga itu berarti pada dasarnya agennya adalah memprediksi dengan tepat apa yang Anda ketahui nilai
Q adalah bahwa agen memperkirakan persis atau yang ia miliki dan memori persis deskriptif lingkungan dan oleh
karena itu agen tidak pernah bisa mendapatkan lingkungan dengan cukup baik.
Tidak ada kejutan, tidak ada, tidak ada. selama perbedaan temporal adalah seorang pilot yang sangat positif
atau sangat negatif.
Lalu kami punya beberapa kejutan.
Tetapi jika perbedaan umum nol maka dia tahu lingkungan dengan sangat baik sehingga dia bisa
memprediksi apa yang sedang terjadi dan dia bisa dan karena itu kebijakannya akan sangat baik dan dia akan bisa menavigasi.
Jadi disini.
Hal yang sama jadi kami ingin undang-undang ini mendekati nol saya kira sekecil mungkin.
Dan itu sebabnya sekarang kita akan ke ini adalah bagian di mana kita akan memanfaatkan kekuatan sebenarnya dari jaringan
saraf sehingga kita akan mengambil kerugian ini dan kita akan menggunakan propagasi kembali atau
tetap sebagai gradient descent untuk mengambil kerugian ini dan meneruskannya melalui posit jaringan kembali atau kembali disebarkan melalui jaringan
dan melalui untuk memberikan tanggal yang hebat dan layak bobot.
Semua sinopsis ini dalam jaringan sehingga waktu berikutnya kita melalui jaringan ini dengan cara yang sudah sedikit lebih
baik deskriptif lingkungan dan itulah yang kami
Jadi di sini Anda miliki jika Anda kembali ini dihitung kerugian Kalka dan tebak buktikan propagator untuk jaringan
bobot diperbarui.
Kemudian pada saat kita tiba di sini ini terjadi lagi dan lagi di sini ini
terjadi lagi dan seterusnya dan itu terus terjadi dan itulah bagaimana agen ini belajar atau pada
dasarnya sekarang jaringan saraf yang merupakan otak agen sedang belajar menjadi semakin lebih deskriptif lingkungan dan oleh karena
itu agen dapat menavigasi lingkungan.
Ketika kita mengatakan lingkungan deskriptif pada dasarnya berarti bahwa ketika kita menempatkan dalam keadaan lingkungan dimana
agen ini berada di kita lebih mungkin untuk semakin dekat dan lebih dekat dengan nilai isyarat aktual dan itu terjadi karena
nilai-nilai kubus yang ingin kita temukan yang benar tindakan dan itu terjadi karena
target baru ini sebenarnya diturunkan secara empiris sehingga dia setiap hari bagaimana dia menemukan target lucu ini.
Itu benar-benar ada sehingga dia benar-benar mengamati.
OK jadi setelah saya mengambil langkah ini apa hadiah yang saya dapatkan.
Lalu apa nilai dari kondisi ini.
Jadi hal yang sama seperti yang kita lihat sebelumnya dalam pembelajaran Q dan intuisi pembelajaran sederhana.
Jadi dia belajar ini melalui coba-coba dan kemudian dia membangun jaringannya atau
begitulah caranya sehingga nilai yang diprediksi dekat dan dekat.
Menyempurnakan target itu.
Nilai Q sangat mirip dengan konsep yang kita bahas di sini dalam pembelajaran temporal difference
sederhana dari algoritma pembelajaran keterampilan sederhana.
Jadi begitulah.
Begitulah cara agen belajar.
Jadi kita di sini.
Dan itulah bagian pembelajaran.