Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Baiklah jadi saya harap Anda menikmati tutorial sejauh ini kita hampir selesai dengan intuisi Anda segera akan sampai
ke sisi praktis dari hal-hal yang kami punya beberapa hal kecil yang perlu kita bahas.
Baiklah, sebelumnya kita berbicara tentang bagaimana kita menambahkan jaringan saraf ke seluruh persamaan pembelajaran CULE ini dan
menjadikan ular sebagai langkah selanjutnya dan mengubahnya menjadi pembelajaran yang mendalam.
Dan hari ini kita akan menambahkan fitur ekstra penting yang akan dikodekan dalam sisi praktis dari semua hal jadi berita utama
dan saya memutuskan bahwa penting bagi kita untuk sering membahasnya di sisi intuisi sehingga Anda lebih siap
untuk itu ketika datang di sisi pengkodean hal.
Jadi seperti yang kita diskusikan, kita punya jaringan di sana ada dua bagian yang terjadi.
Pertama-tama itu pembelajaran sehingga jaringan benar-benar belajar dengan setiap keadaan baru itu.
Ini perlahan-lahan memperbarui menunggu untuk menjadi lebih baik dan lebih baik dan lebih baik dalam menghadapi lingkungan ini
Dan kemudian ada akting di dalam negara sehingga setelah nilai q telah dihitung di negara maka setelah
Anda memilih.
Jadi hari ini kita masih akan berbicara tentang bagian pembelajaran kita akan datang dengan
fitur menarik yang akan membantu sarjana untuk membuat fitur ini
sendiri tetapi kita akan berbicara tentang fitur yang sangat penting pembelajaran yang sangat keren dan fitur itu disebut replay pengalaman.
Baiklah.
Jadi di sini adalah jaringan kami, jadi kami baru saja menyalinnya di sini.
Kami punya yang hilang yaitu Calcott di bagian bawah adalah kembali penyebar melalui jaringan.
Dan mari kita lihat contoh apa yang terjadi untuk memahami masalah yang kita hadapi dengan sedikit
lebih baik.
Jadi, inilah contoh sebenarnya dari skor.
Ini adalah cuplikan layar dari kursus ini, inilah yang akan Anda pemrograman.
Ini adalah mobil self-driving yang mengemudi melalui ini melalui sepanjang jalan ini dan harus belajar bagaimana
menavigasi jalan ini.
Dan seperti apa yang kita bahas sebelumnya Apa ini di negara ini.
Dan tentu saja keadaannya tidak akan menjadi x1 x2 Lundell cukup jelaskan secara lebih
rinci apa keadaannya itu akan menjadi beberapa parameter yang berhubungan dengan sudut mobil dan beberapa parameter relatif
apa sensornya membaca dan sebagainya.
Jadi akan ada lebih banyak parameter dari itu untuk menggambarkan negara.
Namun demikian itu akan menjadi vektor nilai yang akan melalui jaringan saraf dan kemudian pada
output Anda akan memiliki beberapa nilai ACU.
Sekali lagi akan ada perbedaan tergantung pada lingkungan.
Mereka bisa menjadi sejumlah tindakan yang berbeda dari tindakan yang mungkin.
Tetapi kita hanya akan demi kesederhanaan membiarkannya hanya agar kita dapat memahami lebih baik apa yang
terjadi di sini.
Jadi dalam hal ini pertanyaannya sejauh apa ini.
Input ini ke jaringan saraf ini atau lebih spesifik seberapa sering kita memicu jaringan saraf ini.
Seberapa sering pertumbuhan jaring saraf ini.
Yah setiap kali mobil berakhir dalam keadaan baru sehingga mobil bergerak itu berakhir dalam keadaan baru dan
kemudian semuanya berjalan.
Semua data itu, semua informasi dari negara bagian itu melewati jaringan, memberikan Alice kesalahan yang
dihitung.
Kesalahan ini dihitung berdasarkan apa yang kita bahas dalam tutorial sebelumnya.
Ini disebarkan kembali melalui dan bobotnya diperbarui.
Kemudian mobil memilih tindakan mana yang harus diambil membuat langkah itu berakhir di negara bagian baru di negara bagian baru.
Semuanya dimulai lagi.
Dan pada dasarnya ini terjadi setiap kali mobil masuk dan Anda berkata baik lihat contoh ini.
Saya secara khusus mengambil screenshot karena kelihatannya sangat baik menggambarkan masalah yang ditangani melalui replay pengalaman dan
replay pengeluaran tidak hanya sesuatu yang kita gunakan dalam kursus ini atau dalam
masalah khusus ini.
Ini adalah sesuatu yang akan Anda lihat digunakan di seluruh.
Lagi dan lagi dan lagi dalam algoritma kecerdasan buatan karena begitu kuat dan sangat
penting.
Jadi lihatlah mobil ini mobil ini dalam masalah ini atau dalam lingkungan ini tujuannya adalah datang dari pergi dari sini ke
sini dan kembali.
Tujuannya adalah untuk menavigasi jalan di sini di sini tanpa melintasi dinding-dinding yang terbuat dari pasir.
Dan mobil itu mulai di sini turun dan seperti pahalanya didasarkan pada Anda tahu seberapa dekat itu untuk
memulai.
Jadi mobil pergi dari sini turun dan terus seperti ini seperti ini seperti ini atau di sepanjang
tembok ini sepanjang tembok laut.
Dan apa yang akan dilakukan selanjutnya akan berubah akan terus berjalan.
Apa yang ingin kami lakukan adalah tetap di sini.
Tapi mari kita pikirkan sejenak.
Begitu sampai di dinding ini setiap kali bergerak maju ia bergerak maju.
Itu bergerak maju itu bergerak maju bergerak maju bergerak maju dan seterusnya bergerak maju.
Jadi mungkin ada seperti tergantung pada lingkungan struktur bisa seperti seratus bergerak di sini atau
50 bergerak di sini.
Itu hanya terus bergerak maju maju maju untuk itu dan tidak ada yang berubah.
Tidak benar-benar berubah, ia mendapat jalan lebih jauh dari ini mulai lebih dekat dengan cerita ini.
Itu sangat indah.
Tetapi dalam hal lingkungan sekitar tidak banyak hal yang berubah itu masih tembok yang sama.
Jika Anda duduk di dalam mobil, Anda mungkin melihat situasi ketika Anda mengemudi di apa
pun yang Anda lihat seperti lingkungannya sangat monoton sehingga Anda hanya melihat hal yang sama hanya
lewat.
Tapi seperti yang saya bayangkan Anda mengemudi melalui padang pasir dan Anda hanya melihat hal yang sama itu suara yang
sama itu suara yang sama tidak ada yang terjadi.
Tidak ada yang berubah.
Dan berdasarkan itu tetapi setiap kali kita menempatkan negara itu ke negara baru.
Ya tentu saja ada sesuatu yang berubah bagi kami saat Anda mengendarai mobil dan GPS Anda menunjukkan Anda
lebih dekat ke tujuan Anda.
Jadi salah satu dari input ini aneh tetapi banyak dari input lain ini sensor misalnya yang ada di
mobil mereka tidak berubah dan karena itu saat Anda mengemudi lambat di hari ini untuk memasukkan input ke Anda sendiri di
sini di sini di sini di sini di sini di sini di sini dan di sini di sini sepanjang waktu input
hampir sama.
Dan jika Anda terus memasukkan input yang sama nilai yang sama dalam vektor atau vektor yang sangat mirip
ke jaringan Anda karena tidak ada variasi.
Mobil akan belajar dengan sangat baik.
Satu hal yang akan Anda pelajari dengan baik bagaimana mengemudi di sepanjang dinding ini yang ada di sebelah kanannya
dan itulah cara jaringan akan memperbarui dan itu akan dihargai akan perlahan-lahan mulai mendapat imbalan karena mengemudi dengan baik
seperti itu.
OK jadi dari sini saya akan belajar semua yang saya lakukan dengan sangat baik, saya melakukan lebih baik, saya melakukannya dengan lebih baik.
Semuanya.
Ini akan memiliki persepsi salah ini bahwa itu sebenarnya bekerja dengan sangat baik meskipun hanya belajar bagaimana mengemudi bersama serta jaringan saraf
lainnya akan menjadi sangat beradaptasi untuk mengemudi di sepanjang sumur ini dan kemudian tiba-tiba ada kurva
ini dan mobil tidak tidak tahu harus berbuat apa.
Dan itu benar-benar tidak cocok dengan jaringan saraf ini.
Dan bahkan jika itu dilakukan, entah bagaimana, secara hipotesis katakanlah melewati sebuah titik dan kemudian berakhir di dinding
ini.
Hal yang sama akan terjadi akan mengemudi dari sini sini sini.
OK sekarang jaringan saraf sedang merestrukturisasi dirinya untuk beradaptasi dengan dinding ini dan kemudian bam hal ini terjadi.
Dan bahkan jika entah bagaimana itu dilewati bahwa itu akan melewati hal ini dan kemudian hal yang sama sepanjang garis
ini.
Jadi pada dasarnya ini adalah contoh yang sangat jelas dari masalah bahwa kita adalah apa yang kita miliki
adalah bahwa karena cara kita menggunakan jaring saraf memperbaruinya setiap negara sekali kita memiliki
banyak hal yang berurutan mereka bahkan tidak harus menjadi sama tetapi ada di lingkungan yang normal
yaitu kondisi berturut-turut entah bagaimana berkorelasi atau entah bagaimana saling tergantung dan kami tidak ingin saling ketergantungan itu bias jaringan
kami.
Kami tidak ingin mobil hanya belajar mengemudi seperti garis lurus atau garis melengkung panjang atau seperti
apa pun yang Anda pikir dapat Anda pikirkan dalam kehidupan di mana seorang agen akan menjadi lingkungan
Navigant di mana kita dapat berpikir tentang berkorelasi atau keadaan saling tergantung yang terjadi secara berurutan yang benar-benar dapat mengacaukan
jaringan saraf Anda.
Jika Anda hanya membiarkan agen belajar dari itu.
Dan di situlah replay pengalaman masuk.
Apa yang terjadi dalam replay pengalaman adalah pengalaman ini sehingga ini menyatakan bahwa itu dalam satu dua tiga
namun banyak 50 negara di sini di neuro mereka tidak dimasukkan melalui jaringan segera.
Mereka sebenarnya disimpan dalam memori agen.
Dan misalnya, ini menyimpan semua ini dan menyimpan semua ini dan beberapa di beberapa titik setelah mencapai batas tertentu
yang Anda dapat kode dan Atlanta akan menunjukkan kepada Anda bagaimana melakukannya.
Setelah mencapai batas tertentu maka agen memutuskan sendiri OK saatnya untuk belajar.
Saya punya banyak pengalaman yang saya miliki, saya tidak akan mempelajarinya dan memilih secara acak
distribusi dan keseragaman adalah kuncinya adalah penting di sini karena itu adalah sesuatu yang akan kita
bicarakan pada slide berikutnya.
Kami akan memesan akan menyebutkan itu.
Tetapi dibutuhkan sampel yang didistribusikan secara seragam.
Jadi pada dasarnya semua pengalaman dianggap sama.
Dibutuhkan sampel yang terdistribusi secara seragam dari sekumpulan pengalaman yang dimilikinya dan kemudian akan melalui mereka dan belajar dari mereka
sehingga tidak mengambil semua pengalaman atau hanya mengambil sampel secara seragam, mungkin
diperlukan beberapa dari sini pasangan dari di sini pasangan dari sini dan itu
dan setiap pengalaman dicirikan oleh negara itu dalam tindakan yang mengambil negara itu akhirnya dan hadiah itu
dicapai melalui tindakan itu dalam keadaan tertentu sehingga empat elemen dalam setiap pengalaman menyatakan satu action state two
dan reward dan karena itu dibutuhkan semua pengalaman itu dan kemudian melewati mereka melalui jaringan dan
ia belajar.
Dan dengan cara itu merusak pola bias yang datang dari sifat berurutan pengalaman seolah-olah Anda harus menempatkan mereka
melalui jaringan satu demi satu.
Jadi itulah fokus utama dari pengalaman yang kami mainkan.
Itulah masalahnya dan alamatnya dan manfaat lain dari pengulangan pengalaman adalah bahwa kadang-kadang dalam
lingkungan seperti ini Anda mungkin memiliki pengalaman langka yang sangat berharga.
Jadi misalnya saya tidak tahu katakanlah mari kita lihat sudut ini kan ini sudut kanan.
Kanan.
Dan yang sangat tajam itu tajam.
Jadi akan datang dari sini dengan asumsi akan memeluk sudut ini.
Jadi, jika Anda memiliki sudut tajam yang kami miliki dalam hal ini secara keseluruhan kami akan memiliki satu
sudut kanan di sini dan satu sudut kanan di sini.
Benar jadi ketika itu datang dengan cara itu sudut kanan.
Dan ketika itu akan kembali itu adalah sudut kanan yang tajam di sini.
Jadi, yang ini tidak tajam di toko jadi hanya ada satu kesempatan di
seluruh lingkungan untuk belajar dari sudut kanan yang tajam.
Dan itu adalah pengalaman yang sangat penting karena mungkin akan sangat baik dalam mengemudi di sepanjang garis lurus
menjadi sangat baik dalam melakukan seperti sudut lembut seperti itu tetapi.
Dan kemudian itu akan terus mengacaukan sudut kanan yang tajam ini hanya karena hanya karena ia tidak memiliki banyak kesempatan untuk belajar darinya dan oleh
karena itu ia akan mempelajari segala sesuatu dengan sangat cepat tetapi akan memakan waktu
lama untuk mempelajari yang benar tentu saja
Ini adalah contoh yang sangat sederhana adalah penjelasan yang sangat sederhana tetapi menggambarkan konsep
bahwa kadang-kadang itu adalah pengalaman langka yang bisa berharga.
Dan jika Anda hanya melakukan jaringan saraf sederhana di mana Anda meletakkan nilai-nilai Anda di sini dan
Anda tahu mereka mengalami dan Anda tahu seperti bahkan jika Anda lupa tentang masalah sifat
pengalaman berurutan dan bagaimana mereka bisa Thimphu yang interdependen dan semuanya berkorelasi bahkan
melupakannya sejenak.
Yang terjadi adalah begitu Anda memasukkan pengalaman di dalamnya melalui jaringan data maka Anda langsung lupa tetapi
lupakan tentang pengalaman itu.
Anda beralih ke yang berikutnya.
Begitulah cara kerja jaringan saraf.
Kemudian Anda pindah ke keadaan berikutnya langkah berikutnya langkah berikutnya pengalaman berikutnya pengalaman
X pengalaman itu dan seterusnya.
Jadi sudut kanan ini segera setelah melewati jaringan hilang dan Anda tidak memiliki memori pengalaman
berharga itu.
Sedangkan kami telah mengalami replay karena Anda memasukkan pengalaman ini ke dalam batch Anda dapat mengatur bash
Anda sebagai jendela bergulir jadi misalnya Anda bisa memiliki seperti 100 batch Jadi
ratusan pengalaman di batch Anda sehingga ketika kembali dari sini segera ini telah mencatat pengalaman
ini dalam kelompoknya.
Kemudian seperti pada titik tertentu menjalankannya membutuhkan distribusi seragam dari kumpulan pengalamannya dan kemudian ada jendela bergulir sehingga ia
melupakan pengalaman-pengalaman ini tetapi kemudian ia menyimpan pengalaman-pengalaman ini.
Dan sekali lagi itu belajar dari sekali itu di sini ia belajar dari kumpulan ini dan kemudian setelah itu di sini ia
lupa sampai di sini.
Tetapi kemudian ia memiliki banyak pengalaman seperti itu sehingga karenanya tidak belajar dari pengalaman-pengalaman ini.
Dan dengan cara itu yang Anda dapatkan adalah bahwa sudut kanan ini mungkin muncul beberapa kali dalam proses belajarnya karena
berada di kelompok ketika kelompok itu seperti ini di sekitar sana daripada di
kelompok di sini, di sini sehingga muncul dalam beberapa kelompok karena abash mungkin
diperbarui sebagai jendela pengalaman yang bergulir.
Jadi pengalaman yang lebih lama dikeluarkan dari pengalaman yang baru ditambahkan dan kemudian pengalaman yang lebih
lama mendapatkannya.
Jadi dan mengalaminya tetap dalam batch untuk beberapa waktu dan mobil atau agen dapat belajar dari pengalaman itu
beberapa kali.
Jadi itulah keuntungan lain dari replay pengalaman.
Dan tentu saja keuntungan akhir adalah replay pengalaman memberi Anda kesempatan untuk belajar dari lebih banyak
pengalaman daripada jika Anda hanya belajar satu per satu karena Anda memiliki batch itu
dan karenanya Dan itu adalah jendela bergulir dan karenanya bahkan jika lingkungan Anda terbatas untuk mengalami pendekatan replay pengalaman Anda
dapat membantu Anda belajar lebih cepat.
Dan alih-alih hanya mengulang, ada banyak banyak kali Anda dapat belajar dengan cepat karena Anda tidak perlu
mengulanginya.
Anda memiliki pengalaman-pengalaman itu diselamatkan.
Jadi itulah keunggulan utama pengalaman.
Mari kita simpulkan bahwa kita punya.
Kami melanggar pola atas independensi dan korelasi pengalaman berurutan kami menyimpan pengalaman langka yang mungkin
penting karena itu kami dapat belajar lebih sering dari mereka dan kami dapat
belajar di lingkungan kami bisa belajar lingkungan Fosler yang berpengalaman.
Kami memiliki kekurangan pengalaman yang tidak memiliki banyak pengalaman yang dilalui agen dan
kami masih dapat mempelajarinya.
Jadi itulah yang pengalaman ulangan semua tentang.
Jika Anda ingin membaca lebih dari ini.
Ada sebuah artikel menarik yang diterbitkan oleh deep mind pada tahun 2016 disebut replay experience
yang diprioritaskan dan berbicara tentang mengapa.
Mengapa kita menggunakan distribusi yang seragam untuk memilih pengalaman kita dari pengalaman Bachche mengapa kita tidak menemukan
cara yang lebih baik untuk memilih pengalaman kita dan memprioritaskan beberapa pengalaman yang
kita rasa penting.
Ini hal yang cukup menarik meskipun dalam hal ini Anda tidak hanya dapat memperkuat
atau tidak hanya memperkuat pengetahuan Anda tentang replay pengalaman tetapi Anda benar-benar akan dapat bergerak dengan teknologi
terdepan.
Jadi ini tahun 2016 dan diterbitkan oleh orang-orang yang berpikiran dalam.
Ini adalah makalah yang sangat kuat baru-baru ini sehingga Anda akan dapat benar-benar menjelajahi batas atau menjelajahi lebih
jauh algoritma ini dan membawanya ke tingkat berikutnya.
Jadi saya akan menyerahkan kepada Anda untuk mencari tahu mengapa dan bagaimana kita dapat mengubah seragam menjadi pendekatan berbeda untuk mengalami
ulangan dari makalah ini jika Anda mau.
Dan saya harap Anda menikmati ini.
Tauriel dan sekarang kami tahu apa sebenarnya pengalaman itu dan kami dapat dengan percaya diri menggunakannya di lingkaran praktis kami dan
saya mencari Anda lain kali.
Sampai kemudian menikmati AI.