Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Hari ini kita berbicara tentang perbedaan temporal.
Sekarang sangat penting untuk diadili karena perbedaan temporal adalah jantung dan jiwa dari algoritma pembelajaran
Q
Inilah sebenarnya bagaimana semua yang telah kita pelajari sejauh ini berperan bersama dalam pembelajaran kunci.
Jadi mari kita lihat.
Ingat saat kita berbicara tentang pencarian deterministik versus nondeterministik.
Dan ingat bagaimana kita mengatakan dalam kasus ini ketika agen ingin naik, dia naik dan kapan.
Dalam hal ini dia ingin naik, ada peluang 10 persen dia akan turun temps kiri dan
kesempatan dan ke kanan dan peluang 80 persen akan kanan.
Lurus ke atas.
Sementara angka-angka ini tentu saja sewenang-wenang dan bisa berbeda.
Dan seluruh konsep ini bisa jadi masalah yang berbeda dan berbeda sehingga tidak perlu khawatir ke arah
mana dia bergerak hanya bahwa ada beberapa keacakan sesuatu yang di luar kendali
agen yang terjadi di dalam lingkungan ini.
Dan apa efek yang terjadi adalah seperti yang Anda ingat adalah bahwa dalam contoh deterministik sangat mudah untuk menghitung
nilai Wii sementara tidak selalu selalu sangat mudah.
Tetapi dalam kasus kami, kami cukup menghitungnya dengan menggunakan persamaan Belman dan kami memiliki nilai yang
tepat.
Dan seperti yang Anda ingat, saya sangat hati-hati menyebutkan bahwa nilai-nilai ini untuk contoh pencarian
nondeterministic berada di atas kepala saya.
Mereka bukan Kalka yang kita kenal.
Terakhir kali saya katakan kita bukan kita hanya harus menghitungnya karena sangat kompleks.
Tetapi komputer dapat melakukannya dan kami hanya mengikuti nilai-nilai ini yang merupakan nilai-nilai yang saya buat.
Tapi mereka menyelesaikan pekerjaan.
Mereka membantu kami memahami konsepnya.
Nah sekarang kita akan kembali ke hal itu sedikit dan memahami apa yang sebenarnya terjadi di sini.
Mengapa jauh lebih sulit untuk menghitung nilai-nilai ini dalam contoh nondeterministik atau secara umum berbicara dalam masalah-masalah
ini di lingkungan ini dan agen melalui mereka.
Kenapa sih.
Mengapa bisa sangat sulit untuk menghitung nilai-nilai ini.
Nah ketika Anda berpikir tentang hal itu karena ketika agen bergerak misalnya dari sini ke
kanan dia tidak selalu selalu bergerak seperti itu kadang-kadang sebagai kesempatan bahwa ia akan pergi untuk
menang bukannya langsung jadi mari kita sebut ini timur laut barat daya begitu juga semacam pergi ke barat.
Agen kadang-kadang pergi ke selatan dan misalnya dari sini semacam pergi ke utara.
Terkadang dia mungkin pergi ke timur.
Sangat menyesal.
Jadi di sini, bukannya pergi ke timur, dia kadang-kadang mungkin pergi ke selatan dan dia agak ke utara.
Terkadang dia mungkin pergi ke timur atau barat dan di sini bukannya ke utara, dia kadang-kadang pergi ke barat atau timur atau
barat dan seterusnya.
Jadi dan karena itu Jadi untuk menghitung nilai ini, Anda perlu tahu apa nilai ini, tetapi yang menarik
adalah untuk menghitung nilai ini, Anda perlu tahu apa nilai ini.
Jadi ada banyak rekursi yang terjadi di sini dan karena itu Anda tidak bisa hanya memutuskan untuk menentukan apa nilai-nilai
ini.
Dan di atas itu rekursi ini tidak deterministik.
Kadang-kadang terjadi seperti ini kadang-kadang agak menanjak ke kanan kadang-kadang bukannya
bangun dan ke kiri kadang-kadang.
Ketika dia ingin naik.
Dia akan naik.
Jadi itu tergantung pada kebetulan dan mungkin agen berkali-kali akan melewati jalan ini dan dia akan naik ke atas dan Anda
akan berpikir bahwa dari sini Anda selalu naik dan nilai negara akan berjalan.
akan baik dan kemudian tiba-tiba dia akan jatuh ke dalam lubang dan nilai ini akan turun.
Maka dari itu, Anda dapat melihat bagaimana ada keacakan stokastik untuk seluruh perhitungan ini pada nilai-nilai ini
karena semuanya saling terkait.
Plus di atas Anda punya keacakan dalam hal ini yang melekat di lingkungan karena ada tanda
proses pengambilan keputusan.
Jadi di situlah semua ini bersatu dan di situlah kita akan memperkenalkan konsep
perbedaan temporal yang akan memungkinkan agen untuk menghitung nilai-nilai ini.
Dan di sini kita berhadapan dengan nilai-nilai.
Dan sejak itu kami sudah pindah ke nilai Q jadi itulah yang akan kami kerjakan.
Kita akan melihat nilai yang sangat besar.
Jadi seingat saya ini adalah persamaan Belman kami untuk nilai q.
Jadi nilai AQ atau nilai melakukan semacam tindakan A dalam keadaan s sama dengan hadiah yang Anda dapatkan
setelah melakukan tindakan itu segera setelah melakukan suatu tindakan plus apakah Anda mendapatkan maksimum Anda
mendapatkan gamma dari jumlah semua kemungkinan .
Jadi, Anda mendapatkan nilai yang diharapkan dari negara bagian yang akan Anda tuju.
Jadi seperti yang Anda ingat ada rumus untuk persamaan Beldon dan sekarang hanya untuk kesederhanaan mengatakan kita
akan menulis ulang dengan cara kuno dan dengan cara yang kita gunakan untuk berbicara tentang persamaan bellmen
sebelum kita tahu tentang sequester.
Jadi ingat ini adalah persamaan Belman kami dalam arti contoh pencarian deterministik karena di sini Anda tidak memiliki
nilai yang diharapkan Anda tidak memiliki yang sama di semua probabilitas.
Anda hanya memiliki itu seolah-olah itu ditentukan Anda akan berakhir pada keadaan apa Anda akan berakhir dan kemudian Anda
memberi tahu Anda Max dalam satu keadaan.
Dan alasan kami menulis ulang itu adalah satu-satunya alasan adalah karena lebih mudah untuk menulisnya dan akan
lebih mudah untuk mengikuti formula.
Jadi kita akan ingat bahwa kita mengganti bagian bar ini.
Dan juga Anda akan menemukan notasi ini dalam banyak literatur sehingga akan lebih mudah bagi Anda untuk
mengikuti sumber-sumber lain jika Anda mempelajari itu.
Tetapi ingat bahwa sebenarnya yang kita maksudkan adalah pendekatan probabilistik ini di sini daripada notasi ini hanya lebih mudah bagi
kita untuk mengoperasikan ini dan memahami apa yang terjadi.
Saya hanya suka melihat persamaan sehingga mereka tidak terlalu berantakan tetapi sekali lagi hanya ingat
bahwa sebenarnya yang kita maksud adalah pendekatan probabilistik di sini.
Jadi kita benar-benar tahu, Tom Silis melihat apa yang terjadi.
Jadi di sini adalah keadaan kosong labirin kita, kita tidak memiliki nilai q apa pun mari kita lihat atau kapan kita bisa tetapi mari kita
biarkan kosong untuk sekarang mari kita lihat salah satu negara bagian atau salah satu sel
Yang ini khusus.
Dan di sini kita punya jawaban untuk tindakan naik.
Kami memiliki nilai q yang kami hitung.
Jadi bukan karena kami tidak memiliki nilai q apa pun, tetapi kami memilikinya, kami melakukannya.
Tapi kami tidak menggambarkan apa pun.
Kami hanya mengosongkannya demi kesederhanaan.
Tetapi kita memiliki usia yang telah berjalan selama beberapa waktu dan katakanlah secara hipotetis
entah bagaimana dia menghitung nilai kubus ini naik atau Norf dari keadaan ini dari sel khusus ini dan nilai-nilainya.
Q S dan A dan sekarang apa yang kita miliki.
Jadi dia saat ini dengan titik panah biru dan agennya duduk di sel ini.
Dan sekarang dia harus membuat pilihan ke mana dia akan pergi.
Dan dia tahu nilai dari tindakan ini pergi ke utara dan itu adalah q Senay dan di sini saya katakan sebelumnya dan alasannya
adalah karena dia yang sebelum dia mengambil Sebenarnya dia belum mengambil tindakan
sehingga dia masih di dalam sel dan sebelum dia mengambil tindakan, nilainya di sini adalah q dan SNH dan sekarang dia benar-benar mengambil
tindakan.
Jadi katakanlah dia memutuskan adalah yang terbaik.
Dia mengambil tindakan dan dia bergerak ke sel.
Nah sekarang apa yang terjadi sekarang datang setelah jadi setelah dia mengambil tindakan kita bisa mengukur apa nilai ini
mari kita menghitung nilai ini nilai dari hadiah untuk mengambil tindakan itu ditambah gamma dikali maksimum
dari keadaan baru ini yang baru saja dia dapatkan sebagai utama.
Dan jadi maksimal di semua tindakan yang mungkin dan aspirin.
Jadi apa yang kita miliki di sini adalah nilai sebelumnya dalam tindakan itu.
Dan kemudian kami telah menghitung metrik ini setelahnya.
Tetapi seperti yang dapat Anda ingat dari empat bulan sebelumnya jika kita kembali dengan sangat cepat dari rumus sebelumnya di mana kita baru
menghitung memang nilai itulah bagaimana Qs. Sebuah. a dihitung.
Jadi bagian Arite ini baru dihitung secara terpisah tetapi setelah kami mengambil tindakan.
Jadi seperti sebelumnya kita tahu Q dari S dan menghargai sesuatu yang telah kita hitung melalui iterasi kita
Preuss adalah sesuatu.
Jadi nilai itu tersimpan dalam ingatan kita.
Jadi seperti nomor yang kita tahu dan sekarang setelah tindakan dilakukan, kita tahu hadiah apa yang
dia dapatkan, hadiah yang sebenarnya didapat agen.
Dan kita dapat menghitung nilai baru ini.
Jadi pada dasarnya kita semacam menghitung ulang nilai ini, tetapi sekarang dengan informasi baru, informasi baru adalah hadiah
yang kita dapatkan.
Dan ditambah apa yang tinggal kami akhirnya dan apa maksimum di negara itu apa
nilai baru ini untuk data tertentu bisa
Jadi, apa nilai makhluk itu dalam keadaan itu.
Jadi pada dasarnya Cure Vanessa-Mae tetapi diberi informasi baru dan sekarang perbedaan temporal didefinisikan
sebagai kekecilan dari dan dari dua perbedaan antara keduanya.
Jadi di sini elemen pertama adalah nilai off-Terra Anda.
Jadi jenis seperti Q dari Esson sedikit dihitung sesudahnya.
Dan quvenzhané A sebelumnya yang telah Anda simpan di memori Anda.
Dan pertanyaannya adalah apakah mereka berbeda.
Jadi idealnya mereka harus sama.
Idealnya ini harus sama dengan ini hanya karena ini adalah rumus untuk menghitung ini.
Tapi masalahnya adalah ini bukan sesuatu yang kita Kalka ini adalah sesuatu yang kita miliki dari bukti empiris sesuatu yang
kita miliki dari hanya melalui labirin berkali-kali dan menghitung.
Jadi ini adalah sesuatu yang kita sampai sejauh ini.
Ini tidak terkait dengan iterasi saat ini.
Ini adalah sesuatu yang kami temukan sebelumnya sejak lama, tetapi dalam salah satu iterasi kami
sebelumnya melalui labirin.
Padahal ini adalah sesuatu yang kami hitung sekarang dan tidak ada
jaminan bahwa mereka akan sama atau karena keacakan yang ada di maze karena ini bisa dihitung dan melihat
beberapa peristiwa acak CRN dipicu dan ini dapat dipanggil untuk berbagai peristiwa acak yang
terjadi dipicu.
Dan sekarang kita menulis pahlawan kita, hanya memindahkannya ke sana.
Jadi bagaimana kita menggunakan ini.
Pertanyaannya OK jadi kita punya perbedaan temporal ini.
Bagaimana kita menggunakan ini.
Dan mengapa itu disebut perbedaan temporal.
Nah alasannya disebut perbedaan temporal adalah karena pada dasarnya Anda menghitung hal yang sama Anda
menghitung Q dari S dan A sehingga nilai Q dari tindakan itu.
Calcott Anda di sini dan Anda sedang menghitungnya di sini.
Tetapi perbedaannya adalah waktu.
Ini adalah Q dari S dan mereka sebelumnya adalah yo Q dari S dan A.
Sekarang obat baru Anda adalah bawaan dan pertanyaannya adalah apakah ada perbedaan.
Apakah ada pergeseran di antara mereka dalam waktu.
Dan bagaimana kita bisa menggunakan ini untuk keuntungan kita jika memang ada pergeseran waktu.
Yah satu hal yang bisa kita lakukan adalah kita bisa mengatakan OK, Anda tahu Qs kita Sebuah. tidak.
Nilai baru ini tidak sama dengan yang lama sehingga kami akan menyingkirkan yang lama atau melupakan yang lama dan kami
hanya akan menggunakan ini semua adalah nilai yang baru.
Tapi itu tidak pintar.
Dan alasan untuk itu adalah bahwa di lingkungan kita kejadian acak kadang-kadang bisa terjadi.
Dan bagaimana jika QSA lama kita. Sebuah. a adalah sesuatu yang secara konsisten terjadi seperti 80 persen dari waktu.
Dan kemudian seperti diwakili oleh apa yang terjadi 80 persen dari waktu.
Dan yang baru ini hanya terjadi karena keacakan.
Dalam hal ini kita akan membuang yang bertanggung jawab atas sebagian besar situasi dan kita akan menggantinya
dengan sesuatu yang terjadi hanya 10 atau 20 persen dari waktu.
Itu tidak akan menjadi pendekatan terbaik untuk dilakukan dan itulah mengapa kami tidak ingin sepenuhnya mengubah
nilai Opu.
Kami ingin menggunakan suka mengubahnya sedikit demi sedikit.
Dan itulah mengapa kita akan menggunakan perbedaan temporal ini dengan cara tertentu sehingga kita akan mengatakan
Ini adalah rumus yang akan kita ambil isyarat SNH.
Dan kita akan memperbaruinya sedemikian rupa.
Kami akan mengambil nilai lama dari obat Senay dan kami akan menambahkan semua lima kali
perbedaan temporal.
Jadi Alpha akan belajar dengan benar.
Itu parameter baru yang kami perkenalkan.
Begitulah cepatnya algoritma belajar.
Jadi pada dasarnya kami mengambil perbedaan ini dan apa pun yang kami tambahkan ke ular KJo kami
sebelumnya.
Sekarang formula ini mungkin tidak masuk akal atau suka hanya dengan melihatnya tidak masuk akal karena Anda mendapatkan Covisint di
sini dan memberi kami nilai A di sini.
Itu adalah hal yang sama jadi mungkin harus meniadakan satu sama lain tetapi kami harus menulis ulang ini dengan cara yang
sedikit berbeda.
Jadi saya akan menunjukkan kepada Anda lagi jadi saya hanya menambahkan waktu untuk formula ini.
Jadi di sini adalah qt minus satu tahun-tahun sebelumnya.
Q T minus 1 tahun-tahun sebelumnya.
Q T The New ini harus menjadi lingkaran di sini di lingkaran sini juga tetapi tidak apa-apa dan di sini mendapatkan perbedaan
temporal alfa.
Maka Anda perbedaan temporal saat ini.
Jadi, Anda dapat melihat apa yang kami lakukan, kami katakan.
OK, mari kita ambil yang sekarang.
Q akan sama dengan semua Q sebelumnya ditambah perbedaan temporal apa pun yang kami temukan Times Alpha.
Rumus ini di sini adalah jantung dan jiwa dari algoritma pembelajaran kubus.
Ini adalah bagaimana kubus atau pembaruan.
Dan ada baiknya kita telah belajar apa nilai q itu apa gamma itu apa dan semua
barang ini.
Dan sekarang yang perlu kita lihat adalah bahwa Anda memiliki nilai Q sebelumnya Ya itu bagus.
Dan kemudian apa yang bisa terjadi adalah bahwa ketika Anda menerima ketika Anda benar-benar mengambil tindakan ketika agen mengambil
tindakan, Anda akan tahu dia akan mendapatkan hadiah dan dia akan berakhir dalam keadaan.
Dan berdasarkan itu dia bisa menghitung Aha.
OK jadi apa yang akan memiliki apa yang seharusnya menjadi nilai Q dari langkah yang saya buat.
Dan sekarang inilah bagian dari persamaan.
Kurangi nilai Q lama memberi Anda perbedaan temporal dan sekarang Anda perlu mengambil perbedaan sampel waktu
Alpher dan itulah cara Anda menyesuaikan.
Q Mengerti Anda apa yang Anda maksudkan.
Saya hanya berpikir Anda pergi dan sekarang hanya untuk menyelesaikan ini.
Ini semacam ini cukup untuk memahami apa yang terjadi tetapi hanya untuk memperjelas
hal-hal yang lebih atau mungkin membingungkan hal-hal yang lebih.
Apa yang perlu kita lakukan untuk mengambil perbedaan temporal ini atau perbedaan sederhana ini atau di sini cara untuk menghubungkannya
ke format ini.
Jadi kita akan mengambil semua bagian ini dan memasukkannya ke dalam rumus ini dan berakhir dengan persamaan besar.
Jadi di sini kita mulai.
Itu persamaan kita.
Jadi ini adalah persamaan lengkap dengan perbedaan temporal yang dituliskan sepenuhnya.
Dan alasan saya menulisnya juga pertama-tama Anda mungkin akan menemukan ini dalam literatur
lain jika Anda mempelajarinya.
Dan yang kedua adalah membuat beberapa hal yang sedikit lebih rumit memiliki formula lebih lama tetapi juga membuat
sesuatu sedikit lebih jelas.
Jadi misalnya Anda bisa melihat di sini peran yang dimainkan Alpha.
Anda dapat melihatnya lebih baik karena lihat ini.
Sini.
Q T minus satu dan ini dia.
Q T minus satu dengan tanda negatif.
Jadi, jika Anda pasang di Alpha sama dengan 1 jika Anda menempatkan 1 di sini maka ini akan meniadakan ini.
Jadi mereka akan saling menghancurkan dan yang tersisa hanyalah bagian ini.
Dan apa artinya itu persis seperti situasi di mana kami mengatakan Baiklah, jadi Anda mendapat nilai
baru yang seharusnya.
Mari perbarui nilai Q kami dengan nilai baru dan lupakan apa pun yang kami miliki sebelumnya.
Dan seperti yang kita diskusikan bukanlah pendekatan terbaik karena ada peristiwa acak di sini dan kami ingin memperbarui
hal-hal secara bertahap.
Dan di sisi lain, jika Anda mengatakan Alpher sama dengan nol, apa yang terjadi adalah Anda benar-benar melupakan seluruh
bagian ini dan Anda lucu dengan yang baru atau yang sekarang akan selalu sama dengan yang
sebelumnya sehingga Anda tidak akan belajar apa pun.
Dan itu berarti apa pun yang terjadi di labirin tidak masalah karena Anda telah memutuskan nilai Kuchi
sejak lama dan Anda hanya akan mempertahankannya.
Jadi itu sebabnya Alfas tidak boleh 0 atau harus itu seharusnya ada di antara keduanya.
Dan itu akan memungkinkan Anda untuk belajar secara perlahan selangkah demi selangkah akan memungkinkan Anda sebagai agen
Anda atau melalui labirin akan mendapatkan perbedaan temporal.
Dan perlahan tapi pasti nilai ini akan mendapatkan pembaruan dan pembaruan ibed dan apa yang
akan terjadi pada akhirnya adalah bahwa pada titik tertentu semoga algoritma akan konvergen.
Dan apa artinya itu adalah bahwa perbedaan temporal ini akan mulai menjadi semakin dekat dan semakin
dekat ke nol dan pada akhirnya akan sangat dekat dengan nol atau bahkan 0 0 0 0 dan apa artinya
itu adalah bahwa setiap kali nilai cutesie baru Anda atau baru nilai yang dihitung.
Apa yang seharusnya.
Jadi bukan yang ini tapi apa yang seharusnya cukup untuk mengambil langkah hipotetis akan sama dengan nilai
Q2 Anda sebelumnya.
Dan kemudian satu yang nol dan itu berarti ketika perbedaan suhu
Anda nol berarti algoritma Anda telah konvergen dan itu tidak benar-benar diperlukan untuk terus memperbarui apa yang terjadi.
Itu pencarian ini untuk terus memperbarui nilai kubus Anda.
Peringatan di sini adalah bahwa satu-satunya waktu mungkin satu-satunya saat ketika Anda masih ingin
terus melakukan seluruh ini, Anda tahu memperbarui nilai antrian jika lingkungan terus berubah.
Jika tidak hanya itu tidak ada di sana itu hanya memiliki beberapa tebusan untuk peristiwa Kostic di dalamnya
Tetapi lingkungan itu sendiri sedang memodifikasi sebagaimana morphing berubah seiring waktu.
Jadi Anda harus terus belajar karena tidak mungkin bagi Anda untuk mempelajari segalanya dan menghasilkan
kebijakan yang optimal karena kebijakan yang optimal juga berubah dengan lingkungan setiap saat.
Dalam hal ini Anda perlu melanjutkan CALKIN dan perbedaan temporal dan menghitung nilai Q.
Tapi selain itu itu semacam komplikasi ekstra.
Selain itu, ini adalah bagaimana pembaruan nilai-nilai Q jadi ini adalah rumus utama dari algoritma pembelajaran Q
dan ini seperti versi yang diperluas dari itu dan sekarang semuanya harus bersatu
dan masuk akal mengapa kita memiliki persamaan Belman dan tidak hanya apa yang diwakilkan
oleh gewgaw, tetapi juga bagaimana agen tersebut memperbarui nilai-nilainya dan menemukan apa yang sebenarnya terjadi di lingkungan itu sehingga dapat
menghasilkan kebijakan yang optimal.
Jadi saya tahu cukup banyak untuk diterima, tetapi mudah-mudahan Anda menikmati tutorial ini dan
mudah-mudahan Anda dapat menghilangkan konsep dan intuisi yang mendasari nilai-nilai Anda dan apa arti seluruh
perbedaan temporal itu dan mengapa ini penting mengapa ini membantu kami perlahan melatih agen dan membuat mereka memahami
lingkungan tempat mereka beroperasi.
Dan jika Anda ingin belajar lebih banyak tentang perbedaan temporal maka makalah yang
sangat populer adalah belajar untuk memprediksi dengan metode perbedaan temporal oleh Richard Sutton dari 1990.
Kami sudah memiliki referensi oleh Richard Sutton juga, tetapi ini adalah
buku lain dan sebenarnya memiliki buku jadi jika Anda mengenal Anda, ketahui gaya tulisannya dan gaya komunikasinya, kemudian periksa
bukunya juga.
Ini seperti versi yang lebih luas dari semua hal ini.
Saya belum membaca buku itu tetapi itu yang saya bayangkan pada saat yang sama.
Ini akan menambah kertas dan Anda dapat belajar sedikit tentang atau mungkin lebih banyak tentang perbedaan
temporal di sana
Dan saya harap Anda menikmatinya juga.
Kami akan menemuimu lain kali.
Sampai kemudian menikmati AI.