Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Hari ini kita akhirnya berbicara tentang pembelajaran Kule.
Baiklah, jadi kita sudah mendapatkan persamaan ini persamaan bellmen yang telah kita tambahkan banyak komponen.
Kami mendapat hadiah di sini yang bisa saja bukan di akhir tetapi juga bisa pada langkah apa pun.
Kami punya faktor diskon.
Kami mendapat probabilitas karena sekarang kami sedang melihat tanda proses keputusan.
Dan di sini kita memiliki kemungkinan berakhir di negara bagian yang berbeda terlepas dari tindakan apa yang kita ambil atau
benar-benar diberikan tindakan yang kita ambil.
Mungkin ada beberapa negara tempat kita bisa berakhir dan kemudian kita mendapat nilai
keadaan selanjutnya karena dia seperti fungsi rekursif dan sebagainya, tetapi Anda mungkin masih punya satu pertanyaan.
Pertanyaannya adalah di mana dalam semua ini tidak ada huruf Q Mengapa semuanya disebut q.
Belajar
Jadi di mana isyaratnya.
Dan itulah pertanyaan yang akan kami jawab hari ini.
Sejauh ini kita telah berhadapan dengan nilai-nilai nilai berada dalam keadaan tertentu dan sekarang kita akan melihat
bagaimana Q cocok dengan semua itu juga.
Jadi di sini kita punya dua contoh di sebelah kiri adalah apa yang akan kita lakukan sejauh agen kami telah menganalisis.
Ok saya di sini.
Ini adalah tanda proses pengambilan keputusan, jadi tidak masalah bagaimana saya sampai di sini.
Sisa lingkungan tidak peduli dengan langkah-langkah yang saya perlukan untuk sampai di sini mulai sekarang.
Saya harus membuat keputusan optimal ke mana harus pergi di sini atau di sini.
Berdasarkan kondisi saat ini dan semua kondisi masa depan yang datang dari sini tetapi tidak dari masa lalu.
Dan agar dia dapat melihat bahwa ada tiga opsi ada satu negara bagian ke negara tiga.
Dan berdasarkan pengalamannya, dia telah menghitung nilai di negara-negara ini dan sekarang dia akan menggunakan
persamaan bellmen.
Jadi meskipun ini adalah Proceso klasik, dia tahu bahwa dia akan pergi ke sini tetapi ada kemungkinan
dia akan pergi ke kanan dan seterusnya.
Jadi berdasarkan nilai-nilai ini akan membuat keputusan itulah yang kami lakukan sejauh ini dan itu adalah pendekatan yang benar-benar
sah di sini.
Tapi sekarang kita sedikit dimodifikasi.
Kita akan mengambil konsep yang sama persis masalah yang sama persis, tetapi di sini alih-alih
melihat nilai-nilai dari masing-masing negara yang dia dapat berakhir di kita akan melihat nilai-nilai atau nilai dari setiap tindakan.
Jadi kita kita tidak akan menggunakan huruf V lagi karena untuk
nilai keadaan kita akan menggunakan Q dan Anda mungkin memiliki pertanyaan mengapa huruf Q Yah.
T Beberapa orang berspekulasi tentang itu.
Q Akankah saya membaca ini.
Saya berpikir tentang Quora.
Seseorang menyebutkan bahwa Q adalah karena kualitas tetapi pada saat yang sama saya tidak dapat menemukan referensi lain untuk itu
sehingga mungkin bukan karena itu hanya karena itulah huruf yang digunakan pada
saat itu dan sekarang menjadi sangat populer karena itu semua disebut pembelajaran kunci karena itu.
Jadi tidak ada alasan yang pasti.
T Namun demikian setidaknya itu membantu kita membedakan antara V dan Q Jadi Q di sini.
Ada hadiah daripada nilai negara yang diwakilinya melepaskan kualitas.
Ini mewakili kualitas tindakan yang mewakili.
OK jadi saya punya empat tindakan.
Apa perbedaan kualitas dari tindakan ini.
Berapakah nilai tindakan atau kualitas tindakan yang tindakannya lebih menguntungkan sehingga saya perlu metrik yang
memberi tahu saya dengan benar bagaimana saya mengukur tindakan ini dan kemudian saya bisa
membandingkannya dan itulah Q.
Jadi dia punya empat tindakan yang mungkin.
Seperti biasa naik ke kanan kiri atau ke bawah.
Dan berdasarkan tindakan, akan ada rumus yang memberi tahu kita nilai yang dapat diukur dari tindakan itu yang
kami sebut nilai Q q dari tindakan itu.
Jadi mari kita lihat bagaimana kita akan menurunkan formula ini.
T Apa kaitannya dengan ini.
Karena seperti yang dapat Anda bayangkan karena tindakan mengarah ke keadaan harus ada semacam hubungan antara
keduanya.
Benar, kami sudah menentukan cara menghitung ini dan kami cukup bagus.
Kita tahu bagaimana menggunakan persamaan Belman di lingkungan yang sangat berbeda dengan banyak komplikasi yang berbeda.
Baiklah mari kita manfaatkan pengetahuan itu untuk memahami bagaimana kita sekarang dapat menghitung.
T Untuk membuat prediksi yang sama karena seperti yang Anda bayangkan lingkungan tidak berubah tergantung pada
pendekatan apa yang kita gunakan lingkungan akan tetap sama.
Jadi karena itu pendekatan ini dan pendekatan ini harus selalu memberikan hasil yang sama dan karena itu
alasan lain mengapa keduanya harus dihubungkan.
Jadi mari kita lihat.
Jadi di sini adalah pendekatan pandangan kita di mana kita hanya bisa melihat nilai dari setiap negara bagian ini atau
negara bagian lainnya.
Dan di sini kita masuk ke kita hanya menggunakan timah di sini karena itu keadaan saat ini
Dan oleh karena itu terminologi akan sama di kedua persamaan dan di sini kita menggunakan q sebagai q
Apakah negara dan tindakan.
A karena tindakan sudah habis tetapi di negara bagian mana kami melakukan tindakan itu, kami melakukan tindakan itu di negara bagian.
OK jadi sekarang kita akan keluar dari persamaan Belman untuk pendekatan pertama
seperti yang Anda lihat di sini kita punya nilai s atau nilai dari setiap negara bagian s adalah hadiah maksimum yang Anda dapatkan berdasarkan taruhan maksimum pada tindakan
yang Anda miliki tiga.
Dalam hal ini Anda benar-benar memiliki empat tindakan sehingga memaksimalkan dari semua tindakan yang mungkin dari
bagian ini yang telah kami dengar dibahas berkali-kali jadi ini adalah hadiah kami yang kami dapatkan dari melakukan
tindakan itu di diskon alun-alun negara bagian itu dikalikan dengan yang diharapkan nilai keadaan baru yang kita akan berada dalam nilai
yang diharapkan karena ini adalah proses stokastik.
Kita tidak tahu pasti bahwa kita akan berakhir di sini, kita mungkin berakhir di sebelah kiri
atau kemungkinan yang tepat.
Itu sebabnya probabilitas ini ada pada Anda.
Baiklah, jadi itulah nilai kami.
Dan sekarang mari kita lihat.
Q Jadi Q akan didefinisikan.
Kita akan menggunakan ini untuk mendefinisikan Q Jadi katakanlah agen dari lokasi ini dari negara ini
melakukan tindakan.
Apa nilai q yang akan dipanggil.
Yah pertama-tama mari kita lihat apa yang akan dia dapatkan sebagai imbalan atas melakukan tindakan ini.
Hal pertama yang akan Anda dapatkan adalah hadiah yang tepat.
Tidak tahu tentang itu.
Akan ada semacam aturan atau mungkin nol tetapi kita tahu bahwa keseluruhan adalah cara proses
pembelajaran penguatan ini bekerja bahwa beberapa kota sedang melakukan tindakan tertentu dari satu atau dua negara.
Jadi saya akan menambahkannya di sini.
Dan kemudian kita akan menambahkan apa yang akan kita tambahkan.
Baiklah mari kita pikirkan.
Apa hal berikutnya yang terjadi setelah dia pergi ke sana.
Nah hal berikutnya yang terjadi adalah bahwa sekarang agen dalam keadaan tertentu dia bisa berakhir di sini dengan probabilitas
80 persen atau beberapa probabilitas.
Tetapi sebenarnya di sini di sini.
Tetapi di mana pun dia berada sekarang, di sana kita sudah memiliki metrik terukur untuk keadaan tempat dia berada.
Dan itu sebenarnya nilai dari kondisi itu.
Tetapi karena dia muncul di banyak negara bagian yang berbeda dan tiga negara bagian yang mungkin berbeda,
kita harus melihat nilai yang diharapkan dari negara tempat dia berada.
Jadi kita akan menambahkan bahwa kita akan menambahkan
Tentu saja faktor diskon seperti yang kita miliki sebelumnya karena itu adalah suatu tempat di masa depan.
Dan kemudian kita akan menambahkan beberapa dari semua keadaan yang mungkin di semua keadaan yang mungkin bahwa dia bisa berakhir
dengan mengambil tindakan ini.
Ketentuan probabilitas.
Jadi yang kami katakan di sini adalah OK, jadi dengan melakukan tindakan Anda akan mendapat hadiah Plus yang merupakan
metrik Plus terukur yang akan Anda dapatkan.
Anda berakhir dalam keadaan kami tidak tahu yang mana yang mungkin ada di sini.
Bisa di sini, bisa di sini.
Tapi di sini adalah nilai yang diharapkan dari negara yang Anda akan berakhir.
Dan sekarang kita akan mengalikannya dengan faktor diskon karena itu satu langkah lagi.
Jadi itulah nilai Q kami untuk ini untuk bagian kinerja dan apa yang akan Anda perhatikan di sini
segera
Q Nilai Q sebenarnya persis sama dengan apa yang ada di dalam kurung di sini.
Dan mengapa begitu.
Nah jika Anda memikirkannya di sini, kami mengambil hasil maksimum yang akan mendapatkan maksimum di semua tindakan yang mungkin,
jadi kami mendapat tindakan mengambil maksimum di semua tindakan yang mungkin dari
hasil yang akan kami dapatkan dengan mengambil setiap tindakan tersebut dan enqueue kita mendefinisikan.
Menarik.
Apa yang akan kita dapatkan dengan mengambil tindakan tertentu.
Jadi jika Anda memikirkannya masuk akal bahwa nilai suatu negara.
Jadi misalnya keadaan ini adalah maksimum semua nilai Q yang mungkin.
Tepat jadi di sini di Amerika dengan berada di negara agen memiliki satu nilai kunci untuk menjaga nilai 3Q untuk nilai
q
Jadi ya positif untuk kemungkinan nilai Q sementara nilai tinggal masuk akal
bahwa nilai negara adalah maksimum dari keempat nilai kunci tersebut.
Itulah yang bisa kita lihat di sini.
Itu konfirmasi yang baik dari formula baru ini yang kami peroleh.
Jika itu tidak terjadi jika itu jika itu tidak cocok maka kita akan memiliki pertanyaan seperti.
Jadi mengapa tidak cocok?
Mengapa tidak cocok jika.
Nilai Q adalah metrik yang dikuantifikasi untuk melakukan suatu tindakan dan V tergantung pada lantai.
Is like adalah hasil maksimum yang mungkin dari empat tindakan yang dapat dia lakukan yang masuk akal.
Dan itu mengkonfirmasi formula yang baru saja kita buat dan sekarang kita akan membuatnya lebih menarik.
Kami akan menyingkirkan Wii sepenuhnya karena Anda bisa lihat di sini bahwa Anda punya Wii adalah fungsi rekursif.
Jadi kemudian Anda mendapatkan saya dan kemudian B dan kemudian B dan kemudian B dan seterusnya.
Jadi Anda dapat mengekspresikan pandangan ini melalui semua Vee berikut yang paling optimal ini akan muncul di
sini.
Kami mengharapkan Q Sebagai funk fungsi rekursif dari OR sebagai fungsi dari V berikutnya dan kemudian Anda harus menghubungkan V ini
dan kemudian kita kembali ke B.
Jadi apa yang akan kita lakukan adalah kita akan mengambil V ini dan kita akan menggantinya
dengan Q Benar jadi mari kita lihat itu.
Kita akan mengambil V ini dari keadaan berikutnya dan kita akan tancapkan ini ke formula itu di sini.
Dan seperti yang Anda lihat sekarang jadi bagian ini tidak mengubah probabilitas ini tidak berubah.
Tapi seperti yang baru saja kita bahas tentang s adalah maksimum oleh semua aksi q of S dan hak di sini.
Jadi itulah yang akan kita ganti di sini.
Jadi kita akan mengatakan maksimum tentu saja adalah tindakan baru tindakan yang akan kita ambil karena di
sini kita punya Wii sebagai yang utama.
Jadi di sini sekarang kita punya konsol maksimal di perdana
Jadi tindakan yang akan kita ambil dari negara bagian ini
adalah dari mana pun negara bagian mana kita berakhir tetapi tindakan yang akan kita ambil dari sana dan Maxima
di semua itu dan maksimum adalah dari semua nilai kubus yang akan yang tersedia bagi kita dalam keadaan baru itu sebagai prime koma a prime.
Dan itu aksi.
Jadi begitulah.
Jadi akan ada empat lagi.
Nilai Q di sana.
Jadi sekarang seperti yang Anda lihat, mari kita lanjutkan lagi.
Jadi, dari apa yang kita peroleh, kata ini hanya akan menjadi penyebab hanya melalui logika dan intuisi
sehingga kita dapat melihat bahwa VNS sebenarnya adalah pandangan AS dan dan terkait.
S adalah maksimum di semua tindakan S Kuba dan Anda bisa lihat di sini sehingga bagian ini
identik dengan bagian ini
Dan kemudian kita akan memanfaatkan itu dan kita akan mengganti bit ini dengan VNS dari sini tapi bukan corong yang
tepat ini kita akan mengambil bagian internal ini dan menggantinya dengan membunuh yang tidak bersalah.
Jadi kita akan tancapkan itu di sini dan bagian ini akan menjadi qs s prima maksimum cube oleh Crucell
a Priam's of Q As Prime a prime.
Dan sekarang kami memiliki formula kami.
Jadi sekarang kami memiliki rumus rekursif untuk nilai q jadi sekarang agen dapat berpikir apa nilai bagian apa kualitas
bagian ini adalah nilai baru dari tindakan ini.
Yah itu tergantung pada hadiah yang saya dapatkan di langkah segera setelah itu ditambah itu tergantung
pada faktor kali diskon maksimum dari semua tindakan Q yang mungkin di negara itu.
Tapi saya tidak tahu apakah saya akan mendapatkan pihak mereka perlu juga melihat keadaan itu dalam
keadaan itu dan itu sebabnya kami memiliki nilai yang diharapkan ini di sini sehingga kami memiliki beberapa probabilitas kali maksimum dari nilai yang
diharapkan.
Jadi rumus yang sangat mirip seperti yang Anda lihat, tetapi kali ini kami mengekspresikan
hal-hal melalui nilai q dan itulah mengapa keseluruhan algoritme ini disebut Kill learning karena inilah yang terlihat seperti inilah yang sebenarnya digunakan oleh agen yang tidak terlihat di
negara bagian lihat tindakan yang mungkin mereka lakukan dan kemudian berdasarkan pada tindakan pada nilai
q dari tindakan mereka akan memutuskan tindakan yang akan diambil.
Jadi mereka hanya akan melihat nilai Q maksimum dalam kondisi ini memiliki empat tindakan.
Apa tindakan terbaik yang dapat diambil sehingga dapat membandingkan semacam membandingkan berbagai kondisi
yang akhirnya berakhir akan membandingkan tindakan yang mungkin saat ini miliki dengan menemukan yang optimal akan mengambil
tindakan itu dan kemudian terlibat akan mengulangi proses itu ulangi proses itu dan
seterusnya.
Jadi sekarang Anda dapat melihat bagaimana semua ini bersatu bagaimana hadiah fakta diskon atau proses
keputusan pasar stokastik dan nilai-nilai dan nilai q semua datang bersama-sama untuk mengutip
satu persamaan Belman super kuat ini untuk nilai q yang sekarang dapat kita terapkan dan biarkan agen kami
belajar cara mengalahkan lingkungan.
Dan itulah penjelasan intuitif tentang apa yang terjadi.
Saya tahu kami telah melalui formula tetapi ini perlu karena ini seperti formula kami
yang telah kami pelajari sepanjang bab ini dan saya pikir ini adalah transisi yang baik dari To.
T Dan itu menggambarkan bagaimana ada hubungan antara Yishun Dan jika Anda ingin mendapatkan sedikit lebih banyak dari pendekatan matematika pendekatan yang
ketat dan seperti Anda melihat matematika di belakangnya dan belajar lebih banyak tentang nilai
q dan bagaimana mereka bekerja.
Lalu kami punya bacaan tambahan untuk Anda.
Makalah ini disebut konsep proses keputusan Markov dan algoritma oleh martín von Autor low 2009.
Jadi Anda memotong tautan di sini seperti biasa dan di sini Anda dapat membaca sedikit lebih detail untuk memahami
semua seluk beluk di balik nilai-nilai Hugh dan seterusnya dan sekarang kita telah membahas
semua hal yang berkaitan dengan persamaan Belman sekarang kita siap untuk melihat sesuatu yang lebih kompleks seperti makalah
ini jika jika kita ingin mendapatkan beberapa informasi tambahan untuk mendapatkan semacam pemahaman yang lebih dalam.
Tetapi bahkan jika Anda tidak membaca koran atau radio, Anda harus memiliki pengetahuan yang baik tentang apa
itu pembelajaran dan bagaimana para agen membuat tindakan yang perlu mereka ambil dalam lingkungan tertentu.
Jadi saya harap Anda menikmati hari ini Statoil dan saya berharap untuk Anda berikutnya
Sampai kemudian menikmati.
SAYA.