Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Dan hari ini kita berbicara tentang Markus proses pengambilan keputusan atau M. D ..
Mari kita lihat apa yang kita miliki hari ini.
Jadi terakhir kali kami berhenti pada konsep peta.
Jadi karena kami telah menghitung nilai berdasarkan persamaan Belman, kami dapat menurunkan peta ini untuk agen kami
di labirin ini.
Dan pada dasarnya apa artinya itu di mana pun agen mulai katakanlah itu dimulai di sana.
Ia tahu persis langkah mana yang harus diambil untuk sampai ke garis finish sehingga hanya naik ke kanan.
Benar dan dilakukan.
Jadi pertanyaannya di sini adalah itu.
Apakah sesederhana itu.
Apakah penguatan pembelajaran benar-benar Anda ketahui karena tidak ada kata membosankan yang lebih baik.
Itu ya.
Setelah Anda memiliki matematika itu semua yang harus Anda lakukan adalah Anda telah melakukannya hanya dengan mereka.
Kenyataannya adalah itu tidak sesederhana itu.
Dan itu hal yang baik karena membuat kursus ini lebih menarik bagi kami dan kami benar-benar dapat memecahkan
masalah yang jauh lebih kompleks.
Jadi di sinilah tanda proses akan datang.
Tapi pertama-tama kita akan membicarakan dua hal.
Kami masuk ke dalamnya pencarian deterministik versus pencarian non-deterministik.
Jadi mari kita bicara tentang konsep pencarian deterministik.
Ini adalah agen kami di labirin dan pencarian deterministik berarti bahwa jika agen memutuskan untuk
naik maka yang akan terjadi adalah 100 persen kemungkinannya akan naik.
Itulah yang akan terjadi.
Tidak ada pilihan lain.
Setelah itu mengatakan naik atau klik panah ke atas itu akan naik.
Tidak ada pilihan lain.
Sekarang di sisi lain pencarian nondeterministic adalah ketika agen kami mengatakan ingin naik.
Mereka sebenarnya beberapa pilihan.
Misalnya mungkin ada tiga opsi dan kita akan melihat contoh di
mana ada tiga opsi tetapi tidak harus menjadi batas tiga sebelum bisa
berbeda tergantung pada masalah, keacakannya bisa berbeda tetapi dalam kasus kami, itu bisa menjadi tiga opsi dengan
peluang 80 persen dia naik.
Tetapi dengan peluang 10 persen ketika dia ingin naik, dia benar-benar akan pergi ke kiri hanya karena.
Karena begitulah lingkungan bekerja itulah dunia tempat ia tinggal.
Dan dengan cek 10 persen kemungkinan dia benar-benar akan benar.
Dan dalam hal ini dia akan jatuh ke firepit.
Jadi begitulah cara kerjanya.
Itu adalah contoh dari pencarian pasti proses stokastik dan apa gunanya adalah untuk membuat model
yang lebih realistis dari apa yang sebenarnya bisa terjadi di dunia nyata dalam jenis masalah dunia nyata karena sangat jarang Anda
mendapatkan situasi seperti ini ketika Anda melakukan sesuatu dan itu terjadi persis seperti
itu.
Dan bahkan jika Anda memikirkannya dalam hal permainan katakanlah Anda memiliki agen yang bermain Pac-Man.
Yah, tidak selalu masalahnya jika dia berdiri di alun-alun dia naik.
Dia akan mendapatkan hasil yang persis sama setiap saat.
Yah dia memang akan naik tetapi mungkin dalam satu kasus Anda tidak akan dimakan oleh hantu dalam kedua kasus.
Dia akan dimakan oleh hantu.
Jadi seperti yang Anda lihat ada keacakan karena tergantung pada bagaimana hantu bergerak dan mereka tidak selalu
bergerak dengan cara yang sama.
Mereka tidak selalu mulai di lokasi yang sama.
Jadi sangat logis sangat adil bahwa ada beberapa keacakan ada sesuatu yang tidak berada di bawah kendali
agen dan ini hanya cara bagi kita untuk mempresentasikan bahwa agar kita dapat belajar bagaimana
kita bisa menghadapinya dan bagaimana yang mempengaruhi persamaan Belman bagaimana hal itu memengaruhi
seluruh proses pembelajaran penguatan.
Tetapi pada saat yang sama, keacakan itu tentu saja tidak terbatas pada jika Anda naik, ada peluang 10 persen
Anda akan ke kanan atau temp dan pergi ke kiri atau jika Anda turun ke 10 persen kemungkinan Anda
ke kanan atau kiri atau Anda ' Benar, ada peluang 10 persen naik turun halus terbatas di mana
Anda akan berakhir kadang-kadang Anda mungkin memiliki masalah yang sebenarnya.
Terkadang kemungkinannya mungkin berbeda.
Kadang-kadang keacakan mungkin berubah menjadi sesuatu yang lain itu mungkin direbus seperti contoh itu.
Hantu pacman memakan Anda tidak memakan Anda atau mungkin mendidih ke sesuatu yang berbeda.
Misalnya seperti ada seperti jika agen bermain Doom dan kemudian ada sesuatu seperti monster yang akan
menembaknya dalam satu kasus dan kasus lain ada seperti ada kemungkinan jika kita
semua ditembak dan kita tidak akan ditembak.
Dan sesuatu yang berada di luar kendali agen adalah sesuatu yang tidak dapat saya prediksi.
Itulah yang kami modelkan di sini dalam pencarian nondeterministik dan di sinilah kami telah secara
langsung mendekati dua konsep baru tanda proses dan atau tanda proses dan tanda penanda proses keputusan jadi mari
kita lihat ini.
Dan Anda tahu betapa saya tidak suka menempatkan definisi dan banyak teks di samping.
Tetapi dalam hal ini perlu bagi kita untuk melalui itu.
Jadi mari kita lihat proses stokastik memiliki tanda properti.
Jika distribusi probabilitas bersyarat dari keadaan masa depan dari proses bersyarat dan kondisi
masa lalu dan masa kini hanya bergantung pada kondisi saat ini bukan pada urutan peristiwa yang mendahuluinya.
Proses dengan properti ini disebut penanda.
Definisi yang sangat kompleks dan sepertinya Anda perkenalkan sedikit tidak hanya bertentangan dengan dirinya sendiri tetapi rasanya
juga bertentangan sendiri, jadi di sini syarat untuk kehadiran positif yang tergantung pada poin
Anda.
Tetapi pada saat yang sama itu hanya tergantung pada keadaan saat ini.
Jadi jangan terlalu terjebak dalam hal itu.
Saya akan memecahnya secara sederhana sehingga tanda properti adalah ketika masa depan Anda.
Jadi bukan hanya pilihan Anda tetapi semuanya.
Pilihan Anda dan lingkungan itu hanya akan menyukai hasil dari semua tindakan yang Anda lakukan di lingkungan itu hanya akan
bergantung pada di mana Anda berada sekarang.
Itu tidak akan tergantung pada bagaimana Anda sampai di sana.
Dan itu saja.
Jadi itu masalah publik dan proses yang memiliki properti ini disebut proses pasar.
Jadi, berikan contoh jadi jika agen Anda ada di sini dan jika dia pergi jika dia memutuskan untuk naik, dia mungkin
pergi.
Dia dalam kasus kami dalam contoh pencarian nondeterministik kami, ia mungkin benar-benar ke kiri dan kanan.
Baiklah.
Itu karena kita memiliki tongkat itu di kota ini di dalam lingkungan kita, kita memiliki keacakan di dalam
lingkungan kita.
Jadi salah satu dari hal ini mungkin terjadi.
Tetapi kuncinya di sini adalah bahwa ini adalah tanda proses karena kami tidak peduli bagaimana Anda sampai di sini.
Dia bisa saja datang dari atas, berakhir di sini. Dia bisa saja datang dari kiri dan di atas sini
kau bisa datang dari bawah dan berakhir di sini.
Dia bisa saja suka bermain bergerak di sekitar sini seperti 100.000 kali dan kemudian sampai di sini.
Tidak masalah apa yang terjadi sebelumnya hanya yang penting adalah negara mana dia sekarang
Jadi kemungkinan untuk ke kiri atau ke kanan atau ke atas mereka akan selalu sama jika dia dalam kondisi
ini sekarang.
Dan itu pada dasarnya hanya mengatakan tidak masalah apa yang terjadi sebelum kita di sini sekarang.
Ini adalah keadaan Anda.
Dan jangan lupa bahwa keadaan tidak hanya berarti di mana dia berdiri.
Keadaan adalah keadaan keseluruhan dari seluruh agen di lingkungan sehingga ada seperti monster di kanan atau monster di
sebelah kiri atau Anda tahu adalah hantu yang datang dari atas atau bawah apa pun
keadaan Anda sekarang .
Tidak masalah bagaimana Anda sampai di sana, tidak masalah bagaimana dan bagaimana semuanya terjadi sehingga Anda berada di sana dalam keadaan
itu.
Sekarang apa yang akan terjadi di masa depan hanya ditentukan oleh keadaan Anda sekarang.
Ditambah tindakan Anda akan mengambil mereka ditambah tentu saja keacakan yang overlay di atas itu.
Jadi itulah tanda proses dan proses pengambilan keputusan penanda atau proses keputusan penanda atau MVP.
Berikan kerangka matematika untuk pemodelan pengambilan keputusan dalam situasi di mana hasil sebagian acak
dan sebagian di bawah kendali pengambilan keputusan
Jadi penting untuk dipahami bahwa tanda proses pengambilan keputusan berbeda dan seluruh konsep
berbeda tanda proses untuk tanda proses.
Ada seperti kerangka kerja matematika begitu.
Tetapi pada saat yang sama saya pikir penting bagi kita untuk memahami apa tanda
proses itu karena saya pikir itu masih membantu dalam memahami tanda tanda proses keputusan dan tanda proses keputusan ada
di sana.
Ini adalah persis apa yang telah kita bahas sampai sekarang sehingga agen tinggal di lingkungan ini
di mana dia memiliki kontrol seperti dia sebelumnya dan memiliki kendali penuh atas apa yang terjadi tetapi sekarang memiliki
kontrol sedikit kurang.
Itu bisa memutuskan untuk naik tetapi sebenarnya tahu.
OK jadi jika saya naik ada kesempatan kera saya akan naik upaya ini dan peluang ke kiri dan kesempatan akan
ke kanan.
Jadi tidak semuanya sepenuhnya di bawah kendalinya.
Ada beberapa keacakan dalam lingkungan ini dan itulah yang merupakan tanda proses pengambilan keputusan dan
proses pengambilan keputusan Markov adalah kerangka kerja yang akan digunakan agen untuk memahami apa yang harus dilakukan dalam lingkungan
ini.
Jadi kita punya lingkungan dengan keracunan beberapa keacakan.
Dan sekarang agen harus memilih misalnya naik ke kiri atau kanan.
Dia harus membuat keputusan itu.
Dia tidak tahu harus berbuat apa.
Dan untuk membuat keputusan itu akan menerapkan kerangka kerja akan menggunakan tanda proses keputusan untuk
membuat keputusan apa yang akan terjadi di mana ia akan pergi.
Dan pada dasarnya lingkungan ini yang menimbulkan masalah ini disebut tanda proses pengambilan keputusan sehingga kerangka
kerja yang digunakan agen pada saat yang sama lingkungan disebut bahwa agen beroperasi
di lingkungan proses pengambilan keputusan pasar.
Jadi pada dasarnya di sini kita memiliki dua konsep. Kita memiliki tanda proses adalah cara
lingkungan ini dirancang sehingga PA melakukan pekerjaannya.
Apa yang terjadi dari tempat Anda sekarang tidak bergantung pada masa lalu.
Dan pada saat yang sama kita mendapat tanda proses keputusan adalah kerangka kerja yang
akan digunakan agen untuk menyelesaikan lingkungan ini.
Dan kabar baiknya adalah bahwa tanda proses pengambilan keputusan atau kerangka kerja yang sedang
kita bicarakan sebenarnya hanyalah tambahan untuk pertanyaan persamaan Belman kita adalah persamaan Belman tetapi hanya sedikit lebih canggih.
Jadi mari kita lihat itu.
Ini adalah persamaan Belman kami sejauh ini.
Ini adalah maksimum dari semua tindakan yang mungkin.
Jadi nilai berada dalam keadaan adalah maksimum dari semua tindakan yang mungkin dapat Anda ambil
dari keadaan itu.
Maksimum diambil dari hadiah yang akan Anda dapatkan dengan mengambil tindakan itu di negara itu ditambah
faktor diskon kali nilai negara berikutnya yang sebagai prima.
Jadi itulah yang kami miliki sejauh ini.
Sekarang karena kita memiliki beberapa keacakan dalam seluruh proses kita, bagian ini akan berubah karena kita tidak benar-benar
tahu negara bagian mana yang akan berakhir dan kita tidak tahu akan menjadi apa jadinya jika
kita naik maka ke atas atau akan ke kiri akan benar sehingga kami benar-benar harus menempatkan ini dengan nilai yang
diharapkan pada tanggal berikutnya.
Jadi di sini kita akan mengganti ini sehingga ada tiga kemungkinan negara kita bisa berakhir.
Jadi kita akan menggantinya dengan beberapa nilai yang dinyatakan sebagai nilai satu prima.
Bahwa ia memiliki pandangan sebagai prima ke prima.
Dan keadaan ini memiliki nilai kita bertiga, Bryne.
Jadi sekarang kita akan melipatgandakan keadaan bahwa kita benar-benar bermaksud masuk ke dalam 80 persen karena itulah bagaimana
kemungkinan untuk mencapai keadaan itu ditambah probabilitas untuk mencapai keadaan ini adalah 10 persen
ditambah orang yang masuk ke negara bagian Jadi ini adalah hanya nilai yang kami harapkan jadi jika
dari statistik jika kami mengambil nilai yang diharapkan untuk memasuki kondisi yang akan kami masuki, ini seperti rata-rata. Apa yang
rata-rata dari apa yang akan kami dapatkan dan kemudian kami ganti di sini.
Kemudian kita mendapatkan agresi ini dan melompat sangat cepat hanya karena ada yang besar tetapi jika Anda melihatnya
dengan cermat Anda akan melihat hal yang sama dikatakan tentang Max di sini Max di sini.
Kemudian Anda mendapatkan r dari S dan A R dari S dan mereka memiliki gamma, Anda memiliki gamma.
Dan akhirnya di sini Anda punya v.
Jadi Anda tahu persis itu adalah pencarian deterministik yang Anda tahu negara bagian mana yang akan Anda masuki.
Sekarang Anda tidak tahu negara bagian mana yang akan Anda masuki sejak mengambil V.
Anda mengambil nilai yang diharapkan dari negara bagian yang akan Anda masuki atau negara bagian masa depan atau hanya secara sederhana Anda hanya
mengambil rata-rata dari apa yang akan Anda dapatkan.
Jadi, Anda tahu rasanya seperti untuk 30 plus 3 persen kemungkinannya akan seperti membagi Plus ini dengan tiga pada dasarnya.
Tetapi dalam kasus ini bukan tidak seperti rata-rata rata-rata.
Ini rata-rata tertimbang karena probabilitas di sini.
Jadi di sini Anda memiliki kemungkinan ketika Anda berada dalam tahap ini untuk mengambil tindakan memasuki kondisi prima ini sebagai
nilai prime time dan beberapa untuk melewati semua bilangan prima ini yang mungkin bisa Anda dapatkan
tentang siapa kami.
Jadi persis apa yang kita punya tiga di sini satu dua tiga.
Tambahkan mereka, kalikan ini tambahkan.
Sama disini.
Satu dua tiga.
Lipat gandakan dengan probabilitas dan tambahkan.
Dan itu adalah persamaan Belman baru Anda.
Selamat.
Inilah yang akan kita kerjakan untuk maju.
Dan itu adalah kerangka kerja yang digunakan dalam proses pengambilan keputusan sehingga kerangka itulah yang
memecahkan ini.
Agen yang digunakan untuk menyelesaikan seluruh masalah pencarian stokastik nondeterministik ini di mana ada peristiwa acak
yang terjadi yang tidak dapat mereka kendalikan.
Jadi ini jauh lebih kompleks.
Tapi seperti yang Anda lihat karena kami membangunnya perlahan.
Sekarang kita sudah tahu tentang ini, kita tahu tentang.
Ada kekhawatiran tentang ini.
Kami tahu tentang ini.
Kami tahu apa itu.
Jadi yang kami lakukan adalah kami baru saja memperkenalkan bagian ini di sini karena ada
kemungkinan yang terlibat dalam tindakan atau konsekuensi dari tindakan Anda pada nondeterministic mereka didasarkan pada probabilitas.
Jadi begitulah.
Begitulah penanda proses keputusan bekerja dan persamaan yang mendasari di belakangnya.
Sekali lagi itu adalah sesuatu yang lebih mirip dengan masalah dunia nyata nyata atau Sinatras
atau bahkan skenario permainan karena tidak semuanya mudah.
Ada beberapa keacakan dari semua yang terlibat dan tidak selalu akan mengambil tindakan dalam keadaan tertentu akan selalu Nawal tidak
selalu akan mengarah pada hasil yang sama.
Dan inilah yang akan kita hadapi ke depan dan itu akan membuat segalanya
menjadi lebih menarik.
Jadi semoga Anda bersemangat untuk itu dan bersemangat untuk melihat apa yang akan terjadi selanjutnya.
Dan sementara itu saya menemukan kertas yang sangat keren untuk Anda lihat saat ini.
Ini kertas yang sangat diterapkan.
Jadi yang ini sebenarnya sangat menarik untuk dibaca.
Ini disebut survei aplikasi Mark proses keputusan proses dan ditulis oleh kulit putih pada
tahun 1993.
Ada tautannya dan saya akan tunjukkan contoh di mana proses keputusan Markov sebenarnya digunakan
untuk memodelkan kehidupan nyata Sinatras.
Saya terkesan dengan beberapa contoh panen penduduk misalnya.
Jadi katakanlah Anda memiliki beberapa ikan dan Anda tahu berapa populasi ikan yang Anda butuhkan untuk memutuskan
berapa banyak ikan yang bisa kita ikan tahun ini dan apa.
Jadi itulah kondisi Anda saat ini.
Itulah tindakan yang Anda ambil. Berapa banyak yang bisa kami tembak tahun ini.
Jadi, apa masalahnya apa hasil yang mungkin dari itu.
Berapa banyak ikan yang akan kita miliki tahun depan.
Berapa banyak ikan yang akan kita dapatkan setelah tahun dan tahun sesudahnya dan seterusnya.
Dan itu tidak deterministik karena tidak seperti jika Anda mengambilnya pada satu jam dan 90 persen dari
populasi tahun depan Anda akan memiliki Anda tahu kembali ke 100 persen tidak persis khotbah.
Ada beberapa faktor acak yang terlibat yang berada di luar kendali kami dan oleh karena itu kami
harus memahami apa yang akan terjadi, kami harus memodelkan apa yang akan terjadi
di situlah keputusan pasar memproses pertanian.
Ada contoh seperti panen panen, berapa banyak panen yang kita panen, berapa banyak uang yang
tidak kita panen.
Satu lagi yang saya lihat di bidang keuangan dan investasi seperti perusahaan asuransi perlu memutuskan berapa banyak dana
yang akan diinvestasikan dalam setiap hari atau tahun yang saya pikirkan atau periode waktu tertentu dan ada faktor-faktor
tertentu dari kendalinya.
Misalnya Anda tahu pergerakan pasar itu tidak tahu apa yang bisa terjadi sehingga perlu benar-benar
memodelkan itu.
Tanda proses keputusan yang digunakan untuk itu.
Jadi di sini Anda dapat melihat banyak sekali contoh.
Dan ini adalah jumlah contoh yang saya pikir untuk masing-masing.
Jadi, Anda tahu contoh olahraga untuk olahraga dan epidemi serta inspeksi dan pemeliharaan klaim asuransi kendaraan
dan perbaikannya juga sangat menarik.
Lihatlah itu.
Hanya untuk memberi Anda pemahaman tentang hei ini bukan hanya semua hal-hal hipotetis yang dibuat semacam
itu.
Ini sebenarnya adalah skenario dunia nyata sehingga saya akan memberi Anda pemahaman yang lebih
baik dan ini adalah apa yang kami bicarakan dalam video promosi untuk skor yang atau deskripsi dari
kursus yang akan menginspirasi Anda dan intuisi Anda untuk memberi Anda ide untuk cara menggunakan AI dalam kehidupan nyata.
Ini adalah kesempatanmu.
Lihatlah makalah ini untuk mengerti.
OK jadi kita akan berurusan dengan tanda proses pengambilan keputusan ke depan.
Itu benar-benar keren seperti apa mereka dalam kehidupan nyata dan ini mungkin bisa memicu beberapa ide
untuk Anda bagaimana Anda bisa menerapkannya di masa depan untuk membuat dunia menjadi tempat yang lebih baik dan kami akan sangat senang tentang
itu.
Kami akan senang jika Anda dapat menggunakan apa yang Anda pelajari dalam kursus ini untuk membuat dunia menjadi tempat yang lebih baik.
Betapa fantastisnya itu.
Jadi pada catatan itu saya harap Anda menikmati tutorial hari ini.
Saya menantikan Anda nanti.
Dan sampai saat itu nikmati AI.