Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Sebelumnya kami memiliki tutorial yang cukup berat dan panjang tentang proses keputusan Margrove dan mudah-mudahan
Anda bisa melakukannya.
Dan semoga saya bisa menjelaskan banyak hal dengan cara yang mudah didekati dan menarik.
Dan hari ini kita akan berbicara tentang kebijakan versus rencana.
Akan ada tutorial cepat dan menyenangkan karena sekarang kita memasuki dunia baru, kita memasuki
dunia pencarian stokastik pencarian nondeterministik ketika Anda tidak melewati labirin tetapi juga memperhitungkan faktor acak yang mungkin baru
saja mencapai Anda di kepala ketika Anda akan melalui labirin ini dan
Anda harus siap untuk itu.
Itu dunia.
Agen kami hidup dan lebih menyenangkan tetapi juga lebih berbahaya, lebih tidak dapat diprediksi.
Jadi bagaimana agen kami akan berperilaku.
Mari kita lihat.
Ada tanda kerangka proses keputusan kami yang sekali lagi kami mendukung persamaan Belman.
Namun, versi yang lebih maju dari persamaan Belman yang sedang kami kerjakan.
Jadi mulai sekarang kita hanya akan menyebutnya persamaan Beldon.
Dan di sini kita punya tindakan maksimal dan Crucell kami sehingga nilai status negara apa pun adalah maksimum di
semua tindakan yang mungkin dilakukan agen dalam keadaan itu.
Dan pepatah diambil dari hadiah yang akan didapat agen dengan melakukan tindakan Instate sebagai Plus faktor
diskon dikalikan dengan nilai yang diharapkan dari negara baru itu akan masuk
Dan saya berharap mereka yang dibawa ke sini karena mereka tidak tahu persis apa yang akhirnya terjadi.
Mereka adalah beberapa efek acak yang ada di lingkungan yang dapat mengubah keadaan dan tidak mungkin tidak berakhir di
keadaan yang diinginkan.
Itu mungkin berakhir dalam keadaan yang berbeda.
Itu sebabnya kami mengambil nilai yang diharapkan di sini di suatu tempat di sini.
Jadi mari kita lihat ini sebagai contoh kita atau dalam contoh labirin kita.
Jadi ini adalah apa yang kami miliki sebelumnya sehingga sebelumnya kami berurusan dengan pencarian deterministik langsung.
Jadi kami tahu itu.
Baiklah, jadi jika saya di sini saya pasti harus pergi ke sini jika saya di sini.
Saya pasti harus pergi ke sini jika saya di sini.
Jadi itu semua sangat mudah.
Setelah Anda memiliki peta ini dan ingat menyebutnya, kami menyebutnya rencana.
Setelah Anda memiliki rencana itu cukup mudah untuk dilakukan.
Ada.
Jadi itu rencananya dengan panah.
Dan dari sini sangat mudah kami ini adalah rute yang akan mereka ambil setiap kali Anda mulai
pada garis biru ini.
Itu persis seperti yang Anda inginkan.
Namun sekarang kami tidak punya rencana lagi.
Kami tidak dapat memiliki rencana karena Anda tahu apa pun yang kami rencanakan mungkin tidak terjadi, itu tidak terkendali atau rencana adalah ketika
Anda tahu persis apa yang perlu Anda lakukan selanjutnya.
Anda tahu langkah-langkahnya.
Jadi Anda memiliki Anda memiliki titik awal Anda memiliki tujuan dan Anda tahu setiap langkah sehingga Anda dapat merencanakan mereka seperti Anda akan
saya lakukan ini saya akan melakukan ini saya akan melakukan ini seperti dalam hidup seperti rencana .
Tetapi pada saat yang sama sekarang ada begitu banyak keacakan yang terjadi.
Anda dapat memiliki rencana karena bagaimana jika Anda sampai di sini dan kemudian Anda mengklik ke kanan dan benar-benar menjatuhkan
Anda.
Jadi itu bukan bagian dari rencana Anda.
Jadi itu sebabnya lebih banyak disebut perencanaan.
Dan di sini kita akan menghitung nilai sebenarnya hanya akan melihat nilai yang
dihitung untuk masalah yang sama ini.
Tetapi berdasarkan itu mengingat bahwa kita memiliki keacakan ini di dalam.
Jadi ini adalah nilai-nilai baru.
Dan mengapa nilai-nilai ini berbeda jadi mari kita bandingkan dengan apa yang kita miliki sebelumnya.
Inilah yang kami miliki sebelumnya.
Ini adalah kamu.
Jadi sekali lagi kami sebelumnya karena dia menang 3. 9 persen.
Dia benar-benar 366.
Dan inilah yang kita miliki sekarang yang kurang dari satu kali berlaku dan 1 6 3.
Dan omong-omong ini bukan demonstrasi saat ini dari atas kepala saya tetapi jika kita menjalankan agen beberapa nilai
akan menjadi sesuatu yang mirip dengan ini dan nilai-nilai bisa berubah karena tergantung
pada pertaruhan yang akan memilih 3. 9 atau nilai lain tetapi meskipun demi argumen
inilah nilai-nilai yang kita hadapi sekarang dan mereka perkiraan mereka menyampaikan seluruh gagasan dengan cara yang benar
jadi mari kita melihatnya.
Mengapa mereka berubah?
Nah mengapa ada di sini dengan ini di sini nilainya adalah satu.
Kenapa tiba-tiba 0. 26 Mengapa kurang dari satu.
Pergi saja dari sini ke sini.
Ya, kita benar-benar dipanggil karena dari sini jika kita ke kanan yang mana niat
kita jika kita ke kanan, kita bisa.
Jadi kami menabrak tembok dan akan kembali ke keadaan ini.
Dan ingat kita memiliki Gamla Jadi nilainya akan didiskon dan atau kita mati atau mati pada 10 dan kesempatan akan berakhir
di sini dalam keadaan ini.
Jadi bukan 100 persen kemungkinan saya akan sampai di sini jadi karena itu tidak menghargai tidak lagi menjadi
sesuatu yang kurang dan 0 26.
Jadi itulah contoh mengapa seperti ini.
Dan Anda bisa mendapatkan nilai yang tepat jika Anda menghitung persamaan Belman secara lengkap tetapi pertanyaan saya yang kita
miliki sekarang.
Satu-satunya masalah adalah bahwa akan ada beberapa rekursi karena Anda perlu mengetahui nilai untuk ini
dan kemudian Anda perlu mengetahui nilai untuk ini yang cukup kompleks dan itulah mengapa kami tidak
melakukan perhitungan secara manual di sini.
Itu sebabnya saya bisa melakukannya saat melewati semua ini. Sepertinya tidak ada yang terlalu rumit
untuk.
Anda tidak dapat memainkan hal-hal ini.
Jadi itulah nilai kami di sini.
Tapi ini berbeda.
Jadi di sini hanya menjadi 0. 9 hanya karena faktor diskon ingat dari sini ke sini lagi
sekarang dari sini kita perguruan tinggi melompat dari sini ke sini hanya karena bahkan jika kita melompat jika kita pergi seperti ini kita mungkin berakhir
kembali ke sini kembali ke sini.
Benar peluang 20 persen ini yang masih akan tetap ada di alun-alun karena kita akan menabrak tembok.
Dan lagi dan seterusnya.
Jadi nilai berada di sini adalah nol koma tujuh puluh satu.
Sekali lagi ini dan faktor diskon.
Anda tahu ini mungkin terlihat aneh bagi Anda bahwa ini bahkan dengan diskon dalam faktor ini terlalu tinggi.
Mungkin faktor diskon dalam contoh ini bukan 0. 9 mungkin tujuh koma sembilan puluh sembilan atau sesuatu
yang jadi jangan khawatir tentang itu.
Semacam fokus seperti itu.
Nilai-nilainya memang telah berubah sehingga nilainya sekarang berkurang.
Sebagian besar karena itu bukan probabilitas seratus persen untuk mencapai keadaan yang ingin Anda dapatkan dan apa yang
akan Anda temukan.
Yang menarik di sini bahwa di sini hanya menjadi 0. 9 sebenarnya telah jatuh sangat banyak telah menurun secara substansial.
Mengapa demikian.
Nah, karena jika Anda pergi dari sini ke atas yang merupakan niat kami, ada peluang
10 persen untuk menabrak tembok, tetapi ada peluang 10 persen untuk benar-benar berakhir di firepit dan kehilangan minus satu untuk
hadiah dan pada dasarnya itu berarti bagi agen itulah akhirnya dari game.
Dan ini adalah kondisi yang sangat buruk.
Jadi tiba-tiba ingat kami memiliki nol koma sembilan tahun dan mereka setara.
Tidak masalah Anda mendengar di sini mereka cukup sama dalam hal nilai berada di masing-masing negara.
Tapi sekarang tiba-tiba bam, kencan ini hampir dua kali lebih baik dari kencan ini hanya karena di sini jika Anda langsung menuju ke sana,
Anda langsung menuju ke tempat yang ingin Anda tuju.
Anda tahu konsekuensi dari keacakan yang terjadi adalah Anda hanya tinggal di sini.
Di sini salah satu konsekuensinya peluang 10 persen adalah Anda berakhir di lubang.
Jadi seperti yang Anda lihat ini bukan lagi keadaan yang baik lagi hanya karena sesuatu yang berfluktuasi
yang bisa terjadi.
Seperti yang Anda lihat, ini juga sangat buruk karena ini sama buruknya dengan yang Anda tahu hanya 10 persen
kemungkinan berakhir di lubang dan 10 persen kemungkinan berakhir di dinding.
Tetapi pada saat yang sama ada faktor diskon Jadi pertama-tama faktor diskon dan juga setelah ini
Anda harus pergi ke sini.
Dan bahkan jika Anda secara hipotesis pergi ke sini Anda bisa berakhir di lubang lagi.
Sehingga peluang itu juga akan diperhitungkan karena mengingat nilai-nilai ini berasal dari nilai
ini dan nilai ini berasal dari nilai ini.
Kanan.
Dan karena itu kecil tapi kenyataannya sebenarnya apa yang saya katakan salah.
Nilai ini tidak berasal dari The Fed.
Jadi jika Anda hanya melihat sekarang, Anda akan melihat bahwa nilai ini di sini sebenarnya lebih besar dari
ini
Anda akan memperhatikan bahwa bagi agen lebih baik pergi sejauh ini daripada cara ini dan itu masuk akal.
Karena cara ini tidak hilang, tidak ada peluang untuk masuk ke dalam lubang.
Ya sedikit lebih lama dan karena itu faktor diskon memiliki efek yang lebih besar.
Tetapi pada saat yang sama hanya karena ada kemungkinan masuk ke dalam lubang di sini jika lurus
maka akan ada peluang untuk melompat.
Jadi itu akan membutuhkan waktu untuk mengambil waktu dan hanya berkeliling karena dengan cara itu ada kesempatan yang jauh
lebih kecil untuk mendapatkannya.
Jadi dari sini pergi ke sana dari sini ke sana.
Ini berpotensi masuk ke dalam lubang karena bisa berakhir di sana dan itu bisa berakhir di tagihan.
Namun demikian itu adalah kesempatan yang lebih rendah sehingga hanya akan berjalan seperti itu.
Sangat menarik untuk melihat bagaimana semuanya berubah mengingat sebelumnya Anda dari sini Anda akan pergi seperti itu.
Dari sini Anda akan pergi seperti itu dan dari sini kita pergi seperti itu.
Dan sekarang tiba-tiba Anda bisa melihat perubahannya.
Mari kita putar panah dan lihat seperti apa sekarang dan voila.
Anda bahkan melihat hal yang lebih acak benar.
Jadi ya ini benar.
Tetapi lihat apa yang terjadi di sini.
Lihat lah ini.
Apakah Anda mengharapkan itu?
Itu sesuatu yang pasti saya sukai ketika saya melihat ini pertama kali saya sangat terkesan.
Saya bukan super, saya tidak terkejut dan saya tidak mengharapkan ini sama sekali.
Dan ini adalah contoh dari Anda yang tahu kapan saya bisa mengakali manusia.
Kedengarannya seperti sesuatu yang Anda tangkap bahkan Anda dapat memprediksi tetapi saya melalui penegakan belajar ingat bahwa contoh
anjing kadang-kadang dapat bekerja lebih baik daripada kehidupan nyata yang normal.
Anjing adalah robot yang diprogram sebelumnya, anjing dapat bermain sepak bola hanya karena mereka datang dengan ide-ide ini yang bahkan tidak dapat
kita lihat.
Dan sebagai contoh yang bagus Anda mungkin tidak mengharapkan itu juga bahwa orang
Asia bukannya naik seperti mengapa saya.
Seperti jika saya naik maka ada peluang 10 persen saya akan melompat ke dalam lubang.
Tapi apa yang dicapai dengan berperang.
Nah 80 persen dari waktu akan bertemu kembali dan tetap di negara bagian.
Tetapi 10 persen dari waktu akan pergi ke sini dan 10 persen dari waktu saya akan pergi ke sini.
Jadi tiba-tiba Anda dapat melihat bahwa sekarang ini sebenarnya dalam pendekatan baru untuk melompat ke dinding.
Ada kemungkinan nol persen itu akan masuk ke dalam api tetapi dari tempat ini begitu.
Dan itu seperti itu benar-benar tidak ingin pergi ke lubang api sehingga membius bon
ke dinding beberapa kali dan kemudian akan pergi ke kanan atau kiri di beberapa titik karena keacakan akan terjadi.
Dan jadi itu belajar bahwa melalui eksperimen itu belajar bahwa OK ketika saya maju hasilnya tidak sebagus ketika
saya pergi ke dinding.
Dan jika Anda memikirkannya, ini seperti ini.
Robot ini kalau dipikir-pikir ini adalah firepit adalah sangat ini adalah ini seperti kotak seperti langkan
yang sangat kecil dan kemudian ini seperti gunung seperti tebing.
Dan robot ini hanya memeluk tebing dan seperti mencoba menunggu sampai suka mendorong ke kanan atau kiri karena sebagai manusia
Anda mungkin melakukan hal yang sama Anda tidak akan berdiri menghadap ke arah itu atau
Anda akan memeluk tebing dengan benar.
Atau semacam itu.
Dan mudah-mudahan Anda tahu kita harus berakhir tidak pernah berakhir dalam situasi seperti itu.
Tapi suka secara visual hanya secara visual jika Anda memikirkan sesuatu di sini.
Jadi itu sangat intens.
Sehingga AI datang dengan ide ini dan sama di sini yaitu semacam pergi ke kiri dan Riskin berkelahi tapi saya hanya akan mencoba
bola dari dinding seperti Anda tahu pelukan dinding mencoba untuk melompat ke dinding dan di beberapa titik saya
tahu bahwa Anda tahu hanya ada kemungkinan adalah peluang 10 persen setiap kali saya melakukan itu saya akan pergi ke sini dan
sesuatu akan terjadi dan saya akan berakhir di sini dan saya akan aman dan
kemudian saya hanya akan terus seperti itu.
Jadi pendekatan yang sangat menarik yang mereka ambil di sini dan Anda dapat melihat rute seperti ini sehingga dari sini mungkin ke kanan
dan kemudian akan langsung ke pintu keluar atau di sini atau ke kiri seperti itu.
Dan di sini kita akan pada titik tertentu Anda akan ke kiri dan pergi seperti itu lagi.
Ini penting.
Saya bukan kebijakan jadi bahkan ketika melompat dari sini akan pergi ke sini.
Mungkin Dan kemudian dari sini mungkin benar-benar hujan.
Mungkin sebenarnya kembali ke kanan dan kemudian dari sini dan saya akan membiarkan saya melakukannya dengan benar.
Jadi ada banyak opsi berbeda untuk itu kawan-kawan yang mungkin tidak mengikuti persis penjual besi ini
sebaliknya.
Ini hanya rute yang diinginkan yang dirancang untuk dirinya sendiri.
Tetapi cara itu akan berhasil sebenarnya bisa berbeda.
Itu tergantung pada dunia nyata.
Jadi begitulah.
Itulah dunia kecerdasan buatan.
Itulah kebijakan versus rencana dan semoga Anda perlahan-lahan menjadi bersemangat dengan apa yang dapat dilakukan
AI terutama mengingat apa yang kami lihat di sini.
Ini adalah beberapa jenis keputusan yang sangat luar biasa yang dihasilkan oleh AI.
Dan seperti yang Anda lihat ketika Anda bermain AI bahkan dari contoh kecil ini, Anda dapat
melihat bahwa bahkan ketika Anda bermain di dunia nyata mungkin Anda akan menemukan ide dan keputusan yang bahkan kadang-kadang dapat muncul oleh manusia.
Dan itu persis seperti apa yang terjadi dalam game-game itu di mana gol
Google Alpha bermain melawan juara idola Lisa di Korea saat kembali menjadi juara dunia go.
Dan mereka bermain bakla di Korea pada tahun 2016 saya pikir adalah Maret 2016.
Itu muncul dengan beberapa gerakan yang belum pernah dimainkan manusia dalam 3000 tahun atau manusia tidak terbiasa bermain.
Dan ini adalah contoh persisnya.
Jadi sekali lagi berharap Anda menjadi bersemangat dan bersemangat tentang wacana dan tentang apa yang bisa kami integrasikan.
Dan saya mencarinya.
Sampai jumpa lagi.
Sampai kemudian menikmati.
SAYA.