Halo dan selamat datang kembali ke kursus tentang kecerdasan buatan.
Saya harap Anda menikmati kursus sejauh ini.
Dan hari ini kita berbicara tentang tindakan kebijakan seleksi.
Baiklah mari kita langsung ke dalamnya.
Sebelumnya kami berbicara tentang menambahkan jaringan saraf ke pembelajaran sederhana kami dan sejauh
ini kami mendapatkan pembelajaran yang mendalam.
Kami sudah berbicara sedikit tentang bagian pembelajaran termasuk menambahkan beberapa elemen ke dalamnya.
Dan hari ini kita berbicara tentang bagian ini kita berbicara tentang akting.
Jadi mari kita lihat.
Jadi di sini kita sudah mendapatkan apa yang kita bahas tentang akting bahwa setelah Anda memasukkan nilai-nilai parameter
adalah vektor yang menggambarkan agen negara jelas di lingkungan itu maka setelah semua pembelajaran dilakukan atau
bahkan sebelum pembelajaran dilakukan.
Pada dasarnya kita mendapatkan semua nilai q jadi kita tidak tertarik dengan pembelajaran saat ini, kita
bersikeras untuk bertindak jadi setelah kita memiliki nilai-nilai kunci ini bagaimana kita memahami yang mana yang perlu kita gunakan.
Nah kalau dipikir-pikir.
Nilai Q hanyalah prediksi untuk kubus.
Jadi seperti yang kami lakukan dalam algoritma pembelajaran sederhana apa yang kami lakukan, kami hanya memilih satu dengan yang terbaik
dari nilai tertinggi.
Setelah kita memiliki yang dengan nilai IQ tertinggi, kita hanya mengambil tindakan itu karena itu hanya membawa
kita nilai tertinggi dan bahwa kita tahu bahwa hadiah langsung kalkulator Duval yang kita harapkan untuk menerima
Plus, faktor DK kali nilai dari tanggal berikutnya.
Dan ini adalah perhitungan rekursif jadi mengapa tidak mengapa Anda tidak mengambil nilai terbaik dan
itulah akhirnya.
Tapi seperti yang Anda lihat di sini, ini tidak sesederhana di sini kami menggunakan fungsi soft max dan
di sinilah kita akan berbicara tentang kebijakan pemilihan aktual.
Jadi di sini dalam kenyataannya kita tidak harus hanya memiliki fungsi perangkat lunak.
Kita dapat memiliki kebijakan pemilihan tindakan yang berbeda misalnya kita punya Epsilon rakus Epsilon lunak dan kita punya soft
Macs dan itu semacam kebijakan pemilihan tindakan yang paling umum digunakan tentu saja
ada yang lain.
Misalnya yang paling mendasar adalah aksi sosial yang sangat sederhana. Pilih saja yang terbaik.
Yang dengan nilai Q tertinggi.
Tapi mengapa itu tidak terjadi, dan mengapa kita memiliki berbagai jenis kebijakan pemilihan
tindakan.
Yah itu semua bermuara pada eksplorasi versus eksploitasi.
Dan itu adalah inti dari pembelajaran penguatan karena kita sudah membicarakan ini sedikit bahwa agen Anda ketika
itu beroperasi di lingkungan itu mungkin memprediksi nilai antrian tertentu yang mungkin
baik dan mungkin ternyata hebat itu mungkin ternyata itu tersedia dan akan dipaksa untuk menjelajah.
Jadi jika kita misalnya dalam hal ini memprediksi bahwa Q2 adalah yang terbaik dan kemudian dibutuhkan Q Untuk mengambil
tindakan untuk itu dan itu.
Jadi dari sini ke Bagian 2 dan kemudian mendapat imbalan yang sangat negatif.
Kemudian lingkungan memaksa agen untuk pergi dan meledak karena sekarang dia akan belajar bahwa
oh sebenarnya saya pikir Q2 akan sangat baik tetapi ternyata sangat buruk.
Jadi hasilnya tidak terlalu buruk.
Jadi jaringan bisa memperbarui sendiri jadi lain kali dia dalam keadaan dia mungkin akan memakan jiwaku
hanya sampai ke sana.
Anda tahu jika itu sangat sangat menguntungkan sehingga Anda mungkin berpikir bahwa seperti Anda
tahu Anda mungkin perlu beberapa kali beberapa hukuman atau hukuman untuk mempelajarinya adalah tentang tindakan.
Tapi mungkin dia sudah akan segera belajar bahwa saya akan mengambil tindakan yang berbeda dan mengambil tindakan pergelangan
tangan karena sekarang ia memiliki nilai terbaik.
Jadi kadang-kadang lingkungan memaksa agen untuk mengambil yang berbeda untuk mengeksplorasi tindakan yang berbeda, tetapi kadang-kadang agen
mungkin akan menemukan dirinya terjebak dalam maksimum lokal. Mungkin menemukan bahwa ia mengikuti melalui eksplorasi awal dan menemukan bahwa
oh ini adalah tindakan yang cukup keren Saya akan pergi ke sini.
Dan koleksi d'esprit itu.
Tetapi masalahnya adalah itu dianggap tindakan terbaik hanya karena belum dieksplorasi dieksplorasi naik hidungnya atau
ke kiri mengeksplorasi mengeksplorasi kanan tetapi itu belum dieksplorasi turun dari keadaan tertentu bahwa itu dalam dan
sekarang jenis suka bias terhadap tindakan ini dan berpikir berpikir tindakan yang baik akan
terus mengambilnya akan terus mendapatkan.
Dia akan terus menerima sebenarnya akan terus mendapatkan hadiah yang bagus.
Tetapi bagaimana jika tindakan ini akan menjadi lebih baik jika tindakan ini akan menjadi jauh lebih baik sehingga jika tahu tentang
tindakan ini sebenarnya akan beralih ke tindakan ini tetapi karena tersangkut dalam batas maksimum lokal
adalah mendapatkan hadiah yang bagus ini hanya akan terjadi untuk diperkuat.
Ini akan terus memperkuat itu sendiri atau kekerasan akan memperkuatnya bahwa ini adalah tindakan yang
baik untuk terus melakukan itu.
Tetapi kenyataannya adalah bahwa ada tindakan lain yang belum ditemukan atau bahkan belum dieksplorasi.
Itu akan jauh lebih baik.
Jadi yang ingin kami lakukan adalah kami ingin membuat kebijakan seleksi aktual yang memungkinkan agen kami tidak
terjebak dalam maksimum lokal.
Ya, penting bagi Anda untuk tetap melakukan tindakan baik yang merupakan bagian eksploitasi.
Kami tidak akan mengeksploitasi apa yang kami temukan.
Tetapi pada saat yang sama kami masih ingin mengeksplorasi, kami tidak pernah ingin berhenti mengeksplorasi seperti dalam hidup Anda tidak
pernah ingin berhenti belajar Anda berhenti belajar Anda mati.
Itulah hal-hal seperti itu bahwa ketika Anda tidak tumbuh Anda sedang sekarat atau sesuatu jadi Anda ingin terus
belajar dan agen Anda ingin terus belajar.
Dan di situlah kebijakan pemilihan tindakan ini masuk.
Jadi kami punya tiga Anda terdaftar di sini jadi yang pertama adalah Epsilon serakah itu yang
sangat sederhana kedengarannya cukup kompleks dalam arti seperti itu punya nama keren dan biasanya hal-hal dengan nama bedah.
Sebenarnya tidak.
Jadi pada dasarnya yang dilakukannya adalah memilih yang dengan nilai Q terbaik dan epsilon seperti Epsilon, Anda
mungkin mendengar tempat lain seperti kebijakan pemilihan.
Jadi, dalam hal ini kami menggunakannya untuk menyelinap sehingga nilai Al-Q kami keluar dengan penjualan seperti yang
dengan nilai Q tertinggi sepanjang waktu kecuali untuk Epsilon persen sepanjang waktu.
Jadi misalnya jika Anda menetapkan epsilon menjadi 10 persen maka Anda akan ke atau 0. 1 dari 10 persen waktu tindakan
akan dipilih secara acak.
Jadi 90 persen dari waktu Anda masih akan memilih tindakan terbaik berdasarkan nilai tertinggi.
Tetapi 10 persen dari waktu akan memilih tindakan acak.
Seragam itu akan benar-benar mengambil tindakan secara acak atau jika Anda mengatakan
epsilon ke nol koma lima untuk 0. 05 itu berarti bahwa 95 persen dari waktu agen akan mengambil tindakan dengan
nilai tertinggi.
Tapi 5 persen dari waktu itu masih akan memilih dan tindakan acak.
Jadi itu akan pergi ke sana dan menjelajahi.
Jadi lunak Epsilon sangat mirip dengan cara yang tidak seperti mengapa disebut
FCL serakah karena dengan begitu Anda dengan rakus memilih tindakan tindakan yang baik kecuali untuk episode kecil itu.
Beberapa waktu.
Jadi semakin rendah kesepakatan EPS, mereka akan menurunkan Epsilon Lepp semakin mudah Anda memilih jenis tindakan
yang merupakan tindakan optimal dan semakin sedikit Anda meninggalkan semakin sedikit peluang Anda pergi untuk eksplorasi
Epsilon lunak adalah sebaliknya.
Jadi pada dasarnya Anda memilih secara acak Anda memilih satu minus Epsilon persen dari waktu.
Jadi jika Anda epsilons suka 0. 1 hingga 10 persen lalu hanya 10 persen dari waktu Anda melakukan tindakan ini.
Dan 90 persen dari waktu Anda memilih tindakan acak.
Jadi sangat sederhana sekali hanya algoritma terbalik dan Max lunak semacam seperti langkah berikutnya atau itu adalah versi yang lebih
maju saya akan mengatakan lebih dari epsilon dari algoritma serakah epsilon meskipun mereka berdua memiliki
kelebihan dan mereka berdua memiliki tempat.
Kita akan menggunakan keuangan sendiri dalam pengkodean kita dalam hal-hal praktis kita.
Jadi itulah yang akan kita bicarakan sedikit lebih detail tentang soft max.
Jadi mari kita lihat.
Jadi mari kita beralih ke harapan Anda berikutnya.
Cukup jelas tentang Ebsen yang setuju bahwa ini adalah algoritma yang cukup mudah.
Pilih yang ini.
Sebagian besar waktu kecuali kadang-kadang pergi dan menjelajah.
Dan sekarang kita juga melihat mengapa penting untuk melakukan eksplorasi itu agar kita tidak mencapai maksimum lokal dalam
proses optimisasi kami, jadi sekarang kita akan berbicara sedikit lebih banyak tentang Mac lunak.
Ada tutorial tentang tanda lunak di akhir kursus.
Saya pikir ini adalah lampiran nomor dua di mana kita berbicara tentang konsep Maxim karena Anda menyegarkan sedikit di
sini sehingga kita berbicara tentang jaringan saraf dan omong-omong kita semua akan membahas
konvolusional.
Kami tidak membahas jaringan saraf evolusi di bagian ini.
Tentu saja di bagian ini kami masih menggunakan vektor.
Tetapi di bagian selanjutnya dari kursus ketika kita sedang membuat AI untuk bermain Doom kita akan menggunakan
jaringan saraf convolutional sehingga bisa bermanfaat bagi Anda untuk melihat dalam jaringan saraf relasional
dan kemudian mengambil self max berfungsi atau Anda bisa belajar lebih banyak tentang soft Max.
Setelah Anda mengambil jaringan saraf convolutional dan tentu saja nanti.
Tapi ini penyegaran cepat Jadi di sini kita punya jaringan saraf convolutional kami yang memutuskan apakah itu anjing
atau kucing.
Jadi di sini kita punya proses pemungutan suara antara neuron-neuron ini dan yang ini mengatakan
bahwa ini adalah fitur yang Anda tahu telinga yang lembut Apa jenis wajah runcing dan jenis fitur adalah
jenis mata dengan mata Mata melihat semua fitur ini milik anjing.
Jadi, kemungkinannya 95 persen untuk seekor anjing dan 5 persen peluang untuk kucing.
Tetapi pertanyaannya adalah bagaimana kita masuk ke dalam Tauriel yang sedang kita bicarakan tentang bagaimana kita mendapatkan nilai-nilai
ini untuk menambahkannya.
Baik apa pun konvolusional seluruh jaringan saraf kita adalah jaringan saraf convolutional ditambah Lares yang terhubung sepenuhnya apa
pun itu buruk apa pun nilai-nilai yang kita terapkan pada fungsi soft max ada di
sini.
Di sinilah kami memperkenalkan formula untuk fungsi soft berikutnya.
Seperti apa bentuknya.
Dan kemudian kami mendapat nilai-nilai ini.
Dan pada dasarnya itu adalah penyegaran cepat.
Ini adalah formula untuk Max lunak.
Apa yang dilakukannya adalah dibutuhkan tetapi banyak output yang Anda miliki tidak masalah.
Itu akan membawa mereka dan itu akan meremas mereka semua ke dalam nilai antara 0 dan 1 terlepas dari seberapa besar mereka hanya
untuk saya, Anda dapat melihat bahwa ada jumlah total di bagian bawah sehingga perangkat ini akan menjadi
nol dan masuk
Dan juga semua nilai ini akan bertambah menjadi satu selalu.
Dan itulah yang sangat bermanfaat bagi kami karena ketika kami menggunakan fungsi soft max yang terjadi adalah kami
mendapatkan nilai-nilai ini, kami memilih nilai tampilan terbaik ini.
Namun pada kenyataannya yang terjadi adalah nilai-nilai yang kita dapatkan ini ada angka sebenarnya yang benar.
Jadi ini semacam angka.
Semuanya tidak harus berjumlah satu dan tidak harus antara 0 dan 1.
Hanya beberapa angka.
Tetapi ketika kita menerapkan soft Max kita tidak hanya memilih yang terbaik, kita benar-benar mendapatkan angka seperti
itu sehingga kita mendapatkan angka kita di kisaran antara 0 dan 1 dan itu juga yang menambahkan hingga 1.
Dan hal lain apa yang kita ketahui yang menambahkan hingga satu.
Nah probabilitas kita tahu bahwa probabilitas selalu harus menambahkan hingga 1 jadi itu sebabnya kita bisa mengatakan di sini
kita punya nilai q tapi tiba-tiba di sini kita punya lunak atau kita punya probabilitas.
Jadi kita dapat mengatakan bahwa kemungkinan ini menjadi tindakan terbaik adalah 90 persen.
Bagian lesbian ini 5 persen 2 persen 3 persen karena kami tahu semakin tinggi nilainya, semakin baik
aksinya.
Jadi jika kita menekannya menjadi 0 hingga 1 maka ini menjadi kemungkinan dan kita bisa mengatasinya.
Dan oleh karena itu sekarang adalah saat tindakan dipilih dan itulah bagaimana kami menghasilkan Q2.
Tetapi jika Anda melihatnya dengan seksama, ini bukan 100 persen ketat dan ini bukan Saroo 0 persen.
Jadi ini 5 persen hingga 3 persen.
Jadi cara paling alami untuk menerapkan Max lunak untuk menjaga eksplorasi dalam algoritma adalah dengan menggunakan probabilitas yang tepat
ini sebagai seberapa sering kita akan mengambil tindakan itu.
Jadi probabilitas ini sebenarnya menyajikan distribusi tindakan yang kami ambil sehingga pada dasarnya lunak Max membuatnya
sangat mudah bagi kami untuk menemukan cara untuk menggabungkan eksploitasi dan eksplorasi.
Jadi tindakan terbaik yang terbaik akan selalu memiliki probabilitas tinggi karena memiliki nilai Q tertinggi dan oleh karena itu
di sini kita hanya akan menggunakan ini sebagai distribusi kita atau kita akan mengatakan
oke kita akan mengambil Q2 90 persen dari waktu tetapi 5 persen dari waktu kita masih akan mengambil
Q1 dan 2 persen dari waktu kita sampai 3 dan 3 persen dari waktu kita akan mengambil Q4.
Dan keindahan di sini adalah juga bahwa seiring dengan bertambahnya nilai-nilai ini dan
seiring agen melewati jaringan semakin lama semakin menjadi akrab dengan lingkungan dan oleh karena itu pembaruan ini sehingga nilai
ini misalnya menjadi seperti mungkin dapat memastikan nilai ini sebenarnya kurang atau ini sebenarnya
lebih tinggi dan probabilitas ini juga akan berubah saat agen melewati.
Jadi meskipun di sini kita punya Choo-Choo.
Tidak ada yang mengatakan bahwa kadang-kadang 5 persen dari waktu menjadi lebih tepat kita akan memilih Q1 sebagai
tindakan untuk diambil dan kadang-kadang atau tindakan satu akan mengambil tindakan satu.
Terkadang akan mengambil tindakan melalui dua tindakan, tiga dua persen dari waktu dan tindakan untuk akan mengambil
sekitar 3 persen.
Jadi setiap tindakan memiliki peluang untuk dimainkan dalam proses ini selama kita memiliki cukup iterasi,
agen melewati banyak dan berkali-kali melalui kondisi ini.
Dan begitulah cara kerjanya, itulah jenis algoritma pembelajaran mendalam yang ingin Anda lakukan berkali-kali
sehingga Anda belajar dari pengalaman dan karena itu seperti yang Anda lihat di sini, ini adalah
transisi yang sangat alami.
Kami tidak hanya secara acak seperti algoritme kemarahan Epson dan tidak hanya secara acak memilih tindakan yang kami
pilih berdasarkan pada nilai maks lunak yang membuatnya menjadikannya seperti memiliki beberapa logika di belakangnya, bukan hanya tidak hanya 10
persen acak dari waktu kita memilih tindakan acak tetapi ada beberapa logika di balik
bagaimana kita melakukannya dan berdasarkan pada nilai-nilai kunci yang telah kita jelajahi.
Dan itulah kebijakan pemilihan tindakan yang akan kita gunakan dalam kursus ini.
Anda dipersilakan untuk pasti memeriksa bagian tindakan serakah Ebsen Polsce jika Anda suka, tetapi
kami akan didominasi menggunakan kebijakan bagian tindakan Max lembut dan saya punya bacaan yang menarik untuk
Anda.
Jadi ini disebut eksplorasi serakah Epsilon adaptif dalam pembelajaran penguatan berdasarkan perbedaan nilai
itu artikel 2010.
Dan itu menarik karena Mike Michel Saya tidak yakin bagaimana cara mengucapkan Michelle dan Miquel toxic memperkenalkan jenis
berbeda dari Algren dan algoritma serakah Epsilon yang disesuaikan dan disebut algoritma VDB VDB atau algoritma VDB serakah epsilon serakah
yang dapat Anda lihat di sini.
Dan dia benar-benar membandingkan membandingkan dengan Ebsen Max serakah dan lunak dan itu
adalah algoritma serakah mutlak yang pada dasarnya ide utama di baliknya adalah untuk menyesuaikan nilai epsilon tergantung pada keadaan agen
itu.
Jadi jika jika agen sangat yakin tentang keadaan di Epsilon maka harus lebih kecil sehingga mereka
harus kurang eksplorasi jika agen dijawab Epson harus lebih tinggi harus lebih eksplorasi.
Jadi ini adalah artikel 2010.
Saya tidak yakin apakah ini jika algoritma usulan baru ini digunakan secara luas atau diterima di komunitas atau
atau jika Times buatan memiliki semacam cara dari saran ini.
Namun demikian itu pasti akan membantu Anda memperkuat pengetahuan Anda tentang kebijakan pemilihan tindakan yang kami
bahas Epsom Ingredion soft Naxal membantu Anda tidak
memberi Anda kesempatan untuk memaksa situs Subha dan juga melihat ke arah mana orang-orang
berpikir ketika mereka ingin meningkatkan kecerdasan buatan jadi jika Anda berencana membuat algoritma yang sangat menarik yang mendorong
ujung kecerdasan buatan Elche dan mendorong amplop di ruang ini maka ini bisa menjadi
cara yang baik bagi Anda untuk melihat ke arah mana orang berpikir kadang-kadang ketika mereka mencoba untuk meningkatkan norma-norma kecerdasan
buatan atau norma-norma yang ada saat itu pada tahun 2010.
Jadi begitulah.
Semoga Anda menikmati tutorial hari ini tentang kebijakan pemilihan tindakan dan kami belajar
tentang abseil garam Epson serakah dan soft Mac dan sekarang Anda bahkan lebih siap untuk sisi praktisnya.
Dan pada catatan itu saya berharap melihat langkah Anda selanjutnya.
Dan sampai saat itu nikmati AI.