Halo dan selamat datang di tutorial Python ini.
Baiklah.
Dalam minyak ini kita akan membuat fungsi yang akan memilih tindakan yang tepat dan setiap waktu.
Jadi pada dasarnya kita akan mengimplementasikan bagian yang akan membuat mobil menjadi langkah yang tepat.
Dan setiap kali itu berbelok ke kiri lurus atau ke kanan untuk mencapai tujuan dan
untuk menghindari rintangan yang turun.
Jadi mari kita lakukan ini sekarang.
Kita akan mulai seperti biasanya dengan tuli untuk mendefinisikan suatu fungsi dan kemudian kita memberi
nama untuk fungsi kita yang akan kita sebut tindakan pilih daripada beberapa tanda kurung dan fungsi tindakan pilih ini akan mengambil
dua argumen.
Yang pertama adalah diri saat Anda tumbuh untuk merujuk pada objek dan argumen kedua yang menurut
Anda akan menjadi yang mana.
Yah, apa itu?
Jika Anda memikirkannya, tindakan yang kami pilih berasal dari output jaringan saraf karena output dari jaringan saraf
atau nilai q untuk masing-masing dari tiga tindakan yang mungkin dan oleh karena itu
tindakan yang kami mainkan tindakan yang akan menjadi output dari jaringan saraf tergantung pada keadaan input
dan keadaan input adalah argumen kedua yang kita butuhkan dengan fungsi tindakan pilih.
Itu karena kita benar-benar akan mengambil output dari jaringan saraf.
Dan tentu saja output dari jaringan saraf langsung tergantung pada input dari jaringan saraf.
Jadi itu akan menjadi argumen kami.
Dan sekarang kita dapat memberikannya nama apa pun yang sebenarnya kita sebut keadaan itu karena input dari jaringan
saraf adalah status masukan yang dikodekan oleh vektor lima dimensi menjadi tiga sinyal orientasi
dan minus orientasi.
Dan sekarang segalanya menjadi mudah.
Kita akan memasukkan status input ke jaringan saraf yang kita bangun tepat di atas sini
dengan kelas berikutnya dan kemudian kita akan mendapatkan output yang merupakan nilai kunci untuk masing-masing dari tiga tindakan
yang mungkin dan kemudian menggunakan metode soft Max yang akan saya jelaskan di
tutorial ini.
Kita akan mendapatkan aksi terakhir untuk dimainkan.
Jadi mari kita lakukan ini, mari kita masuk ke fungsi dan mari kita terapkan semua ini.
Jadi hal pertama yang perlu kita mulai adalah tentang apa yang baru saja saya sebutkan, Max. Ide soft
Max adalah bahwa kita akan mencoba untuk mendapatkan aksi terbaik untuk dimainkan setiap saat.
Tetapi pada saat yang sama kami akan mengeksplorasi tindakan yang berbeda.
Dan bagaimana kita melakukannya.
Bagaimana kita bisa mendapatkan aksi terbaik untuk dimainkan sambil tetap mengeksplorasi aksi lainnya.
Yah kami menggunakan ide barang yang terdiri dari menghasilkan distribusi probabilitas untuk masing-masing nilai
q.
Q Menyatakan tindakan.
Sekarang kita memiliki satu nilai Q untuk setiap tindakan ke kiri ke kanan atau ke kanan.
Tetapi nilai q ini juga tergantung pada kondisi input.
Itulah fungsi Q yang digunakan pada kuliah intuisi.
Fungsi Q ini adalah fungsi dari negara dan tindakan.
Jadi, karena di sini kita memiliki satu negara input yang merupakan negara di sini dan tiga
kemungkinan tindakan, kita memiliki tiga nilai baru Q. State action 1 Q state action 2 dan two
state action 3 dan kami akan menghasilkan distribusi probabilitas sehubungan dengan tiga nilai utama ini.
Artinya kita akan memiliki satu probabilitas untuk nilai Q pertama, salah satu probabilitas untuk
nilai Q kedua dan probabilitas ketiga untuk Q ketiga. Dan ketiga probabilitas tersebut akan berjumlah hingga 1.
Dan jadi kita akan melakukan semua ini dengan Max yang dihantam dan Max yang tertahan akan mengaitkan probabilitas besar dengan
Q tertinggi di sekitar.
Itu sebabnya alternatif untuk soft Max adalah RMX sederhana tanpa langsung mengambil nilai q maksimum tetapi dalam
kasus itu kami tidak mengeksplorasi tindakan lain.
Berkat probabilitas ini, kami dapat menjelajahi di tempat lain menggunakan parameter suhu yang akan kami lihat
dengan sangat cepat.
Kita masih bisa menjelajahinya dengan mengkonfigurasi parameter suhu ini.
Itu sebabnya secara umum untuk keamanan saya sangat merekomendasikan untuk menggunakan soft x daripada RMX sederhana.
Baiklah jadi mari kita mengimplementasikan X dan karena itu seperti yang Anda mengerti.
Karena soughed Max mengembalikan probabilitas masing-masing dari tiga nilai Q untuk tiga tindakan yang mungkin.
Yah variabel pertama yang akan kita buat mungkin merujuk tentu saja untuk probabilitas ini.
Jadi alat peraga sama dengan dan sekarang kita akan mengambil fungsi berikutnya yang disedot dan menurut Anda dari
mana kita akan mengambilnya.
Yah tentu saja ingat kami mengimpor.
Dan kemudian apakah submodule fungsional yang saya ingatkan adalah modul yang berisi sebagian besar tindakan untuk
mengimplementasikan jaringan saraf.
Kami memberikannya jalan pintas F dan itu sebenarnya dari submodule fungsional ini yang akan
kita ambil sendiri fungsi berikutnya.
Tetapi karena kita memberikannya jalan pintas, kita mulai di sini dengan Neph yang mewakili fungsional yang darinya kita mengambil
fungsi berikutnya yang kita soughed.
Ini dia.
Itu yang pertama dan kurung.
Baiklah.
Sekarang apa yang perlu kita input di fungsi selanjutnya.
Yah itu tentu saja entitas yang kita inginkan untuk menghasilkan distribusi probabilitas.
Dan apa saja entitas-entitas ini.
Yah ini tentu saja nilai-nilai kuncinya.
Jadi sekarang pertanyaannya adalah bagaimana kita bisa mendapatkan nilai q.
Yah tentu saja nilai q adalah output dari jaringan saraf dan untuk mendapatkan output dari jaringan
saraf.
Baiklah, ini dia.
Kami perlu mengambil jaringan baru kami.
Tetapi sebenarnya kita sudah memilikinya karena itulah yang diinisialisasi pada akhirnya fungsinya.
Tahu kami menciptakan model otodidak yang tidak lain adalah tidak akan berhasil karena itu adalah objek baru
dari kelas jaringan.
Dan itu sempurna.
Kami hanya dapat mengambil model kami di sini dan hal-hal selanjutnya menerapkan model ini ke keadaan input yang merupakan
argumen di sini dan itu akan mengembalikan output yang kami cari.
Itulah nilai-nilai kuncinya.
Dan sekarang intuisi Anda mengapa kami harus mengambil model di sini untuk memperkenalkannya dalam fungsi mungkin menjadi lebih
baik.
Bagi Anda yang memulai dengan pemrograman berorientasi objek, Anda akan melihat bahwa semua ini akan
menjadi sangat alami kemudian.
Jadi kita mengambil model diri kita karena ini harus menjadi model dari objek yang kita buat di sini.
Tetapi kemudian kita perlu mendapatkan output dari model jaringan saraf kita dan oleh karena itu kita akan mendengar
beberapa tanda kurung di mana kita akan memasukkan Nah kondisi input bernama negara di sini.
Jadi apa yang ingin kita lakukan pada mulanya adalah memasuki keadaan tetapi sekarang kita harus berhati-hati terhadap sesuatu yang tampak seperti kumpulan
sederhana sekarang.
Tetapi ingat bahwa keadaan sebenarnya akan menjadi sensor obor karena nanti kita akan menggunakan sel
ini pada keadaan kurang untuk menempatkannya sebagai argumen dari fungsi tindakan Pilih.
Argumen negara yang ada di sini sebenarnya akan menjadi keadaan otodidak yang lebih belakangan ini.
Dan karena ini adalah dunia jawaban yang tersiksa, model itu akan menerimanya.
Jadi itu tidak masalah.
Tapi sekarang kita bisa meningkatkan algoritme.
Jadi segera setelah negara adalah sensor obor dan seperti yang kami katakan sebelumnya sebagian besar sensor dibungkus menjadi
voivode.
Ini juga akan mengandung gradien.
Jadi sekarang apa yang akan kita lakukan pertama adalah membungkus keadaan input ini yang merupakan
tensor ke dalam obor dengan sangat baik tetapi karena ini adalah status input.
Kami tidak akan menggunakan gradien status obor Voivode ini dan itu bisa menjadi
stasiun dan oleh karena itu apa yang akan kita lakukan sekarang adalah mengubah status sensor obor ini menjadi variabel obor seperti itu.
Tetapi kemudian untuk menentukan bahwa kita tidak ingin gradien dalam grafik sama sekali yang dapat predasi pada
akhir Mudgal.
Nah kita di sini akan muncul volatile sama dengan true.
Sehingga sekarang kita memiliki negara kita membakar sensor ke dalam obor dengan sangat baik tetapi berkat Votel ini sama dengan
barometer sejati.
Kita akan memasukkan gradien yang terkait dengan status input ini ke grafik semua kondisi akhir dalam
model itu.
Jadi itu trik teknis lainnya.
Ini akan menghemat memori dan karenanya meningkatkan kinerja.
Jadi saya sangat merekomendasikan untuk melakukan ini dan sekarang kita akan menambahkan sesuatu yang lebih menyenangkan.
Ini tentang parameter suhu ini yang baru saja saya sebutkan.
Jadi parameter suhu ini adalah parameter yang memungkinkan kita memodulasi bagaimana jaringan saraf
akan memastikan tindakan mana yang harus diputuskan untuk dimainkan.
Jadi parameter suhu ini akan menjadi angka positif dan semakin dekat ke nol semakin tidak yakin jaringan saraf
akan ketika bermain dalam aksi dan semakin tinggi parameter suhu semakin yakin jaringan saraf
akan tindakan yang diputuskan untuk bermain .
Dan untuk menambahkan parameter ini saya akan melipatgandakan output yang merupakan Kugan yang digunakan oleh parameter suhu
ini.
Jadi mari kita mulai misalnya dengan 7 dan saya akan tentukan di sini komentar kecil T sama dengan 7.
Jadi itulah parameter suhu.
Maaf saya pergi ke 7.
Kami akan mencoba beberapa yang lain tetapi saya hanya ingin memulai dengan yang kecil karena Anda
akan melihatnya dengan yang kecil.
Mobil kami masih akan berperilaku seperti sejenis serangga, tetapi kemudian dengan meningkatkan parameter suhu,
kode kami akan lebih mirip mobil dan memutuskan untuk menjual mengemudi akan jauh lebih baik.
Dan itu masuk akal karena semakin tinggi parameter suhu ini semakin tinggi
akan probabilitas Juval me yang menang karena misalnya jika kita memiliki soft max dari nilai q.
Mari kita ambil beberapa angka sederhana satu dua tiga jika jumlah maksimal satu hingga tiga sama.
Misalnya 0. 04 0. 11 dan buka delapan puluh lima.
Kemudian dengan meningkatkan suhu dengan mengambil suhu yang lebih tinggi.
Sekarang suhu sama dengan satu dengan mengambil suhu tinggi seperti misalnya Tussaud kurangi mari kita
salin ini dan kalikan dengan misalnya dua atau tiga jadi selanjutnya memiliki nilai yang sama tetapi dikalikan dengan
parameter suhu tiga.
Yah kita akan mendapatkan sesuatu seperti nol untuk nilai Q pertama karena ini memiliki probabilitas sangat
rendah bahwa sekitar nol maka sesuatu yang sangat kecil untuk probabilitas kedua karena ini masih
probabilitas rendah.
Jadi katakanlah misalnya atau titik 0 2.
Tetapi probabilitas ketiga ini karena itu adalah yang terbesar dan yang cukup tinggi.
Nah meningkatkan suhu probabilitas ini akan lebih besar karena kita akan menjadi lebih yakin
bahwa ini adalah nilai Q yang tepat sesuai dengan tindakan yang harus kita mainkan dan karena itu ini akan
menjadi sesuatu seperti 0 2 98.
Sekarang dengan meningkatkan parameter suhu Yah kita sekarang bahkan lebih yakin bahwa tindakan ketiga di sini
harus menjadi tindakan untuk dimainkan karena probabilitas untuk nilai q dari tindakan ini tidak hanya yang
terbesar tetapi juga sangat tinggi.
Jadi itulah yang menjadi parameter suhu ini.
Ini tentang kepastian ke arah mana kita harus memutuskan untuk bermain.
Baiklah.
Jadi saya akan menghapus komentar ini.
Ini hanya untuk menjelaskan.
Dan sekarang mari kita bertindak.
Jadi bagaimana Anda akan melakukannya.
Nah prinsip dari metode selanjutnya adalah tidak hanya untuk menghasilkan distribusi probabilitas untuk masing-masing nilai
kunci tetapi juga dan itulah langkah kedua dari metode selanjutnya yang lunak.
Kami mengambil undian acak dari distribusi ini untuk mendapatkan tindakan final kami.
Dan tentu saja kita akan memiliki peluang tinggi untuk mendapatkan tindakan yang sesuai dengan
nilai Q yang memiliki probabilitas tertinggi karena itulah cara kerja distribusi.
Jadi begitulah.
Ayo ambil tindakan kita.
Jadi kita akan memperkenalkan Voivode baru yang akan kita panggil aksi dan tindakan ini akan menjadi
penarikan acak dari distribusi probabilitas yang baru saja kita buat saat ini.
Dan jadi bagaimana kita mendapatkan undian acak.
Kita akan mengambil probabilitas prop kita masing-masing dari nilai-nilai kunci yang kita ambil props
dan kemudian melesat dan kemudian kita akan menggunakan fungsi multi Gnomeo dan itu akan memberi kita undian acak
dari proses distribusi ini.
Jadi hanya itu yang akan mendapatkan reaksinya.
Sempurna.
Dan sekarang tentu saja kita akan mengembalikan aksinya.
Ada sedikit trik di sini.
Apa fakta bahwa Propst yang multinomial ini mengembalikan PI ke arah yang layak dengan lencana palsu.
Anda tahu berlian palsu ini dan sesuai dengan batch dan karena itu untuk mendapatkan hasil yang tepat yang
kita inginkan itu adalah tindakan di 0 1 atau 2.
Kita hanya perlu menambahkan data di sini dan kemudian beberapa tanda kurung dan tindakan di sini adalah satu atau
dua yang kita cari adalah konten dan indeks adalah 0 dan 0.
Baiklah.
Dan kita mulai.
Sekarang kami memiliki tindakan kami berkat fungsi tindakan pilih ini AI sekarang akan tahu tindakan mana yang harus dimainkan.
Dan setiap saat.
Hebat.
Jadi sekarang kita bisa beralih ke fungsi berikutnya yang akan menjadi fungsi belajar.
Dan di situlah kami akan melatih seluruh jaringan saraf yang Anda tahu dengan semua propagasi
maju dan kemudian propagasi belakang adalah untuk mengkategorikan dalam arti.
Yah pada dasarnya kita akan menerapkan seluruh pelatihan model pembelajaran mendalam yang merupakan jantung
dari kecerdasan buatan kita.
Jadi saya tidak sabar untuk melakukan itu.
Ini akan menjadi tutorial yang menarik dan saya akan melihat Anda di Statoil berikutnya.
Sampai kemudian menikmati.
SAYA.