Halo dan selamat datang di tutorial Python ini.
Baiklah.
Sekarang dalam fungsi berikutnya yang akan kita implementasikan, kita akan melatih jaringan saraf yang mendalam yang
ada di dalam kecerdasan buatan kita.
Jadi pada dasarnya kita akan melakukan seluruh proses untuk propagasi dan kemudian kembali propagasi.
Jadi kita akan mendapatkan hasil.
Kami akan mendapatkan target.
Kami akan membandingkan output target untuk menghitung kesalahan terakhir lalu kami akan kembali menyebarkan
kesalahan terakhir ini ke jaringan baru.
Dan menggunakan keturunan gradien yang disarankan yang harus menunggu sesuai dengan berapa banyak mereka berkontribusi pada
kesalahan terakhir.
Jadi mari kita lakukan semua ini untuk Anda yang berasal dari Korps Marinir yang dalam.
Ini akan menjadi hal yang baik tetapi bagi yang lain jangan khawatir saya akan mengembangkannya lagi.
Jadi kita akan memanggil fungsi baru ini, belajar dan fungsi akan mengambil beberapa argumen.
Pertama tentu saja yang akan merujuk ke objek gelar di kelas.
Kemudian kita akan mengambil status kumpulan kita untuk kondisi saat ini kemudian keadaan berikutnya
kita kemudian hadiah itu dan akhirnya tindakan Arbat.
Jadi mengapa kita mengambil ini.
Anda mungkin mengenali seri apa ini.
Yah itu tentu saja transisi transisi dari proses keputusan pasar yang ada di pangkalan.
Apakah kamu belajar.
Dan mengapa kita semua mengambilnya dalam beberapa kelompok.
Nah itu karena Anda tahu ingat kami tidak mempertimbangkan transisi dengan serangkaian keadaan teratas atau saat
ini menyatakan hadiah saat ini dan tindakan saat ini.
Kami membuat beberapa kumpulan sederhana di sini berkat fungsinya yang sederhana.
Dan sekarang transisi kita adalah dalam bentuk gelombang pertama untuk keadaan ini.
Gelombang kedua untuk tanggal berikutnya gelombang untuk hadiah dan gelombang untuk tindakan.
Itulah bentuk transisi kita sekarang dan mereka semua selaras dengan baik sehubungan dengan waktu
berkat rangkaian ini yang kita buat di sini sehubungan dengan dimensi pertama.
Jadi intinya sekarang kita memiliki transisi batch satu batch untuk masing-masing negara hari berikutnya kita menyaksikannya dalam
aksi dan kita melakukan semua ini karena kita menggunakan trik replay pengalaman ini.
Jadi itulah jaringan saraf kita yang dalam bisa belajar sesuatu.
Ingat, jika Anda hanya memiliki transisi sendiri, itu akan menjadi pembelajaran instan.
Atau jika Anda ingin belajar memori yang sangat singkat dan karenanya mol tidak akan belajar apa pun.
Jadi kita harus mengambil kumpulan ini dari memori yang menjadi transisi kita dan akhirnya kita akan mendapatkan output yang
berbeda untuk masing-masing negara bagian status masukan dan kita akan melakukan ini untuk negara bagian
dan negara bagian berikutnya karena kita akan membutuhkan keduanya untuk menghitung kerugian.
Saya akan segera mengingatkan persamaan keseimbangan yang merupakan inti dari algoritma pembelajaran.
Jadi sekarang mari kita masuk ke fungsi dan mari kita pertama-tama mendapatkan output dari kondisi kotak
Jadi saya akan menyebutnya keluaran pertama yang layak dan kemudian kita akan mengatakan tentu saja self-talk kita
tidak semuanya dimulai dari diri sendiri.
Tidak karena kami ingin mendapatkan model keluaran kami dari status masukan negara.
Dan karena model kami sebenarnya mengharapkan sejumlah negara input.
Yah kita benar-benar dapat memasukkan keadaan itu sekarang untuk masukan dari mereka semua.
Itulah tepatnya bagaimana kami menginisialisasi keadaan yang masuk ke jaringan dengan jawaban penyiksaan
dengan dimensi samar untuk batch yang sempurna.
Kami sekarang mendapatkan output dari semuanya.
Tapi kemudian ada trik teknis lain jika kita hanya menjual model itu dengan baik kita akan mendapatkan output dari semua tindakan yang
mungkin Anda tahu 0 1 dan 2 tetapi bukan itu yang kita inginkan.
Kami hanya tertarik pada tindakan yang dipilih.
Tindakan yang diputuskan oleh jaringan untuk dimainkan setiap saat dan untuk membuatnya
tertarik, itulah tindakan yang dimainkan dengan baik. Kita harus menggunakan fungsi kumpul ini di mana kita memasukkan
satu karena kita hanya ingin tindakan yang dipilih dan kami menambahkan tindakan itu dengan yang ini.
Dan di bagian itu kita akan mengumpulkan setiap kali tindakan terbaik untuk bermain untuk masing-masing negara
masukan negara.
Kami tidak ingin aksi yang dimainkan adalah tindakan yang dipilih dan kami mendapatkan ini dengan ini mengumpulkan satu
tindakan itu.
Tapi kemudian hati-hati.
Negara di sini memiliki berlian palsu ini dan melumasi ke dalam batch dan bagian itu tidak memilikinya.
Backstay memilikinya karena kami terbiasa dengan Unsworth di sini tetapi kami belum menggunakan lengan untuk
tindakan, jadi kami harus menambahkannya di sini sehingga tindakan Bache memiliki dimensi yang sama persis dengan keadaan.
Jadi kita akan menambahkan satu titik dan menekan Anda di sini dan sebenarnya ini bukan nol tetapi satu karena nol
tanggapan terhadap Faith bukan negara dan satu akan sesuai dengan pemeriksaan tindakan.
Dan akhirnya hal terakhir yang perlu kita lakukan di sini adalah kita harus membunuh kumpulan palsu ini dengan remasan.
Mengapa kita perlu melakukan itu?
Karena sekarang kita berada di luar jaringan saraf.
Kami memiliki hasil kami tetapi kami tidak ingin mereka kembali.
Kami menginginkan mereka.
Dan jawaban sederhana adalah vektor sederhana.
Vektor keluaran bets hanya ketika kita bekerja di jaringan saraf karena jaringan
saraf mengharapkan format sensor menjadi bets.
Tetapi sekarang kita memiliki hasil kita dan dalam persamaan baluns berikutnya dari pembelajaran mendalam kita tidak akan membutuhkannya
menjadi satu kumpulan.
Jadi saya membunuh itu di sini dan membunuh dimensi iman untuk mendapatkan kembali bentuk sederhana dari hasil kami.
Jadi saya hanya menambahkan di sini Dot dan kemudian memeras dan kemudian karena saya ingin membunuh laminasi palsu yang sesuai
dengan bagian belakang tindakan.
Yah karena mesin ruangwaktu memiliki indeks yang saya tambahkan di sini.
Baiklah.
Dan sekarang kita mulai, kita punya hasil.
BAIK.
Kami memiliki sedikit peringatan apa yang ditetapkan oleh variabel lokal tetapi tidak pernah digunakan.
Tidak apa-apa.
Kami akan menggunakannya dengan sangat cepat.
Jadi itulah output kami.
Dan sekarang kami ingin mendapatkan outwits kami berikutnya Jadi sekarang Anda mungkin berpikir mengapa kita perlu output berikutnya.
Nah untuk memahami ini kita perlu kembali ke algoritma pembelajaran mendalam yang ada di sini
yang merupakan bagian dari buku pegangan letak.
Jadi itulah keseluruhan proses difusi.
Pada awalnya kami menginisialisasi semua nilai kunci dan kemudian pada setiap waktu t.
Nah begitulah kita memilih aksi dengan soughed Max itulah yang kami lakukan dengan fungsi pilih tindakan.
Lalu kami membuka transisi dan kemudian seperti yang Anda lihat kami mendapatkan prediksi kami mendapatkan target dan kami bisa
menjadi yang terakhir.
Jadi mengapa kita perlu output selanjutnya juga.
Itu karena target, targetnya sama dengan Ghana kali output berikutnya ditambah yang kita inginkan dan kami akan
menghitung target setelah itu karena kita membutuhkan output target berikutnya.
Mari kita hitung ini dulu.
Jadi sekali lagi untuk mendapatkan pembaruan berikutnya dengan sangat sederhana, output berikutnya akan menjadi hasil
dari jaringan saraf kita ketika negara berikutnya yang batch memasukkannya sebagai input.
Jadi sangat sederhana kita mengambil model kita yang merupakan jaringan saraf kita dan kemudian kali ini input
dari jaringan saraf akan menjadi keadaan batch berikutnya yang batch berikutnya.
Tapi sekarang ingatlah jika kita kembali ke algoritma awal. Nah, Anda dapat melihat bahwa output berikutnya adalah maksimum dari
nilai q untuk keadaan berikutnya sehubungan dengan semua tindakan.
Jadi sekarang untuk mendapatkan output berikutnya kita perlu mendapatkan nilai q maksimum ini dan karena itu saya akan lakukan
di sini.
Lepaskan Anda tahu untuk melepaskan semua output dari model karena kami memiliki beberapa status dalam batch ini. Negara berikutnya
adalah kumpulan semua status berikutnya dalam semua transisi yang diambil dari sampel acak dari
memori kami.
Jadi saya melepaskan mereka semua menggunakan fungsi detach dan kemudian saya mengambil maks dari kedua nilai
ini.
Dan karena kita mengambil maksimum dari kedua nilai ini sehubungan dengan tindakan tersebut, kita harus menentukan
bahwa itu berkaitan dengan tindakan tersebut.
Dan karena tindakan diwakili oleh indeks satu.
Nah sekali lagi kita harus meletakkan yang berikutnya di sini dan kemudian kita harus menentukan bahwa kita
mengambil nilai isyarat sebagai T plus 1 yang merupakan tahap berikutnya dan negara berikutnya diwakili oleh 0 karena indeks nol sesuai dengan
negara dan oleh karena itu di sini kita perlu menambahkan tanda kurung dengan indeks 0.
Dengan begitu kita mendapatkan nilai kunci maksimum dari status berikutnya yang diwakili oleh nol
berikutnya sesuai dengan semua tindakan yang diwakili oleh indeks satu dan sekarang sempurna kita mendapatkan output berikutnya.
Ini adalah set baru.
Saat itulah kami mendapat peringatan.
Tapi itu tidak masalah.
Kami akan menggunakannya sekarang untuk menghitung target.
Dan berbicara tentang target itulah langkah selanjutnya dari fungsi yang diketahui ini.
Jadi begitulah.
Target sama dengan.
Sekarang mari kita kembali ke buku pegangan AI AI kami.
Targetnya sama dengan kata plus gamma kali output berikutnya adalah maksimum dari nilai kubus pada
hari berikutnya.
Menurut tindakan yang bisa kita hitung itu.
Jadi itu sama dengan diri gamma itu dan diri yang diinisialisasi Gamma.
Ini dia perkenalkan itu adalah variabel yang Virgin Q Sebuah objek dapatkan ke Times output berikutnya seperti yang baru saja
kita katakan plus Apakah kita ingin itu yang paling diinginkan.
Kami bekerja dengan batch di sini jadi ditambah batch yang kami inginkan dan itulah targetnya.
Dalam satu sampel gamma memori dikalikan dengan output berikutnya Plus hadiah.
Baiklah.
Sempurna.
Jadi sekarang kita punya hasil.
Kami juga memiliki target kami dan oleh karena itu kami dapat menghitung kerugian kerugian yang mewakili
kesalahan prediksi.
Jadi mari kita sebut ini yang terakhir, dua yang terakhir tentu saja untuk perbedaan temporal.
Itu lagi di jantung pembelajaran Q dan kita yang tiddy ini akan sama dengan rilis yang
meningkatkan banyak Cunanan.
Itulah fungsi terakhir yang akan kita pilih untuk kecerdasan buatan kita.
Bagi Anda yang datang dari jalur hijau tua, itu benar-benar yang terakhir saya rekomendasikan.
Jika Anda ingin menerapkan Coonerty dan bagaimana cara kita mendapatkannya.
Nah sekali lagi kita akan mengambil fungsi dari modul fungsional yang diwakili oleh F
dan karena itu di sini saya akan menggunakan modul fungsional kami bebek dan Hubble kita dapat
diperoleh berkat fungsi Smoots L-1 suka yang itu.
Jadi menekan enter.
Dan itu benar-benar fungsi hilang terbaik yang saya rekomendasikan untuk pembelajaran yang mendalam.
Ini benar-benar meningkatkan Culin.
Tapi ini adalah fungsi jadi saya menambahkan beberapa tanda kurung.
Dan sekarang tidak ada yang lebih sederhana.
Argumen yang perlu kita masukan adalah prediksi dan target.
Jadi tentu saja prediksi adalah output karena itulah output dari jaringan saraf.
Tidak ada output dari jaringan saraf yang diprediksi oleh jaringan saraf.
Jadi itu prediksi.
Jadi argumen pertama di sini adalah output dan argumen kedua tentu saja target.
Hal yang kami coba dapatkan dan itu sudah dihitung sempurna.
Kami dapat langsung memasukkan target.
Sempurna.
Sekarang kami telah memberi tahu kami bahwa kami punya sedikit teh di sini.
Itu dia.
Sekarang peringatan itu harus hilang.
Iya nih.
Sempurna.
Dan sekarang kita memiliki kesalahan terakhir, kita dapat kembali kesalahan penyebar kembali ke jaringan untuk memperbarui bobot
dengan keturunan gradien stokastik dan itulah yang akan kita lakukan pada langkah berikutnya.
Jadi tentu saja sekarang apa yang harus kita lakukan seperti yang Anda duga adalah mengambil pengoptimal kami dari pengoptimal kami
yang kami perkenalkan akan Anda inisialisasi.
Dan itu adalah pengoptimal atom yang sebenarnya merupakan objek dari kelas Atom dan sudah dilengkapi
dengan parameter model kami.
Dan kami sudah memilih tingkat pembelajaran 0. 1 persen untuk menyempurnakan pengoptimal kami siap tetapi sekarang
kita harus memainkannya pada kesalahan terakhir untuk melakukan grid stokastik dalam arti dan bobot data.
Jadi ketika bekerja dengan para pejuang, hal pertama yang perlu kita lakukan adalah menginisialisasi ulang di setiap iterasi dari
loop.
Kita harus menginisialisasi ulang pengoptimal dari satu interaksi ke interaksi lainnya di loop ini untuk mendapatkan kisi-kisi
di set dan untuk menginisialisasi ulang itu.
Dan setiap iterasi dari loop.
Kita akan menggunakan metode berikut ini yaitu nol.
Kita mulai.
Nol grad akan menginisialisasi ulang pengoptimal pada setiap iterasi loop.
Maka jangan lupa tanda kurung.
Sempurna.
Dan sekarang setelah diinisialisasi ulang, kita dapat melakukan propagasi mundur dengan pengoptimal kami.
Dan bagaimana kita melakukannya.
Kita bawa hukum kita dan kita akan kembali menyebarkannya kembali ke jaringan dan kembali
diperbanyak ke jaringan.
Kita perlu menggunakan fungsi mundur dan di dalam fungsi mundur ini saya sarankan untuk memasukkan variabel
garis bawah dan setel sama dengan true.
Saya merekomendasikan untuk melakukan ini karena ini akan meningkatkan propagasi kembali.
Penggunaan variabel tertulis sama dengan benar adalah untuk membebaskan memori dan kita perlu
membebaskan memori karena kita akan pergi beberapa kali pada yang terakhir sehingga pasti akan meningkatkan kinerja pelatihan.
Dan akhirnya langkah terakhir dari fungsi yang dipelajari ini adalah memiliki bobot data sesuai dengan propagasi belakang.
Itu sesuai dengan seberapa banyak bobot berkontribusi pada kesalahan.
Dan untuk melakukan ini, kami mengambil pengoptimal kami lagi yang diinisialisasi ulang dan kami menggunakan fungsi langkah
dan hanya dengan baris kode ini dengan menggunakan fungsi langkah.
Ini akan memperbarui bobot.
Itulah baris kode ini yang memperbarui bobot.
Baris kode ini yang menyebarkan kesalahan ke jaringan saraf dan baris kode ini menggunakan pengoptimal untuk
memperbarui bobot dan kita mulai.
Kami memiliki jaringan syaraf pembelajaran yang baik-baik saja, jadi selamat.
Ini mungkin bagian yang paling teknis dan paling sulit dari semua perselisihan atau besok ini.
Saya tahu obor saya kadang-kadang sulit dengan mudah dan menekan dan menekan tetapi pada
akhirnya saya berjanji Anda akan mendapatkan jaringan saraf yang sangat fungsional dan karena itu secara khusus model dan akhirnya
kecerdasan buatan yang hebat.
Jadi sekarang mari kita beralih ke langkah selanjutnya atau guru dan model yang akan menjadi fungsi pembaruan
yang jelas akan memperbarui ketika AI akan menemukan negara baru.
Jadi, Anda tahu itu akan menemukan negara baru dan kemudian akan menerima hadiah.
Bergantung pada tindakan yang ditampilkan dan status baru ini akan menangani ini dengan fungsi pembaruan
dan akan melakukan ini di tutorial berikutnya.
Sampai kemudian menikmati.
SAYA.