Halo dan selamat datang di tutorial ini.
Baiklah.
Jadi dalam tutorial sebelumnya kita membuat otak atau jika Anda ingin otak untuk A-3 lihat sekarang kita perlu
melatih otak ini.
Tetapi untuk melatih otaknya, kita membutuhkan pengoptimal yang menggunakan alat ini dan menempelkan rokok di
tengah untuk mengambil berat sesuai dengan seberapa banyak mereka berkontribusi pada kesalahan antara prediksi
dan target.
Dan apa yang kami lakukan sampai sekarang dalam modul pertama dan kedua kami menggunakan pengoptimal atom oleh torche dalam
pelatihan.
Tapi seperti yang saya katakan, kita berhadapan dengan masalah yang sangat menantang yang muncul dan algoritma
A-380 tidak cukup untuk menyelesaikan masalah ini.
Kami membutuhkan beberapa pengoptimal khusus dan banyak trik berbeda untuk menyelesaikan masalah ini tanpa menunggu
lama.
Jadi itulah tujuan melakukan ini dan itulah mengapa kami memiliki pengoptimal kustom terpisah berdasarkan
pengoptimal atom.
Dan itu terkandung dalam kelas musuh bersama ini dan mengapa atom dibagi.
Itu karena itu sebenarnya pengoptimal atom tetapi itu akan bekerja pada negara yang dibagikan.
Jadi kita akan menjelaskan cara kerjanya dan bekerja keras. Jadi kita akan pergi
melalui berbagai fungsi di sini tanpa membunuh mereka karena Anda tahu kami ingin menyimpan energi untuk selanjutnya
dan selain itu adalah kereta yang saya jatuh yang akan mengambil lebih dari seratus baris kode.
Jadi bersiaplah untuk itu.
Dan oleh karena itu kami akan mencoba menjelaskan apa yang terjadi di sini dalam satu Statoil Statoil.
Dan mari kita mulai sekarang.
Baiklah, pertama-tama kami perkenalkan atom berbagi kelas ini yang akan berisi tiga fungsi, fungsi init,
fungsi memori bersama, dan fungsi langkah.
Jadi apa yang kita lakukan pertama adalah bahwa kita mewarisi dari optin atom yang tentu saja pengoptimal atom dan
yang kita dapatkan dari modul Upton dari pustaka obor.
Jadi di sini kita adalah warisan sederhana untuk mendapatkan semua alat yang terkait dengan pengoptimal atom dan kemudian kita
mulai dengan fungsi init.
Jadi apa yang terjadi di sini.
Pertama kita menggunakan fungsi super untuk mewarisi dari semua alat dan semua parameter dasar dari atom kelas
Atom dan parameter dasar ini ada di sini.
Harams belajar pengumpan ras Epsilon dan pembusukan berat.
Dan kemudian kita mulai tindak lanjut.
Foluke pertama ini untuk grup itu sendiri yaitu grup Paramo.
Jadi bagi kami, apa yang diatur grup parum di sekeliling grup berisi semua atribut optimizer.
Dan di antara atribut-atribut ini kita memiliki parameter yang harus kita optimalkan parameter
ini yang kita inginkan atomisasi cara lain dari jaringan yang terkandung dalam kelompok parum diri mungkin.
Jadi di sana kita pergi kelompok milik kelompok swadaya.
Dan di sini kita memiliki Faltu kedua yang akan mendapatkan parameter ini yang ingin kita optimalkan
dan yang mungkin terkandung dalam grup parum keraguan diri mungkin.
Jadi pada dasarnya kita pergi melalui grup swadaya yang berisi semua parameter dan untuk setiap grup parameter
dan self-talk dari grup kita akan melalui parameter yang ingin kita optimalkan.
Karena itu untuk grup Paramo di sini berarti untuk setiap Tancer bobot yang ingin kita optimalkan.
Jadi untuk setiap bobot sensor yang ingin kita optimalkan dan kemudian apa yang terjadi di dalam grup ini dengan
empat baris kode ini.
Pada dasarnya yang terjadi adalah pembaruan yang dibuat oleh pengoptimal didasarkan pada rata-rata
bergerak gradien.
Itu baris kode ini di sini.
Itulah rata-rata bergerak eksponensial dari gradien momen yang merupakan urutan satu.
Tetapi benda-benda yang dibuat oleh atom tidak hanya didasarkan pada itu juga didasarkan pada rata-rata bergerak
eksponensial dari kuadrat gradien.
Itu adalah rata-rata bergerak eksponensial dari gradien momentum ke atau dua.
Jadi di sini adalah rata-rata bergerak eksponensial dari semuanya.
Dan di sini adalah moving average eksponensial dua untuk masing-masing EMJ yang telah terdegradasi.
Sehingga yang terjadi di sini.
Dan sekarang jika Anda ingin mendapatkan lebih dalam tentang bagaimana rata-rata bergerak eksponensial bekerja dengan
baik, saya sangat mendorong Anda untuk melihat makalah penelitian ini metode Adam untuk optimasi stokastik karena pada
dasarnya pengoptimal atom yang kami laksanakan saat ini didasarkan pada satu algoritma di sini.
Jadi, jika Anda ingin memiliki detail lebih lanjut tentang bagaimana algoritma bekerja dengan baik, makalah ini pasti akan sangat membantu.
Dan kemudian Anda memiliki beberapa penjelasan lebih lanjut tentang algoritma dengan atom dan aturannya.
Jadi Anda tahu itu hanya jika Anda ingin menyerang ini sebelum menyerang fungsi kereta besar yang
akan dibuat sesudahnya.
OK jadi mari kita kembali ke bison.
Dan sekarang mari kita beralih ke fungsi memori bersama yang kedua.
Jadi sekarang saya hanya akan mengatakan beberapa patah kata.
Gagasan fungsi memori bersama ini adalah semacam tensor yang kuda Anda tahu adalah akselerator
berdasarkan tampilan.
Dan pada dasarnya yang terjadi di sini adalah kita memiliki tensor status yang berbagi memori di
sini dan di sini yang berperilaku sedikit seperti tenso yang dapat mempercepat perhitungan dipercepat.
Tetapi perbedaannya adalah bahwa di sini sensor yang berbagi memori mengirimkan perhitungan ke bagian GP
Anda atau Anda yang dapat diakses oleh semua ancaman yang lumpuh.
Jadi pada dasarnya itulah yang dilakukan di sini.
Itu sedikit seperti 10 untuk kuda itu, tetapi itu hanya dikirim ke bagian GP untuk dapat
diakses oleh ancaman paralel.
Baiklah.
Dan kemudian kita memiliki langkah fungsi terakhir.
Jadi Anda tahu fungsi ini seperti metode langkah pengoptimal atom yang kita gunakan dalam kursus ini.
Dan sekali lagi ini didasarkan pada algoritma salah satu dari kertas yang sama yang kita lihat sebelumnya.
Jadi algoritma ini.
Jadi sekali lagi Anda ingin memahami secara rinci baris kode berikut.
Nah sekali lagi saya Ingrid Anda untuk melihat algoritma ini satu per makalah ini.
Dan selain apa yang dilakukan di sini tidak sepenuhnya wajib karena ini sebenarnya adalah copy paste dari
metode langkah yang bertindak kelas atom.
Jadi pada dasarnya apa yang dilakukan di sini kita bisa melakukannya dengan menggunakan warisan kita karena di
sini kita mewarisi dari Acton bahwa Adam dan menggunakan warisan kita Yah apa yang bisa
kita lakukan daripada melakukan semua ini hanya akan menulis di sini komentar hanya menggunakan superfungsi yang kita terapkan ke kelas Adam
bersama kita maka objek kita sendiri dan di sini kita hanya menambahkan langkah dengan langkah kurung adalah metode tindakan di kelas
itu dan itu persis sama.
Itu sebabnya saya hanya mengatakan bahwa di sini hanya copy paste dari metode langkah tindakan di
kelas Atom.
Jadi saya pikir jika Anda mengganti semua ini dengan fungsi super ini diterapkan untuk berbagi Adam dan metode langkah dengan baik kita
mungkin mendapatkan hal yang persis sama.
Baiklah, jadi menarik untuk melihatnya sebentar.
Pada dasarnya Anda dapat melihat ini sebagai pengoptimal Adam.
Sepertinya kita sudah melihatnya lebih dalam.
Tetapi sekali lagi jika Anda ingin masuk lebih detail dari semua ini dan jika Anda ingin memahami apa yang
terjadi di balik layar Yah saya mendorong Anda untuk melihat makalah penelitian ini.
Saya akan menaruh tautan di komentar di sini.
Anda tahu ingat Anda akan memiliki semua kode yang terhubung dengan sangat detail.
Jadi sangat bagus jika Anda bisa melihatnya.
Dan sekarang saya harap Anda memiliki energi yang besar karena kita akan beralih ke file kereta yang akan berisi fungsi kereta besar
ini dan itu pada dasarnya akan melatih otak kita yang sekarang dapat kita lakukan karena
kita memiliki pengoptimal kita.
Jadi, istirahatlah yang baik sekarang.
Tidur nyenyak dan kapan pun Anda merasa bugar.
Mari beralih ke langkah selanjutnya.
Sampai kemudian menikmati AI.