Halo dan selamat datang kembali, tentu saja pada pembelajaran mendalam hari ini kita berbicara tentang keturunan gradien Kostic.
Sebelumnya kami belajar tentang gradient descent dan kami menemukan bahwa ini adalah metode yang sangat efisien untuk
menyelesaikan masalah optimisasi kami di mana kami mencoba untuk meminimalkan fungsi biaya.
Itu pada dasarnya membawa kita dari 10 ke kekuatan 57 tahun untuk menyelesaikan masalah dalam hitungan menit atau jam atau dalam satu
hari atau lebih.
Dan itu sangat membantu mempercepat segalanya karena kita bisa melihat jalan mana yang menurun dan kita bisa menuju
ke sana dan mengambil langkah-langkah dan mencapai minimum dengan lebih cepat.
Tetapi masalahnya dengan tongkat dengan gradient descent adalah bahwa metode ini mengharuskan fungsi biaya menjadi
cembung.
Dan seperti yang dapat Anda lihat di sini, kami telah secara khusus memilih fungsi biaya cembung pada dasarnya
cembung berarti bahwa fungsi tersebut terlihat sama dengan apa yang kami lihat sekarang karena itu hanya jenis vext ke satu
arah dan yang pada dasarnya memiliki satu global minimum.
Dan itulah yang akan kita temukan.
Tetapi bagaimana jika fungsi kita tidak cembung.
Bagaimana jika fungsi biaya kami tidak benar.
Bagaimana jika terlihat seperti ini.
Yah pertama-tama bagaimana itu bisa terjadi.
Yah itu bisa terjadi karena jika kita pertama-tama memilih fungsi biaya yang bukan perbedaan kuadrat antara mengapa
dan mengapa atau jika kita memang memilih fungsi biaya yang seperti itu.
Tetapi kemudian dalam ruang multi dimensi itu sebenarnya bisa berubah menjadi sesuatu yang tidak cembung.
Jadi apa yang akan terjadi dalam kasus ini jika kita hanya mencoba menerapkan metode layak gradien normal kita sesuatu seperti
ini bisa terjadi.
Kami dapat menemukan minimum lokal dari fungsi biaya daripada yang global.
Jadi yang ini adalah yang terbaik dan kami menemukan yang salah dan karena itu kami tidak memiliki berat yang benar.
Kami tidak memiliki jaringan saraf yang dioptimalkan.
Kami memiliki jaringan saraf bawah standar.
Jadi apa yang kita lakukan dalam kasus ini.
Nah jawabannya di sini adalah stokastik.
Keturunan gradien.
Dan ternyata keturunan gradien sarkastik tidak memerlukan fungsi penyebab menjadi cembung.
Jadi mari kita lihat dua perbedaan antara penurunan gradien normal yang kita bicarakan
dan kisaran stokastik.
Jadi keturunan hijau normal adalah ketika kita mengambil semua baris kita, kita hubungkan mereka ke jaringan saraf kita
dan sekali lagi di sini kita punya jaringan saraf disalin beberapa kali tetapi baris dicolokkan ke jaringan
saraf yang sama setiap kali.
Jadi hanya ada trik berumur satu tahun ini hanya untuk tujuan aksi Kissel.
Dan setelah kita tancapkan, kita telah menghitung fungsi biaya berdasarkan rumus
yang tepat dan melihat grafik di bagian bawah dan kemudian kita menyesuaikan bobotnya maka ini
disebut metode gradient descent atau istilah yang tepat adalah bahwa metode keturunan gradien batch.
Jadi kami mengambil seluruh batch dari sampel kami, kami menerapkannya dan kemudian kami menjalankan bahwa metode penurunan
gradien stokastik sedikit berbeda.
Di sini kita mengambil baris satu per satu sehingga kita mengambil baris ini kita menjalankan jaringan saraf kita dan kemudian
kita menyesuaikan bobotnya.
Lalu kita pindah ke baris kedua kita ambil baris kedua kita jalankan jaringan saraf kita.
Kami melihat fungsi biaya dan kemudian kami menyesuaikan bobot lagi dan kemudian kami mengambil Rohtak naik tiga lagi
kami menjalankan jaringan saraf kami akan melihat fungsi biaya kami menyesuaikan berat.
Jadi pada dasarnya kita melihat kita menyesuaikan bobot setelah setiap baris daripada melakukan semuanya bersama-sama dan
kemudian menguji bobot dua pendekatan yang berbeda.
Dan sekarang kita akan membandingkan keduanya secara berdampingan.
Jadi di sini mereka ini adalah bagaimana mengingatnya secara visual.
Jadi Anda mendapatkan gradient descent terbaik di mana Anda menyesuaikan bobot setelah menjalankannya setelah Anda menjalankan semua
baris dalam jaringan saraf Anda dan kemudian pada dasarnya hanya bobot dan Anda menjalankan semuanya
lagi iterasi iterasi iterasi iterasi di kelas enam pada bulan Desember dan Anda
menjalankan satu baris pada satu waktu dan Anda menyesuaikan bobot persis seperti bobotnya dan kemudian Anda
melakukan semuanya berulang-ulang dan itu disebut berdiskusi.
Dan Anda mengatakan bahwa dua perbedaan utama adalah bahwa metode penurunan
gradien sarkastik membantu Anda menghindari masalah di mana Anda menemukan ekstremitas lokal atau minimum lokal daripada keseluruhan global minimum
keseluruhan.
Dan alasan untuk itu secara sederhana adalah bahwa ada video dari metode penurunan gradien stokastik memiliki
fluktuasi yang jauh lebih tinggi karena mampu membelinya.
Ini melakukan satu iterasi atau satu baris pada satu waktu dan oleh karena itu fluktuasi
jauh lebih tinggi dan itu jauh lebih mungkin untuk menemukan minimum global daripada hanya minimum lokal.
Dan hal lain tentang penurunan gradien sarkastik Saya pikir adalah gradien buruk adalah itu menumbuhkan seperti kesan
pertama yang mungkin Anda miliki adalah karena itu tumbuh satu demi satu
lebih lambat tetapi sebenarnya sebenarnya lebih cepat karena itu tidak perlu memuat semua data ke dalam memori dan
menjalankan dan menunggu sampai semua aturan itu bersama-sama.
Anda hanya bisa berguling-guling satu per satu sehingga algoritma yang jauh lebih
ringan jauh lebih cepat dalam arti sehingga meskipun memiliki cara yang lebih dalam arti karena memiliki lebih banyak keunggulan dibandingkan yang buruk.
Metode keturunan gradien.
Keuntungan utama dari atau jenis domain seperti profer metode penurunan gradien buruk adalah bahwa
itu adalah algoritma deterministik atau selain untuk membuat penurunan gradien menjadi algoritma sarkastik yang berarti
itu acak dan dengan gradien dan metode terbaik selama Anda memiliki bobot awal yang sama untuk jaringan saraf
Anda.
Setiap kali Anda menjalankan metode gradient batch gradient, Anda akan mendapatkan iterasi yang sama, hasil yang sama
untuk Anda sepanjang bobot Anda diperbarui untuk kami miliki untuk metode layak gradien sarkastik.
Anda tidak akan mendapatkan itu karena ini adalah metode stokastik Anda memilih peran Anda mungkin secara acak dan
Anda memperbarui jaringan saraf Anda dengan cara sarkastik dan karena itu Anda hanya akan setiap kali Anda menjalankan
kategori metode yang layak bahkan jika Anda memiliki bobot yang sama pada
awalnya, Anda akan memiliki proses yang berbeda dan iterasi yang berbeda untuk sampai ke sana.
Jadi itu singkatnya apa yang harus castigate dan perbedaan pendapat juga ada metode di antara keduanya disebut metode
gradien keturunan batch Mini di mana Anda menggabungkan keduanya dan Anda pada dasarnya menjalankan daripada
menjalankan seluruh batch menjalankan satu per satu.
Anda menjalankan kumpulan baris mungkin 5 10 100 namun banyak baris Anda memutuskan untuk membuat Anda menjalankan jumlah baris pada satu
waktu kemudian Anda memperbarui cara satu digit Anda dan sebagainya.
Dan itu disebut metode keturunan Mini Bache gradient jika Anda ingin mempelajari lebih lanjut
tentang gradient descent ada artikel bagus yang bisa Anda lihat.
Ini disebut jaringan saraf dalam 13 baris bagian Python yang hebat dan diturunkan oleh Andrew Trask dan
tautan di bawahnya merupakan artikel yang baik, sangat bagus, ditulis dengan istilah yang sangat sederhana.
Ada beberapa pemikiran filosofis atau hanya menarik tentang bagaimana menerapkan air hijau yang layak Anda tahu kelebihan dan kekurangan dan
bagaimana cara melakukan hal-hal dalam situasi tertentu sehingga Anda punya beberapa tips dan trik
hack yang sangat keren.
Sangat mudah dibaca sehingga pasti memeriksanya.
Dan satu lagi sedikit lebih berat dibaca.
Bagi Anda yang tertarik dengan matematika yang ingin sampai ke dasar matematika mengapa.
Keturunan gradien adalah spesifik.
Apa rumus yang mendorong gradasi dan bagaimana menghitungnya dan sebagainya.
Lihat artikel atau sebenarnya buku itu.
Ini adalah buku online gratis yang disebut jaringan saraf dan pembelajaran mendalam oleh buku Michael Nielsen 2015.
Itu hanya pada dasarnya itu semua on line Anda dapat melanjutkan dan memeriksanya di sana.
Dan ada lagi pengantar yang sangat lembut untuk matematika.
Tetapi bagi seorang ibu matematika tetapi matematika itu cukup berat saat Anda terus membaca
artikel.
Tetapi pada saat yang sama itu membuat Anda masuk ke dalam suasana hati itu. Saya pikir maksud Anda seperti
bab pemanasan di mana Anda pertama kali menghangatkan matematika dan kemudian Anda melompat ke
dalam.
Dan begitulah, jadi itu singkatnya perbedaan antara rasa Graney untuk melemparkan
gradient descent dan cara kerjanya.
Dan pada catatan itu kita akan menyelesaikan hari ini kata Tauriel.
Saya berharap dapat melihat Anda di yang berikutnya.
Dan sampai saat itu menikmati pembelajaran yang mendalam.