Halo dan selamat datang kembali ke kursus pembelajaran mendalam di tutorial hari ini kita berbicara
tentang gradient descent.
Apa yang kami pelajari sebelumnya adalah agar agar jaringan saraf mempelajari apa
yang perlu terjadi adalah propagasi balik dan saat itulah kesalahan perbedaan atau jumlah perbedaan kuadrat
antara y topi dan Y kembali diperbanyak melalui jaringan saraf dan bobot disesuaikan sesuai.
Jadi kami melihat itu dan hari ini kami akan belajar dengan tepat bagaimana bobot ini disesuaikan.
Jadi mari kita lihat.
Ini adalah versi kami yang sangat sederhana dari sebuah pekerjaan saraf persepsi Trauner satu huruf feedforward neural network
dan apa yang bisa kita lihat di sini adalah seluruh proses ini dalam aksi di mana kita punya beberapa
nilai input kemudian kita harus menunggu kemudian fungsi aktivasi diterapkan.
Kita sudah mendapatkannya, lalu kita membandingkannya dengan nilai aktual yang kita hitung fungsi biaya.
Jadi bagaimana kita bisa meminimalkan fungsi biaya.
Apa boleh buat.
Nah satu pendekatan untuk melakukannya adalah pendekatan brute force di mana kita hanya mengambil semua banyak kemungkinan bobot berbeda dan
melihatnya dan melihat mana yang terlihat paling baik dan apa yang kita lakukan misalnya kita akan mencoba
misalnya katakanlah seribu bobot dan kami akan mencobanya yang akan mendapatkan sesuatu seperti
ini untuk fungsi biaya dan ini adalah bagan pada sumbu Y fungsional silang sumbu vertikal pada
sumbu horisontal topi y.
Dan karena Anda dapat melihat rumus yang saya punya minus Y kuadrat.
Inilah fungsi biaya yang akan terlihat seperti itu.
Dan pada dasarnya Anda akan menemukan yang terbaik ada di sini.
Jadi pendekatan yang sangat sederhana sangat intuitif.
Mengapa tidak melakukan metode brute force ini.
Mengapa tidak coba saja seribu biaya berbeda untuk seribu parameter atau input berbeda untuk bobot dan lihat mana
yang terbaik.
Anda akan menemukan yang terbaik dengan cara itu.
Nah jika Anda hanya memiliki satu cara untuk mengoptimalkan ini mungkin berhasil tetapi ketika
Anda meningkatkan jumlah bobot meningkatkan jumlah Synopsys di jaringan Anda, Anda harus menghadapi kutukan dimensi.
Dan apa penyebab dimensionalitas.
Cara terbaik untuk menggambarkan ini atau menjelaskannya adalah dengan hanya melihat contoh praktis.
Jadi, ingatlah contoh ini yang kami miliki ketika kami berbicara tentang bagaimana
sebenarnya jaringan saraf bekerja di mana kami membangun atau menjalankan jaringan saraf untuk penilaian properti.
Jadi, ini terlihat seperti ketika sudah dilatih dengan baik ketika tidak dilatih sebelum dilatih sebelum kita
tahu mana yang merupakan bobot.
Jaringan saraf yang sebenarnya terlihat seperti ini.
Benar karena kita memiliki semua sinopsis yang mungkin berbeda ini dan kita masih harus melatih bobot dan di sini kita
memiliki total 25 bobot jadi empat kali lima di awal ditambah lima lebih dari hit di
luar sana total 25 bobot.
Dan mari kita lihat bagaimana kita bisa dengan brutal memaksa 25 cara.
Ini adalah jaringan saraf yang sangat sederhana di sini.
Sangat sederhana hanya dengan satu pukulan di sana dan bagaimana kita bisa dengan kasar memaksa melalui jaringan saraf sebesar
ini.
Nah ada beberapa perhitungan matematis sederhana.
Kami memiliki 25 bobot.
Jadi itu berarti jika kita memiliki seribu kombinasi yang akan kita
pecahkan untuk setiap bobot, jumlah total kombinasi adalah 1000 pangkat 25 atau seribu atau 10 untuk menguraikan lima kombinasi berbeda.
Sekarang mari kita lihat bagaimana Sun cara untuk menerangi superkomputer Fosse dunia pada Juni 2016 bagaimana cara pendekatannya terhadap
masalah ini.
Benar Sunway mengikat siapa yang menyalakan.
Sepertinya ini adalah bangunan besar yang cukup besar untuk superkomputer yang satu ini dan mendapat
Guinness World Record sebagai superkomputer Fosses.
Sekarang ini adalah superkomputer tercepat di dunia dan beberapa cara lampu dasi dapat beroperasi
pada kecepatan 93 flops.
Flop singkatan dari operasi mengambang per detik.
Sehingga bisa melakukan sembilan puluh tiga untuk minyak listrik.
Kali sepuluh pangkat 15 operasi mengambang per detik.
Itu seberapa cepat perbandingannya.
Rata-rata komputer saat ini mereka suka beberapa gigaflops dan sebagainya.
Jadi itu seperti rentang itu.
Kurang dari TEI tipe lampu Sunway.
Jadi tiba-tiba itu semua bohong itu di garis depan teknologi.
Dan katakanlah secara hipotetis bahwa ia dapat melakukan satu uji satu kombinasi empat pada jaringan Anda sendiri dalam satu floppy disk
dan satu operasi mengambang yang tidak mungkin karena tidak praktis karena Anda memerlukan
beberapa operasi mengambang untuk menguji bobot tunggal pada Anda sedikit.
Tapi mari kita mulai saja.
Katakanlah ia dapat melakukannya di dunia yang ideal. Ia dapat melakukannya dalam satu operasi apung. Ia dapat melakukan satu tes
per satu operasi apung.
Itu berarti Doddridge masih membutuhkan kecenderungan dari lima.
Membagi dengan sembilan puluh tiga kali sepuluh hingga sekitar 15 detik untuk menjalankan semua tes untuk memaksa melalui
jaringan itu.
Jadi itu berarti satu atau perkiraan cenderung untuk daya 58 detik dan itu sama dengan
cenderung untuk kekuatan 50 tahun.
Itu adalah angka yang sangat besar yang lebih panjang dari yang ada di alam semesta dan yang
pasti tidak akan dengan mudah angka ini begitu besar, yang pasti tidak akan bekerja untuk kita sama sekali dalam optimasi kita.
Jadi begitulah.
Ini tidak, tidak.
Bahkan pada superkomputer tercepat di dunia, Sunway tail light.
Jadi kita harus datang dengan pendekatan yang berbeda bagaimana kita akan menemukan bobot yang optimal.
Ngomong-ngomong, jaringan saraf kita sangat sederhana, bagaimana jika jaringan saraf itu terlihat
seperti ini atau bahkan lebih besar dari itu maka ya itu tidak akan terjadi sama sekali.
Jadi metode yang akan dilihat disebut gradient descent dan Anda mungkin sudah pernah mendengarnya.
Jika tidak, kita akan mencari tahu apa itu sekarang.
Jadi, ada fungsi biaya kita dan sekarang kita melihat bagaimana kita dapat mengembangkan semacam cara yang lebih cepat untuk menemukan
opsi terbaik.
Jadi katakanlah kita memulai suatu tempat Anda akan memulai suatu tempat.
Jadi kita mulai dari sana.
Dan dari titik di kiri atas yang akan kita lakukan adalah kita akan melihat sudut fungsi biaya kita pada titik itu sehingga kita
hanya akan pada dasarnya itulah yang disebut gradien karena
Anda harus membedakan.
Kami tidak akan melihat persamaan matematika.
Kami akan memberikan beberapa tips tentang bacaan tambahan di akhir kuliah berikutnya.
Tetapi pada dasarnya Anda hanya perlu membedakan mencari tahu apa kemiringan pada titik tertentu dan mencari tahu apakah
lereng itu positif atau negatif.
Jika jika kemiringan negatif seperti dalam kasus ini berarti Anda akan menurun sehingga ke kanan menurun
ke kiri adalah menanjak.
Dan dari sana itu berarti Anda harus ke kanan.
Pada dasarnya Anda harus menurun.
Dan itulah yang akan kita lakukan.
Boom mengambil langkah tepat.
Bola bergulir lagi.
Hal yang sama.
Anda menghitung kemiringan dan kemiringan itu positif, artinya kiri naik penulis turun dan Anda perlu ke kiri
dan Anda berada di bola bawah.
Dan lagi Anda menghitung kemiringan dan Anda benar-benar tepat sehingga Anda menemukan
dalam istilah sederhana itulah cara Anda menemukan WAITES terbaik. Situasi terbaik yang meminimalkan fungsi biaya Anda.
Tentu saja itu tidak akan menjadi seperti bola yang menggelinding akan menjadi jenis pendekatan
yang sangat zig-zag tetapi lebih mudah untuk diingat atau jenis itu lebih menyenangkan untuk melihatnya sebagai bola yang menggelinding.
Tetapi pada kenyataannya ya Anda hanya itu akan menjadi seperti langkah demi langkah pendekatan
akan menjadi jenis metode zigzag.
Ya dan juga ada banyak elemen lainnya.
Ada hal-hal seperti misalnya mengapa mengapa mengapa turun mengapa tidak melewati garis sehingga bisa melompat keluar dari ini naik ke atas,
bukan ke bawah dan hal-hal seperti itu sehingga ada parameter yang dapat
Anda atur.
Dan lagi kami akan menyebutkan di mana Anda dapat menemukan lebih banyak tentang itu.
Dan ditambah kita akan memiliki ini dalam aplikasi praktis tetapi dalam pendekatan intuitif yang paling sederhana inilah
yang terjadi.
Kita sampai pada dasarnya hanya dengan memahami jalan mana yang harus kita tuju.
Alih-alih memaksa dengan paksa melalui ribuan dan ribuan dan jutaan dan milyaran dan
empat kombinasi.
Kita bisa dengan mudah melihat setiap kali di mana di mana arahnya miring seperti itu atau Anda bayangkan Anda sedang
berdiri di atas bukit.
Menurut Anda, ke arah mana ia akan turun dan ke mana pun ia turun dan Anda terus berjalan dengan
cara yang Anda sukai, ambil 50 langkah lagi dan kemudian Anda menilai kembali OK jalan mana yang turun ke bawah dengan cara
ini.
OK dan saya akan mengambil 50 langkah atau kurang mengambil 40 langkah seperti itu.
Jadi semakin sedikit dan semakin sedikit saat Anda semakin dekat.
Jadi inilah contoh penurunan gradien yang diterapkan dalam ruang dua dimensi.
Jadi itu adalah contoh satu dimensi.
Di sini kita memiliki ruang dua dimensi untuk penurunan gradien seperti yang Anda lihat
semakin dekat ke minimum dan itu juga disebut gradient descent karena Anda turun ke minimum fungsi biaya
dan menemukan bahwa ia memiliki gradient descent yang diterapkan dalam tiga ukuran.
Ini terlihat seperti jika Anda memproyeksikan ke dua dimensi Anda dapat melihat zig-zag jalan
ke minimum.
Jadi begini bahwa itu adalah indeks penurunan gradien dari Tauriel. Kita akan berbicara tentang stokastik.
Gradient descent adalah kelanjutan dari tutorial ini.
Dan saya berharap dapat melihat Anda di sana.
Dan waktu berikutnya menikmati pembelajaran yang mendalam.