Halo dan selamat datang kembali ke kursus pembelajaran mendalam, ini adalah tutorial tambahan untuk berbicara tentang
fungsi entropi lunak dan lintas.
Tidak perlu 100 persen bagi Anda untuk melalui semua bagian yang telah kami lalui di bagian utama dari
bagian ini di mana kita berbicara tentang jaringan saraf convolutional tetapi pada saat yang sama saya
pikir itu akan menjadi tambahan yang bagus untuk tas pengetahuan dan keahlian Anda.
Jadi mari kita lanjutkan dan menggali fungsi-fungsi ini.
Jadi untuk memulai dengan apa yang kita miliki di sini adalah kesimpulan dari jaringan saraf yang kita bangun
di bagian utama dari bagian dan kemudian pada akhirnya muncul beberapa probabilitas untuk nol koma sembilan puluh
lima untuk anjing 0. 05 lima atau 5 persen untuk kucing.
Mengingat foto di sebelah kiri sebagai input Ini setelah kereta telah dilakukan
ini sebenarnya sedang berjalan dan itu mengklasifikasikan gambar tertentu.
Jadi pertanyaannya di sini adalah bagaimana dua nilai ini bisa bertambah menjadi satu.
Karena sejauh yang kami tahu dari semua yang saya pelajari tentang jaringan saraf tiruan tidak ada
yang mengatakan bahwa kedua neuron terakhir ini saling terhubung satu sama lain.
Jadi bagaimana mereka tahu apa nilai dari pegangan masing-masing dari mereka tahu apa nilai
yang lain.
Dan bagaimana mereka tahu menambahkan nilai mereka hingga satu.
Yah jawabannya adalah mereka tidak mau.
Dalam versi klasik jaringan saraf tiruan kami dan satu-satunya cara yang mereka lakukan adalah karena kami memperkenalkan
fungsi khusus yang disebut fungsi soft max untuk membantu kami keluar dari situasi tersebut.
Jadi biasanya yang akan terjadi adalah anjing dan neuron kucing memiliki nilai nyata apa pun sehingga tidak harus
seperti itu, mereka tidak harus menambahkan satu pun.
Tapi kemudian kita akan menerapkan fungsi soft max yang ditulis di sana di bagian atas dan yang akan membawa
nilai-nilai ini antara 0 dan 1 dan itu akan membuat mereka menambahkan hingga 1 dan 3 PPTA.
Fungsi soft max atau fungsi eksponensial yang dinormalisasi adalah generalisasi dari fungsi logistik
yang mengutip squash tanda kutip memiliki vektor dimensi k dari nilai riil arbitrer ke vektor k dimensi dari nilai nyata
dalam kisaran nol hingga satu yang menambahkan hingga 1.
Jadi pada dasarnya itu tepat seperti yang kita inginkan.
Ini membawa nilai-nilai ini menjadi antara 0 dan 1 dan memastikan bahwa mereka menambahkan hingga 1.
Dan cara kerjanya adalah bahwa cara ini dimungkinkan adalah karena di bagian bawah kami di sini
Anda dapat melihat bahwa ada penjumlahan.
Jadi itu mengambil eksponen dan menempatkannya dalam kekuatan Zed dan menambahkannya sehingga ada dua di semua kelas
Anda.
Semua nilai ini.
Dan di situlah normalisasi Anda terjadi di sana.
Jadi begitulah fungsi Saucebox bekerja dan masuk akal untuk memperkenalkan fungsi soft berikutnya ke
dalam jaringan saraf convolutional karena betapa anehnya jika Anda memiliki kelas yang memungkinkan untuk anjing dan
kucing dan untuk kelas anjing Anda memiliki kemungkinan 80 persen .
Dan untuk cakar kucing Anda memiliki hak 45 persen bagus.
Itu tidak masuk akal seperti itu dan oleh karena itu jauh lebih baik ketika Anda memperkenalkan fungsi lembut
berikutnya dan itulah yang Anda akan temukan terjadi sebagian besar waktu dalam jaringan convolutional dan neural.
Sekarang hal lain adalah bahwa fungsi soft max datang bergandengan tangan dengan sesuatu yang disebut fungsi entropi Cross dan
itu adalah hal yang sangat berguna bagi kita.
Jadi mari kita lihat rumusnya.
Seperti inilah fungsi lintas entri.
Kita sebenarnya akan menggunakan perhitungan yang berbeda akan menggunakan representasi abad ini tetapi hasilnya
pada dasarnya sama.
Ini hanya lebih mudah untuk dihitung.
Dan yang saya tahu ini mungkin terdengar sangat tidak berhubungan dengan apa pun sekarang hanya dengan rumus di layar Anda tetapi
akan ada beberapa bacaan tambahan yang direkomendasikan pada akhir bagian ini jadi jangan khawatir
jika Anda tidak mengambil matematika
Seperti bahkan jika kita belum menjelaskan matematika saat ini.
Tetapi intinya di sini adalah bahwa apa yang melintasi entropi jauh melintasi fungsi entropi.
Ingat bagaimana kita sebelumnya dalam jaringan saraf tiruan kita memiliki fungsi yang disebut fungsi rata-rata panah kuadrat
yang kita gunakan sebagai fungsi biaya untuk menilai kinerja alami kita.
Dan tujuan kami adalah meminimalkan MSE untuk mengoptimalkan kinerja jaringan kami.
Nah itu tadi fungsi biaya kami di sana dan di jaringan saraf convolutional kita masih bisa menggunakan MSE tetapi
pilihan yang lebih baik di jaringan saraf convolutional setelah Anda menerapkan fungsi soft max ternyata
menjadi fungsi lintas entropi.
Dan dalam jaringan saraf convolutional ketika Anda menerapkan fungsi lintas entri bukan biaya disebut fungsi biaya
lagi disebut fungsi terakhir dan mereka sangat mirip.
Mereka hanya sedikit perbedaan terminologis dan suka sedikit berbeda dan tentang apa yang mereka maksudkan.
Tetapi untuk semua tujuan itu hal yang hampir sama.
Dan yang terjadi adalah fungsi terakhir adalah lagi sesuatu yang ingin kita perkecil untuk memaksimalkan
kinerja jaringan kita.
Jadi mari kita lihat contoh cepat tentang bagaimana cara fungsi ini dapat diterapkan.
Jadi katakanlah kita memasukkan gambar seekor anjing ke dalam jaringan kita.
Nilai prediksi untuk anjing adalah 0. 9 dan ini sedang melakukan pelatihan sehingga kita tahu bahwa kita tahu label
itu adalah seekor anjing.
Jadi nilai prediksi 0. 9 nilai harga untuk kucing adalah 0. 1 maka di sini kita memiliki label sehingga
kita tahu itu anjing karena ini melatih 0 1 untuk anjing atau kucing.
Jadi dalam hal ini Anda harus menggunakan Anda harus memasukkan angka-angka ini ke dalam rumus Anda untuk cross entropy.
Jadi bagaimana Anda melakukannya adalah nilai-nilai di sebelah kiri pergi ke isyarat verbal.
Yang ada di bawah logaritma di sebelah kanan dan nilai-nilai dari kanan akan masuk ke
P dan jadi penting untuk mengingat mana yang masuk karena jika Anda salah, Anda tidak
ingin mengambil logaritma semua saya dari nilai nol dan atau pergi dari 1.
Jadi, Anda hanya ingin mencolokkannya.
Pastikan Anda menancapkannya ke tempat yang benar.
Dan pada dasarnya Anda menambahkannya.
Jadi begitulah cara entri silang bekerja dan kita akan melihat sebenarnya sekarang kita akan melihat contoh
langkah demi langkah spesifik untuk menerapkan fungsi ini dalam kehidupan nyata dan jenis penyakit akan membuat lebih
masuk akal apa itu entropi Cross dan akan kurang seperti itu.
Tujuan saya dalam kerja keras ini adalah untuk membuat Anda lebih nyaman dari abad lintas karena itu bisa
terdengar sangat berbelit-belit dan tidak ada kata pun yang dimaksudkan bisa.
Seperti jaringan saraf convolutional, ini bisa terdengar sangat rumit dan menakutkan tetapi sebenarnya tidak.
Itulah intinya.
Jadi mari kita lanjutkan dan menerapkannya supaya kita tahu bahwa itu tidak menakutkan.
Jadi, inilah semuanya.
Dan ini juga akan menjelaskan mengapa kita melakukan ini mengapa kita mencari fungsi penyebab yang berbeda.
Jadi jaringan saraf satu jaringan saraf katakanlah kita memiliki dua jaringan saraf dan
kemudian kita melewati gambar seekor anjing dan kita tahu bahwa ini adalah anjing dan bukan kucing.
Dan kemudian kita memiliki gambar lain kucing kita kali ini binatang dan itu kucing bukan anjing dan di sini kita
punya kita melihat lubang yang sebenarnya adalah anjing bukan kucing.
Jika Anda melihat dari dekat.
Jadi kami ingin melihat apa yang akan diprediksi oleh jaringan saraf kami dalam kasus pertama.
Jaringan saraf 1 anjing 90 persen 10 persen kucing benar tidak ada nomor jaringan sampai 60 persen anjing 40
persen kucing masih benar buruk.
Tapi benar.
Pilihan kedua jaringan syaraf pertama 10 persen kucing anjing 90 persen kucing.
Benar.
Anda tahu jumlah itu menjadi 30 persen anjing, 70 persen kucing lebih buruk tetapi masih benar.
Dan akhirnya jaringan saraf di dalam gambar jaringan lama tahun memenangkan 40 persen anjing 60 persen kucing nomor
jaringan saraf salah untuk 10 persen anjing dan 90 persen kucing salah dan buruk.
Jadi kuncinya di sini adalah bahwa meskipun kedua orang bersih salah dalam yang terakhir melalui ketiga
gambar jaringan saraf satu mengungguli jaringan saraf.
Jadi, bahkan dalam kasus terakhir itu sangat ia memberi anjing seperti peluang 40 persen sebagai lawan dari jaringan saraf untuk hanya memberi
anjing peluang 10 persen atau jaringan saraf yang lebih baik daripada papan neural bila
dibandingkan dengan jaringan saraf 2.
Dan sekarang kita akan melihat fungsi yang dapat mengukur kinerja yang telah kita bicarakan
tentang peringkat.
Jadi mari kita letakkan ini di tabel sehingga ada jaringan saraf 1 Anda memiliki nomor yang salah.
Jadi itulah nomor gambarnya.
Dan kemudian untuk gambar yang Anda miliki.
Apa yang diprediksi 90 persen simpanse dan kucing anjing.
Jadi ada topi Marable's dan kemudian Anda memiliki nilai sebenarnya sehingga kucing yang benar salah.
Hal yang sama untuk gambar nomor dua dan hal yang sama untuk minimal tiga dan sama untuk nomor jaringan saraf dua.
Jadi Dog 60 persen tetap 40 persen di gambar pertama.
Itu yang diprediksi croton adalah anjing, bukan kucing.
Dan seterusnya.
Dan sekarang mari kita lihat kesalahan apa yang sebenarnya bisa kita dapatkan.
Jadi kesalahan apa yang bisa kita hitung untuk memperkirakan kinerja dan memantau kinerja jaringan kita.
Jadi satu jenis kesalahan disebut kesalahan klasifikasi.
Dan itu pada dasarnya hanya menanyakan apakah Anda melakukannya dengan benar atau tidak.
Terlepas dari probabilitasnya, APAKAH KAMU MENDAPATKANNYA KANAN.
Atau apakah Anda melakukannya dengan benar.
Jadi dalam kedua kasus untuk kedua jaringan saraf masing-masing mereka mendapat satu.
Jadi ini salah Anda.
Jadi mereka salah satu dari tiga kesalahan.
Jadi 33 persen tingkat kesalahan untuk jaringan Anda 1 dan 30 persen tingkat kesalahan untuk jaringan saraf.
Sebagai dasar dari sudut pandang ini, kedua jaringan saraf bekerja pada tingkat yang sama tetapi kita tahu itu tidak
benar.
Kita tahu bahwa jaringan saraf Ikhwan mengungguli jaringan saraf.
Itu sebabnya kesalahan klasifikasi bukan ukuran yang baik terutama untuk keperluan propagasi balik berarti kuadrat kesalahan yang berbeda
dan dengan cara saya melakukan perhitungan ini di Excel saya hanya tidak ingin membuat Anda bosan dengan mereka tetapi
Anda dapat Tony hanya duduk lakukan di atas kertas atau di Excel.
Ini adalah perhitungan yang sangat mudah pada dasarnya hanya mengambil jumlah kesalahan
kuadrat dan kemudian hanya mengambil rata-rata pengamatan Anda dan itu saja.
Jadi untuk jaringan saraf satu mendapatkan 25 persen untuk jaringan saraf 2 Anda mendapatkan tingkat kesalahan 71 persen sehingga Anda
dapat melihat ini lebih akurat.
Ia memberi tahu kami bahwa hampir satu memiliki tingkat kesalahan yang jauh lebih rendah daripada jaringan Anda sendiri.
Dan kemudian lintas entropi lagi.
Kami telah melihat rumus yang Anda juga dapat hitung ini sebenarnya lebih mudah untuk dihitung daripada rata-rata daerah
kuadrat Cross di seluruh entropi memberi Anda 38 persen untuk jaringan saraf 1 dan 1. 0 6 untuk jaringan saraf 2.
Jadi Anda bisa lihat hasilnya agak berbeda.
Ketika Anda melihat mereka seperti itu ketika Anda melihat Anda tahu area rok mini dan cross entropy dan
pertanyaan mengapa Anda menggunakan cross entropy over berarti kesalahan kuadrat bukan hanya tentang jenis seperti angka yang mereka katakan tetapi semua perhitungan
hanya untuk menunjukkan kepada Anda bahwa ini semua bisa dilakukan, Anda hanya
dapat melakukannya di atas kertas.
Ini bukan matematika yang sangat intens.
Ini adalah hal-hal sederhana yang cukup sederhana.
Tetapi pertanyaan mengapa Anda menggunakan sarana menyebabkan entropi berarti ada pertanyaan yang sangat bagus untuk
ditanyakan.
Saya senang Anda bertanya bahwa jawabannya adalah seperti ada beberapa keuntungan dari cross entropy daripada mean squared
error yang tidak jelas.
Jadi saya akan menyebutkan beberapa tetapi selain itu saya akan memberi tahu Anda di mana Anda bisa tahu lebih banyak.
Jadi salah satunya adalah bahwa jika Anda misalnya Anda pada awal propagasi belakang Anda nilai output Anda sangat sangat
sangat sangat kecil sangat kecil.
Jadi itu jauh lebih kecil dari nilai aktual yang Anda inginkan.
Kemudian di awal, gradien di dunia Anda yang hebat dan layak akan sangat sangat rendah dan Anda tidak
akan cukup.
Sangat sulit bagi jaringan saraf untuk benar-benar mulai melakukan sesuatu dan mulai bergerak di sekitar dan mulai menyesuaikan bobot-bobot
itu dan mulai Movistar yang sebenarnya bergerak ke arah yang benar.
Sedangkan ketika Anda menggunakan sesuatu seperti entropi silang karena punya logaritma di dalamnya
itu sebenarnya membantu jaringan menilai bahkan area kecil seperti itu dan melakukan sesuatu tentangnya.
Begini cara berpikirnya.
Jadi katakanlah sekali lagi ini sangat dalam dan dalam pendekatan yang sangat intuitif.
Akan ada tautan ke matematika dan Anda dapat menurunkan hal-hal ini melalui matematika secara lebih terperinci
tetapi dengan pendekatan yang sangat intuitif.
Katakanlah Anda menyukai hasil yang Anda inginkan.
Is adalah satu dan saat ini Anda berada pada sepersejuta dari satu.
Kanan.
$ 0. 00 atau adakah satu dan kemudian Anda meningkatkan waktu berikutnya Anda meningkatkan hasil
Anda dari satu juta ke seperseribu.
Dan dalam hal jika Anda menghitung kesalahan kuadrat Anda hanya mengurangi satu dari yang lain.
Atau pada dasarnya dalam setiap kasus Anda Kalka di kotak dan Anda akan melihat bahwa kesalahan kuadrat ketika Anda
membandingkan satu kasus dengan yang lain itu tidak banyak berubah.
Anda tidak meningkatkan jaringan sebanyak itu ketika Anda melihat rata-rata di sana.
Tetapi jika Anda melihat entropi silang karena Anda mengambil logaritma dan kemudian Anda membandingkannya dengan
membagi satu ke yang lain.
Anda akan melihat bahwa Anda telah benar-benar meningkatkan jaringan Anda secara signifikan sehingga melonjak dari satu juta menjadi 1000 dalam
istilah kesalahan kuadrat berarti akan sangat rendah.
Itu tidak penting dan tidak.
Ini tidak akan memandu proses peningkatan gradien Anda atau propagasi punggung Anda ke arah yang benar.
Semua itu akan dipandu ke arah yang benar tetapi itu akan menjadi seperti panduan yang sangat
lambat itu tidak akan memiliki kekuatan yang cukup sedangkan jika Anda melakukan recross entropy lintas entropi akan mengerti
bahwa meskipun ini adalah penyesuaian yang sangat kecil yang hanya Anda ketahui membuat perubahan kecil dalam hal absolut dalam hal relatif
itu adalah peningkatan besar.
Dan kita pasti menuju ke arah yang benar.
Mari kita teruskan cara itu sehingga entropi silang akan membantu jaringan saraf Anda sampai ke keadaan optimal ke cara optimal
adalah cara yang lebih baik bagi jaringan saraf untuk mendapatkannya ke keadaan optimal.
Tetapi perlu diingat bahwa ini hanya berfungsi ketika melintasi entropi hanya metode yang disukai hanya untuk klasifikasi.
Jadi jika Anda berbicara tentang hal-hal seperti regresi seperti yang kami miliki di jaringan saraf tiruan maka Anda
lebih suka pergi dengan saya dan kesalahan kuadrat sedangkan cross entropy lebih baik untuk klasifikasi dan sekali lagi itu
berkaitan dengan fakta bahwa kami menggunakan soft fungsi selanjutnya jadi itu semacam penjelasan intuitif tentang
tempat yang bagus untuk belajar lebih banyak tentang itu jika Anda benar-benar tertarik pada Anda tahu
mengapa kita menggunakan cross versus mean square error.
Google video oleh Geoffrey Hinton disebut fungsi soft max output dan dia menjelaskannya dengan sangat baik dan Anda
tahu menjadi bapak baptis yang dalam yang bisa menjelaskannya dengan lebih baik.
Ngomong-ngomong, video apa pun oleh Geoffrey Hinton berwarna emas.
Dia hanya punya bakat besar untuk menjelaskan banyak hal.
Jadi itu bagus, bagus versus salib dan saya harap itu memberi Anda semacam pemahaman intuitif tentang apa yang terjadi
di sini.
Tetapi yang lebih penting bahwa Anda tidak menunda dengan istilah entropi silang karena judul akan menyebutkannya dalam cerita praktis
dan saya ingin memastikan bahwa Anda siap untuk itu.
Dan itu hanyalah cara lain untuk menghitung fungsi terakhir Anda.
Dan cara lain untuk mengoptimalkan jaringan Anda yang secara khusus dirancang untuk masalah
klasifikasi dan karenanya jaringan saraf convolutional dan datang bergandengan tangan dengan fungsi max lembut.
Jadi bacaan tambahan jika Anda ingin pengenalan ringan ke lintas entropi jika Anda tertarik pada konsentrasi sedikit
lebih tentu saja.
Artikel yang bagus untuk dibaca disebut sebagai pengantar yang ramah untuk kehilangan lintas entropi oleh Rob
DePietro 2016.
Inilah tautan di bawah ini.
Sangat sangat bagus, sangat lembut dan tidak ada matematika super rumit.
Analogi yang baik Contoh yang baik menggunakan analogi mobil dan Anda melihat mobil dan berbicara
tentang informasi dan bit dan pembatasan dan Anda tahu bagaimana Anda memecahkan kode Unico ini sehingga
artikel bagus untuk dilihat dan kami akan memberi Anda ikhtisar yang baik dari entri silang seperti dari sudut
pandang pengantar.
Jika Anda ingin menggali ke dalam matematika berat seperti apa yang Anda lihat di sini maka periksa
artikel oleh atau blog dengan cara menerapkan jaringan saraf Intermezzo juga sehingga dalam hal penggunaan
seperti hal perantara seperti a.
Intermittency dalam.
Anda tahu seperti ketika Anda pergi ke teater dan Anda memiliki seperti jeda antara bagian pertama dan bagian
kedua.
Jadi karena dia seperti melalui semua langkah ini dan kemudian dia suka dan kemudian dia bilang aku
harus menjelaskan ini dulu.
Dan ya jadi itu sebabnya ini disebut intermezzo.
Tidak ada alasan lain sejauh saya memahami artikel oleh Peter Rolands 2016 juga jadi keduanya cukup
baru.
Dan Anda tahu, periksa ini jika Anda ingin menggali matematika di balik entropi Kross di balik soft Max dan
cross entropy dalam artikel ini sebenarnya.
Jadi begitulah.
Hanya itu yang ada pada keduanya.
Semoga saya bisa menambahkan beberapa kejelasan tambahan dan semoga sukses dengan itu.
Ini akan menyenangkan dan menikmati tutorial praktis.
Sampai ketemu lain kali.
Sampai kemudian menikmati belajar.