Merhaba ve derin öğrenme dersine hoş geldiniz, bu, yumuşak ve çapraz entropi işlevleri hakkında
konuşmak için ek bir öğreticidir.
Konvansiyonel sinir ağlarından söz ettiğimiz bu bölümün ana bölümünde geçtiğimiz tüm bölümleri
tamamlamak için yüzde 100 gerekli değildir ancak aynı zamanda bunun olacağını
düşündüm. bilgi ve becerinin çantasına iyi bir ek.
Öyleyse devam edin ve bu işlevleri araştıralım.
olduğumuz şeyle başlamak, bölümün ana bölümünde yaptığımız bir sinir ağı sonucudur ve sonunda,
bir köpek için doksan beş sıfır noktası için bazı olasılıkları ortaya çıkarır.
Bu noktada, burada sahip 05 bir kedi için yüzde beş ya da yüzde 5.
Soldaki bir fotoğrafın bir girdi olduğu göz önüne alındığında Bu, trenin yürütülmesinden
sonra, aslında bu çalışıyor ve belirli bir görüntüyü sınıflandırıyor.
Ve burada soru şu ki bu iki değer bir araya nasıl gelmektedir.
Çünkü yapay sinir ağları hakkında öğrendiğim her şeyi bildiğim kadarıyla, bu
iki son nöronun birbirine bağlı olduğunu söyleyecek bir şey yoktur.
Peki, her birinin diğerinin değerinin ne olduğunu bildiklerinin değerinin ne olduğunu
nasıl bilebilirlerdi.
Ve değerlerini birine kadar nasıl ekleyeceklerini biliyor olurlardı.
İyi cevap onlar olmaz olmasıdır.
Yapay sinir ağının klasik versiyonunda ve yaptıklarının tek yolu, durumdan kurtulmamıza yardımcı
olması için soft max fonksiyonu adı verilen özel bir fonksiyon tanıttığımızdan.
Normalde köpek ve kedi nöronları herhangi bir tür gerçek değere sahip olmalıydı; öyle olması
gerekmez, bir taneye kadar eklemek zorunda kalmazlar.
Fakat oradaki en üstte yazılı olan ve bu değerlerin 0 ile 1 arasında olmasını
sağlayacak olan yumuşak maksimum fonksiyonunu uygulayacağız ve 1 ile 3 PPTA'ya kadar toplamalarını sağlayacağız.
Yumuşak maksimum fonksiyonu veya normalize edilmiş üstel fonksiyon, lojistik fonksiyonun genelleştirilmesidir,
çünkü quote unquote squash, keyfi gerçek değerlerin k boyut vektörüne sahiptir ve sıfıra 1'e kadar
bir aralıktaki gerçek değerlerin k boyut vektörüne eklenir.
Yani temelde tam olarak ne istediğini yapar.
Bu değerlerin 0 ile 1 arasında olmasını sağlar ve 1'e kadar eklediğinden emin olun.
Ve işler yol bu mümkün olduğu şekilde olmasıdır çünkü biz burada
altta bir toplamı olduğunu görebilirsiniz.
üslüyü alır ve Zed'in gücüne koyar ve onu bir araya getirerek, sınıflarınızın tamamında bir iki vardır.
Böylece,
Bütün bu değerler.
Ve orada normalleşmeniz burada gerçekleşiyor.
Sos kutusu işlevi böyle işe yarıyor ve yumuşak bir sonraki işlevi konvolüsyonel sinir ağlarına
dahil etmek mantıklı geliyor, çünkü bir köpek ve bir kedi olası bir sınıfına sahip olsaydınız ne
kadar garip olurdu ve köpek sınıfında yüzde 80 olasılığınız vardı .
Ve kedi pençeleri için yüzde 45'lerin iyi bir seviyedeydiniz.
iyi oluyor ve çoğu durumda konvolüsyonel ve sinirsel ağlarda bu işi görüyor olacaksınız.
Böyle mantıklı değil ve bu nedenle yumuşak bir sonraki işlevi tanıttığınızda daha
Şimdi başka bir şey, yumuşak maksimum fonksiyonu Cross-entropi fonksiyonu olarak adlandırılan bir şeyle birlikte ele alınması
ve bizim için çok kullanışlı bir şey olması.
Şimdi formüle bakalım.
Çapraz giriş işlevi bunun gibi görünür.
Aslında yüzyılın bu gösterimini kullanacak farklı bir hesaplama kullanıyor olacağız, ancak
sonuçlar aslında aynı.
Bu hesaplamak daha kolaydır.
Ve şunu biliyorum, şu an ekranda formülleri olan şeylerle pek ilgisi olmayan bir ses
çıkarabilir, ancak bu bölümün sonunda ek okunması önerilir, bu
yüzden matematiği kaldırmazsanız endişelenmeyin.
Şu anda matematiğini açıklamamış olsak bile.
Ancak buradaki nokta, entropi karşısında, entropi fonksiyonu boyunca iyi olanın olmasıdır.
Yapay sinir ağlarında daha önce doğal performansımızı değerlendirmek için maliyet fonksiyonu olarak kullandığımız ortalama
kare ok işlevi olarak adlandırdığımız bir fonksiyona sahip olduğumuzu hatırlayın.
Amacımız ağ performansımızı optimize etmek için MSE'yi en aza indirmekti.
Elimizdeki maliyet fonksiyonu o zaman orada ve konvolüsyonel sinir ağlarında MSE'yi kullanabiliriz ancak yumuşak maks
fonksiyonu uyguladıktan sonra konvolüsyonel sinir ağlarında daha iyi bir seçenek, çapraz entropi
fonksiyonu haline geldi.
Ve konvolüsyonel sinir ağlarında, çarpraz girdi işlevlerini uyguladığınızda maliyet fonksiyonuna artık adı olmayan fonksiyona
son fonksiyon denir ve bunlar çok benzerdir.
Bunlar sadece küçük bir terminolojik farklılıklar ve biraz farklı ve ne demek istedikleri gibi.
Ama her neyse, hemen hemen aynı şey.
ağımızın performansını en üst düzeye çıkarmak için en aza indirgemek istediğimiz şey yine oluyor.
Ve son işlevi,
Bu nedenle, bu işlevin nasıl uygulanabileceğine ilişkin hızlı bir örneğe göz atalım.
Yani ağıza bir köpek imgesi koyduğumuzu düşünelim.
Köpek için öngörülen değer 0'dır. 9 ve bu eğitim yapıyor, böylece bir köpek olan
etiketi bildiğimizi biliyoruz.
Tahmini değeri 0. 9 kedi için prigged değeri 0'dır. 1 sonra burada etikete sahibiz, bu yüzden bir
köpek biliyoruz çünkü bu köpekler için veya kedi için 0 1 eğitiyor.
Ve bu durumda bu durumda, bu sayıları çapraz entropi için formülünüze bağlamanız gerekir.
Bunu nasıl yaptın, soldaki değerleri sözlü ipucuna gidecek.
Sağ taraftaki logaritma ve sağdan gelen değerler P'ye gidecek ve hangisinin
oraya gittiğini hatırlamak önemlidir, çünkü onları yanlış alırsanız, bir logaritma
almak istemiyorsunuz. tümü sıfır değerden ve / veya 1'den gidiyorum.
Yani sadece onları takmak istiyorsun.
Onları doğru yerlere taktığınızdan emin olun.
Ve sonra siz bunu temel olarak eklediniz.
entropinin ne olduğunu daha iyi anlamamıza tür sağlıyorsunuz. Daha az öyle olacak.
Çapraz girdi nasıl işliyor ve biz şu an bakalım, şimdi bu işlevi gerçek hayatta
uygulayan belirli bir adım adım bir adıma bakacağız ve Çapraz
Amacım bu işe yaramam yüzyılın daha rahat olmasını sağlamak çünkü çok kıvrımlı
sesler çıkarabiliyor ve hiç ses çıkarma ihtimali yok.
Dönüşümsel sinir ağları gibi çok karmaşık ve korkutucu gelebilir ama değil.
İşte nokta buydu.
Öyleyse devam edelim ve uygulayalım, böylece korkunç olmadığını biliyoruz.
Yani burada hepsi senin.
Ayrıca bu, neden neden farklı neden işlevlerine baktığımızı açıklayacaktır.
Bu yüzden sinir ağı bir sinir ağı, iki sinir ağımız olduğunu ve sonra
bir köpeğin bir imgesini geçtiğimizi ve bunun bir kedi olmadığını bir köpek olduğunu bildiğimizi varsayalım.
Ve sonra başka bir görüntü var bizim kedi bu kez bir hayvan ve bir kedi değil bir köpek ve burada
biz aslında bir köpek bir kedi değil bir delik arıyoruz.
Çok yakından bakarsan.
Dolayısıyla, ilk olguda sinir ağlarımızın neler öngördüğünü görmek istiyoruz.
köpek yüzde 10 kedi doğru ağ numarası yok 60 yüzde köpek yüzde 40 hala kedi kötü doğru.
Sinir ağı 1 yüzde 90
Ama doğru.
İkinci seçenek ilk sinir ağı yüzde 10 kedi köpek yüzde 90 kedi.
Doğru.
Bu rakamın yüzde 30'u köpeklerin% 70'i daha kötü olduğunu biliyorsunuz, ancak yine de doğru.
Ve sonra nihayet sinir ağı içinde görüntü yıl eski ağı kazandı yüzde 40 köpek yüzde 60 kedi
yanlış sinir ağı sayısı yüzde 10 köpek ve yüzde 90 kedi yanlış ve kötü.
sonuncusu üç imge boyunca sinir ağının sinir ağından daha iyi performans gösterdiğini yanlış anlamış olsa da.
Burada kilit nokta, her iki net insan da
Son durumda bile, köpek için sinir ağına karşı yüzde 40 şans gibi köpek vermiş olsaydı bile,
köpeğe sinir ağı 2 ile kıyaslandığında bir tanesi yalnızca% 10 şans
veya sinir ağı kazandırdı.
Ve şimdi biz derecelendirmeden bahsettiğimiz performansı ölçebildikleri işlevlere
bakacağız.
Bu yüzden bunları bir masaya koyalım, böylece yanlış numaraya sahip sinir ağı var.
Bu resim numarası.
Ve sonra görüntü biriniz için.
Yüzde 90 köpek şempanzesi ve kedi tahmininde ne var.
Marable'ın şapkası var ve gerçek değerin var, bu yüzden köpek doğru kedi yanlış.
İki numaralı resim için aynı şey ve aynı şey en az üç ve aynı numaralı sinir ağı için
aynıdır.
Bu yüzden Köpek yüzde 60'ı ilk imajda yüzde 40'ı tuttu.
Croton'ların kedi olmadığını kehanetle tahmin ettikleri şey de budur.
Ve bunun gibi.
Ve şimdi, şimdi hangi hataları alabileceğimizi görelim.
Performansını tahmin etmek ve ağlarımızın performansını izlemek için hangi hataları hesaplayabiliriz?
Bu yüzden bir hata türü sınıflandırma hatası olarak adlandırılır.
Ve bu temel olarak sadece onu doğru mu yapmadın mı istiyor mu diye soruyor.
Olasılıklara bakılmaksızın, hemen SAĞLAYINIZ.
Yoksa doğru anladınız mı.
Her iki sinir ağında da her iki durumda da bir sinir ağı var.
İşte böyle yanlış yaptın.
Böylece üçünden bir tanesi yanlış çıktı.
Ağınız için yüzde 33 hata oranı ve sinir ağı için yüzde 30 hata oranı.
Bu açıdan bir temel olarak, her iki sinir ağı da aynı seviyede performans gösteriyor ancak bunun doğru
olmadığını biliyoruz.
Sinir ağı Ikhwan'ın sinir ağı performansını aştığını biliyoruz.
Bu nedenle, bir sınıflandırma hatası, özellikle geri yayılım ortalama karekök hata amaçları için iyi
bir ölçü değildir ve Excel'de bu hesaplamaları yapma şeklinize göre sadece onlarla birlikte olmak istemiyordum
ama Tony sadece oturup bunları bir kağıtta veya Excel'de yapın.
Bunlar basit hesaplamalardır, sadece temel olarak kareli hataların toplamını alır ve
ardından gözlemlerin ortalamasını alırlar ve bu da hemen hemen aynıdır.
Sinir ağı için sinir ağı 2 için yüzde 25, sinir ağında ise yüzde 71 hata oranı elde edersiniz,
bu nedenle bunu daha doğru görürsünüz.
Bize neredeyse birinin kendi ağınızdan daha düşük bir hata oranına sahip olduğunu söylüyor.
Ve sonra tekrar entropiyi çaprazla.
Bunu hesaplayabildiğiniz formülü gördük. Bunun anlamı, ortalama karesel hatadan hesaplamak daha kolaydır. Entropi karşısında
çapraz alan, sinir ağları 1 ve 1 için yüzde 38'lik bir oran sağlar. ağı 2 için 0 6.
Sinir
Sonuçların biraz farklı olduğunu görebilirsiniz.
Minik oyuk alanını ve çapraz entropiyi bildiğinize baktığınızda onlara böyle bakarsanız ve çapraz
entropiyi neden kareli hata anlamına gelirken kullanırsınız sorusu yalnızca söyledikleri sayılara benzemekle birlikte, hepsi bu hesaplamalar
sadece hepsinin hepsinin yapabileceğini size göstermek içindir, sadece bir
kağıt üzerinde yapabileceğiniz gibi yapamazsınız.
Çok yoğun matematik değildir.
Bunlar oldukça basit basit şeylerdir.
Ancak, neden ortalamalara neden entropi kullanırsınız sorusu demek çok güzel bir soru sormanız
demektir.
Bunun cevabının çapraz entropinin, ortalama karesel hata üzerinde bariz olmayan birçok avantajı
olduğunu sormuştunuz diye sevindim.
Bu yüzden bir çiftten bahsedeceğim, ancak o zaman size daha fazlasını nerede bulabileceğinizi size bildiririm.
Dolayısıyla bunlardan biri, örneğin arka yayılımınızın başlangıcında, çıktı değerinizin çok çok çok
küçük, çok küçücük olmasıdır.
Dolayısıyla, istediğiniz gerçek değerden çok daha küçüktür.
O zaman başlangıcında, harika ve terbiyeli dünyadaki degrade çok düşük olacak ve
yeterli olmayacak.
Sinir ağı aslında bir şeyler yapmaya ve hareket etmeye başlamanın ve bu ağırlıkları ayarlamaya başlamasının
ve Movistar'ın doğru yönde hareket etmeye başlaması çok zor.
Çapraz entropi gibi bir şeyi kullandığınızda, bu logaritmayı içerdiğinden aslında ağın böyle
küçük bir alanı bile değerlendirmesine ve bununla ilgili bir şeyler yapmasına yardımcı olur.
İşte bunu düşünmek için.
Diyelim ki yine de bunun içinde çok sezgisel bir yaklaşım var.
Matematiğe bir bağlantı olacak ve bunları daha ayrıntılı olarak matematik yoluyla türetebileceksiniz
ancak çok sezgisel bir yaklaşım.
İstediğiniz sonucunu beğenelim diyelim.
Bu bir ve şu anda milyonda birinin birinde.
Sağ.
0 $. 00 var mı yoksa bir tane var mı ve sonra bir sonraki döneme göre
bir milyonda bin'den binlere kadar iyileştiğini düşünüyorsun.
Ve karesel hatayı hesaplarsan, sadece birini diğerinden çıkarırsın.
Veya temelde her durumda bir kare içinde Kalka'yorsunuz ve bir kasa karşılaştığınızda
karekök hatalarının diğerine kıyasla çok fazla değişmediğini göreceksiniz.
Ortalık kareye baktığınız zaman ağınızı pek geliştirmediniz.
Ancak eğer bir logaritma aldığınız için çapraz entropiye bakıyorsanız ve bunu bir
diğerine bölmekle karşılaştırıyorsunuz demektir.
Ağınızı önemli derecede iyileştirdiğinizi göreceksiniz, böylece ortalama kareli hata terimlerinde bir milyon ile
1000 arasında atlama çok düşük olacaktı.
Önemsiz olacak ve olmayacak.
Gradyan artırma işleminizi veya geri yayılımınızı doğru yönde yönlendirmez.
Hepsi doğru yönde yönlendirilecek ancak çok yavaş bir rehber olacak, ancak
yeterli güce sahip değil. Entropi üzerinde çapraz entropi yaparsanız, bunları bildiğiniz çok
küçük ayarlamalar olsa bile anlarsınız göreceli olarak mutlak terimle ufak bir değişiklik büyük
bir gelişmedir.
Ve kesinlikle doğru yönde ilerliyoruz.
Bu yoldan devam edelim, böylece çapraz entropi, sinir ağınızın doğru duruma gelmesine yardımcı olacak ve
sinir ağı optimal bir hale getirmek için daha iyi bir yoldur.
Fakat unutmayın ki, bunun sadece entropi karşısında sınıflandırma için yalnızca tercih edilen yöntem olduğu durumlarda çalışır.
Yapay sinir ağlarında sahip olduğumuz gerileme gibi şeylerden söz ediyorsanız, çapraz entropi sınıflandırma için daha
iyi ise de yine de yanımıza kare koymayı tercih ediyorsunuz ve yine de yumuşak kullandığımız gerçeği ile
ilgisi var. bir sonraki fonksiyona bakalım, bu, bu konuda biraz daha fazla bilgi edinmek
için iyi bir yer olduğunun sezgisel bir açıklaması olduğu için, neden gerçekten sizinle ilgileniyorsanız,
neden çapraz kareler ortalaması karesi hatası kullandığımızı biliyoruz.
Google, Geoffrey Hinton'un yaptığı bir video, yumuşak maksimum çıkış fonksiyonunu çağırdı ve bunu çok iyi açıkladı
ve zaten daha iyi açıklayan kim olduğunu öğrenmenin vaftiz babası olduğunu biliyorsunuz.
Ve bu arada, Geoffrey Hinton'un herhangi bir videosu altın renktedir.
Her şeyi zaten açıklamak için büyük bir yeteneği var.
Bu, çapraz karşısında o yumuşak hoş ve umarım size neyin olup bittiğini sezgisel bir
anlayışa benzemektedir.
Ancak daha da önemlisi, başlık çapraz entropi ile işe koyulmadığınızı çünkü başlık pratik hikayelerden
bahsedecek ve bunun için hazırlandığınızdan emin olmak istedim.
Ve bu son işlevi hesaplamanın başka bir yoludur.
maksimum işleviyle el ele gelen ağınızı en iyi duruma getirmenin başka bir yolu.
Ve sınıflandırma problemlerine ve dolayısıyla konvolüyonel sinir ağlarına özel olarak uyarlanmış ve yumuşak
Bu yüzden ek okumalar, entropiye çapraz ışık girmek istiyorsanız ilgileniyorsanız tabii
biraz daha yoğunlaşın.
Kontrol etmek için iyi bir makale, Rob DePietro 2016'nın entropi kaybını çaprazlamak için samimi bir
giriş olarak adlandırılır.
İşte bağlantı aşağıda.
Çok çok hoş çok yumuşak ve hiçbir şey süper karmaşık bir matematik değildir.
biliyorum ve biz size giriş açısından benzer bir çapraz girişin iyi bir genel görünüşü.
İyi benzetmeler araba benzetimleri kullanarak iyi örnekler ve araba ve bilgi ve bitler ve
kısıtlamalar hakkında konuşmalar bakmak ve nasıl bir bakmak için iyi bir makale bu bütün Unico
bu çözecektir
Eğer gördüğünüz gibi yoğun matematiğe girmek isterseniz, Intermezzo'nun kullanımı açısından çok sinir ağı
Intermedizo'nun nasıl uygulanacağı ile ilgili bir makaleyi ya da bir blogu inceleyin. Ara
gibi bir şey var gibi.
İçinde kesiklik var.
tiyatroya gittiğinizde ilk parçayla ikinci bölüm arasında bir mola vermek gibi bir şey biliyorsunuzdur.
Bir
Bu yüzden bütün bu adımları atmaktan hoşlanıyor ve sonra seviyor ve sonra bunu
önce açıklamam gerektiğini söylüyor.
Ve evet, bu yüzden intermezzo deniyor.
Peter Rolands 2016'nın makalelerini de anladığım kadarıyla başka bir gerekçe yok ki her ikisi de
oldukça yeni.
Ve aslında, bu makaledeki yumuşak Max ve çapraz entropinin arkasındaki Kross entropisinin ardındaki matematiğe
girmek isterseniz bunu kontrol edin.
İşte gidiyoruz.
Bu ikisinin hepsi bu kadar.
Umarım bazı netlik ve şans getiririm.
Eğlenceli olacak ve pratik derslerden keyif alacaksınız.
Bir dahaki sefere görüşürüz.
O zamana kadar öğrenmenin tadını çıkarın.