Merhaba ve eğitici eğitime devam etmek için bugün eğitici eğitime devam
etmekten hoşlanıyoruz.
Daha önce öğrendiğimiz şey, bir sinir ağı için gerçekleşmesi gereken şeyleri öğrenmek için
geri yayılım olması ve bu hatanın farkı veya y şapkası ve Y arasındaki karekötik
toplamların toplamı sinir ağı ve ağırlıkları üzerinden geri iletildiğinde ortaya çıkmıştı. buna göre ayarlanır.
Bu yüzden onu gördük ve bugün bu ağırlıkların nasıl ayarlandığını tam olarak öğreneceğiz.
O halde bir göz atalım.
noktada bazı giriş değerlerimiz var, o zaman bir etkinleştirme fonksiyonunu beklemek zorundayız uygulanır.
Bu bir sinirsel çalışmanın basit bir versiyonudur algılayıcısı Trauner tek bir harfli ileri beslemeli
sinir ağıdır ve burada görebildiğimiz, işlemin tümü bu
Biz şapkayı alıyoruz ve daha sonra maliyet fonksiyonunu hesapladığımız gerçek değere kıyasla.
Maliyet fonksiyonunu nasıl en aza indirebiliriz?
Bunun hakkında ne yapabiliriz.
yaptığımız şeyin, örneğin bin ağırlığı diyelim denemek için kaba kuvvet yaklaşımım olduğunu. ve biz bunları
maliyet fonksiyonu için böyle bir şey alacağını denemek isteriz ve bu, Y ekseni
üzerinde çapraz fonksiyonel yatay eksende yatay eksen üzerinde bir çizelgedir.
Bunu yapmanın bir yaklaşımı, mümkün olan her ağırlığı alıp onlara baktığımızda ve hangisinin
en iyi görüneceğini ve
Ve formülleri görebildiğin için E eksi Y kare yaptı.
Maliyet işlevinin böyle bir şeye benzeyeceği şey budur.
Ve temel olarak, en iyisini burada bulmuş olacaksın.
Yani çok basit çok sezgisel yaklaşım.
Neden bu kaba kuvvet yöntemini yapmıyorsun?
parametre veya ağırlık girişi için binlerce farklı maliyet deneyelim ve hangisinin en iyi çalıştığını görün.
Binlerce farklı
Bu şekilde en iyisini bulacaksınız.
Peki bunu optimize etmek için yalnızca bir yolunuz varsa, ancak ağırlık sayısını
artırdıkça ağınızdaki Synopsys sayısını artırırsanız boyutsallık laneti ile karşı karşıya kalmanız gerekir.
Ve öyleyse boyutsallığın nedeni nedir?
Bunu açıklamak veya açıklamak için en iyi yol, pratik bir örneğe bakmaktır.
Bu nedenle, nasal şebekelerin aslında bir mülk değerlemesi için bir sinir
ağı kurduğumuz veya çalıştırdığımızda nasıl bir işe yaradığından bahsederken yaşadığımız bu örneği hatırlayın.
Bu yüzden, ağırlıkları hangisinin ne olduğunu bilmeden önce eğitilmeden önce eğitilmediğinde zaten
iyi eğitildiğinde nasıl göründü.
Gerçek sinir ağı buna benzer.
Doğru, çünkü tüm bu farklı olası sonuçlara sahibiz ve yine de ağırlıkları
eğitmek zorundayız ve burada toplam 25 ağırlığa sahibiz. Başlangıçta beş,
toplamda 25 ağırlık var.
Ve nasıl 25 yolu zorla kaba kuvvet edebileceğimizi görelim.
Burası çok basit bir sinir ağı.
Çok basit bir tanesi vuruldu ve bu boyuttaki bir sinir ağı yoluyla yolumuza nasıl
zorlayabiliriz.
Bazı basit matematiksel hesaplamalar var.
25 ağırlığımız var.
Bu, yani her ağırlığa göre çözeceğimiz bin kombinasyonumuz varsa toplam
kombinasyon sayısı 1000'e, 25 farklı veya bin veya 10'a kadar değişerek beş farklı kombinasyonun ayrıştırılacağı anlamına gelir.
Şimdi, Sun'ın Haziran 2016 itibariyle dünyanın Fosse süper bilgisayarını nasıl aydınlatacağını, bu soruna nasıl
yaklaşacağını görelim.
Doğru, bu yüzden Sunway kimin kucaklaştığını bağla.
Görünüşe göre, bu bir süper bilgisayar için tamamen büyük bir bina ve Fosses süper bilgisayarı
olduğu için Guinness Dünya Rekoru'na benziyor.
Şimdilik dünyanın en hızlı süper bilgisayarı ve bazı yollar kravat ışıkları
93 flop hızla çalışabiliyor.
Flop, saniyede yüzen işlem anlamına gelir.
Böylece, güç yağına doksan üç eder.
Saniyede 15 kayan operasyonun on katına.
Karşılaştırma bu kadar hızlı.
Ortalama bilgisayarlar şimdi birkaç gigaflops üzerinde oynamayı severler vb.
Bu yüzden bu aralıklardan hoşlanıyor.
TEI Sunway tipi ışıktan daha az.
Birdenbire, teknolojinin ön saflarında yer alan bir yalan var.
Ve varsayalım ki, kendi ağınızdaki dört birleşimi tek bir diskette test edebilir ve mümkün olmayan tek bir
kayan işlemi kendi başına tek bir ağırlığı test etmek için birden
fazla yüzen operasyona ihtiyacınız olduğu için pratik değildir varsayalım biraz.
Ama yine de başlayalım başlayalım.
Diyelim ki, onu bir kayan operasyonda bir kayan operasyon başına bir test yapabileceklerini yapabilecek ideal
bir dünyada yapabilirsiniz.
Doddridge hala beşten fazlasına eğilimi gerektirir demektir.
Bu testlerin hepsini ağ üzerinden kaba kuvvet uygulamak için doksan üç kez on ila yaklaşık 15 saniye
arasında bölün.
Yani bir veya yaklaşık olarak 58 saniyelik güç eğilimi gösterir ve
bu 50 yıllık güce eğilimlidir.
Bu, evrenin varolduğu uzun bir sayıdır ve kesinlikle bu
sayı çok büyük değildir, sadece bizim için optimizasyonumuzda hiç çalışmamaktadır.
İşte gidiyoruz.
Bu hayır hayır.
Dünyanın en hızlı süper bilgisayarında bile Sunway kuyruk lambası.
Dolayısıyla, optimum ağırlığı nasıl bulacağımız konusunda farklı bir yaklaşım düşünmeliyiz.
Bu arada, sinir ağlarımız bu gibi bir şeye benziyorsa ya da o
zamandan daha büyükse, evet onun hiç gerçekleşmeyeceği çok basit bir şekilde sinir ağımız çok basitti.
Dolayısıyla, metodun gradiyent inişi olarak adlandırılacağı ve bunu zaten duymuş olabilirsiniz.
Değilse, şimdi ne olduğunu öğreneceğiz.
Maliyet fonksiyonumuz var ve şimdi, en iyi seçeneği bulmak için nasıl daha hızlı bir yol
bulabileceğimizi görüyoruz.
Öyleyse, bir yere başlayacağınıza bir yere başlayalım diyelim.
O halde oraya başlayalım.
bu noktadan sonra ne yapacağımızı o noktada maliyet fonksiyonunun açısına bakacağız. Dolayısıyla, temelde gradyan
denilen şeyi farklılaştıracağımız için gidiyoruz.
Üst soldaki
Matematik denklemlerine bakmayacağız.
Bir sonraki dersin sonunda ek okuma ile ilgili bazı ipuçları vereceğiz.
Ancak temel olarak, yalnızca belirli bir noktadaki eğimin ne olduğunu ayırt etmeniz ve eğimin olumlu veya
olumsuz olup olmadığını öğrenmeniz gerekir.
Eğer eğim bu durumda olduğu gibi negatif ise, yokuş aşağı doğru gidiyorsanız sağa sola
yokuş aşağı gidiyorsanız demektir.
Ve buradan oraya gitmek zorunda olduğun anlamına geliyor.
Temelde yokuş aşağı gitmek gerekir.
Ve biz de bunu yapacağız.
Boom sağa bir adım atıyor.
Top tekrar aşağıya iner.
Aynı şey.
Eğimi hesaplarsınız ve eğim pozitiftir; yazarın yokuş yukarı solu yokuş aşağı gelir ve
sola çıkmanız gerekir ve topun üzerindesiniz.
iyi BEKLEYİCİLERİ nasıl bulursunuz? Maliyet işlevinizi en aza indirgeyen en iyi durum.
Yine eğimi hesaplarsanız ve buradaki tüm boğaysanız, giderseniz gidersiniz, basit terimlerle bunu nasıl bulursunuz, en
Elbette bir bilye yuvarlaması çok zikzak tipi bir yaklaşım olacak
gibi olmayacak ama hatırlamak daha kolay ya da tür yuvarlanırken ona bakmak daha eğlenceli.
Ama gerçekte evet sadece bir adım gibi yaklaşıyor olacak
yöntemin zikzak tipi olacak.
Evet, ayrıca birçok başka öğe var.
neden aşağıya iniyorsa, neden neden çizginin üzerinde ilerlemiyor ki aşağıdan yukarıya doğru yukarıdan aşağı
yukarı atlayabildiniz ve böyle çakıştırabileceğiniz parametreler var.
Örneğin niçin
Ve yine burada daha fazla bilgi edinebileceğiniz noktadan bahsedeceğiz.
Ve ayrıca bunu pratik bir uygulamada yapacağız, ancak en basit sezgisel yaklaşımda olan biten
şey budur.
Sadece hangi yoldan gitmemiz gerektiğini anlayarak altına giriyoruz.
Kaba kuvvet binlerce, binlerce ve milyonlarca, milyarlarca ve katrilyonlarca kombinasyon
zorlamak yerine.
nereye eğimli olduğu ya da bir tepede durduğunuzu hayal ettiğiniz yere her defasında sadece bakabilirsiniz.
Sizin gibi her yöne
Hangi yönden aşağı ineceğini ve hangi yönde gittiğini hissediyor ve sizden 50 adım
öteye giderken böyle yürümeye devam ederseniz tekrar bu şekilde aşağıya doğru gidiş yönünü de tekrar
değerlendiriyorsunuz.
Tamam, 50 adım atacağım veya daha az 40 adım atacağım.
Dolayısıyla, yaklaştıkça gittikçe azalıyor.
Dolayısıyla, iki boyutlu bir alanda uygulanan eğim iniş örneği.
Bu, tek boyutlu bir örnekti.
Burada, eğim iniş için, minimuma daha yakınlaştığını görebileceğiniz ve bir degrade
kökenli olarak adlandırıldığından, maliyet fonksiyonunun asgari seviyesine indiğinizden ve üç aşamada uygulanan bir
eğim inişinin olduğunu bulabileceğiniz iki boyutlu bir alana sahibiz boyutları.
İki boyuta yansıtıyorsanız, asgari seviyeye doğru zikzak yaparken görebileceğiniz gibi
görünen budur.
Dolayısıyla, Tauriel'in degradasyon endeksi oldu. Stochastic hakkında konuşacağız.
Gradient inişi aslında bu öğreticinin bir devamıdır.
Ve sizi orada görmek çok isterim.
Ve bir dahaki sefere derinden öğrenmenin keyfini çıkarın.