Merhaba ve hoşgeldiniz, bugün tabii ki derin öğrenme üzerine Kostin gradyan inişinden söz edelim.
Geçmişte gradyan iniş hakkında bilgi aldık ve maliyet fonksiyonunu en aza indirgemeye çalıştığımız
optimizasyon problemimizi çözmek için çok etkili bir yöntem olduğunu öğrendik.
Bir sorunun birkaç dakika içinde, birkaç saat içinde, bir gün içinde, temelde, 10 yıldan 57 yıla kadar
güçlenmesine neden olur.
Ve gerçekten işleri hızlandırmaya yardımcı olur, çünkü yokuş aşağı hangi yolu görebiliriz ve o yönde
ilerleyebilir ve adım atabilir ve minimuma daha hızlı ulaşabiliriz.
eğim inişli çubuklu olan bu yöntemin maliyet fonksiyonunun dışbükey olmasını gerektirmesi.
Ancak
Ve burada gördüğünüz gibi, konveks maliyet fonksiyonunu seçtik, temel olarak
konveks, fonksiyonun şu an gördüğümüze benzediği anlamına gelir; sadece bir yönde vekil
ve özünde bir global minimuma sahiptir.
Ve bulacağımız da bu.
Peki ya bizim fonksiyonumuz dışbükey değilse.
Maliyet fonksiyonumuz doğru değilse ne olur?
Ya böyle bir şeyse.
Her şeyden önce bunun nasıl gerçekleştiğini.
İyi olabilir, çünkü öncelikle neden ve niçin arasındaki kar farkı olmayan bir
maliyet fonksiyonu seçersek veya böyle bir maliyet fonksiyonunu seçersek.
Fakat sonra çok boyutlu bir uzayda, konveks olmayan bir şeye dönüşebilir.
Ve bu durumda, normal eğim terbiyeli yöntemimizi uygulamaya çalışırsak bu durumda ne olurdu böyle
bir şey olabilir.
Global fonksiyonlardan ziyade, maliyet fonksiyonunun yerel bir minimumunu bulabiliriz.
Bu yüzden bu en iyisiydi ve yanlış bulduk ve bu nedenle doğru ağırlığa sahip değiliz.
Optimize edilmiş sinir ağımız yok.
Bir alt-sinir ağımız var.
Ve bu durumda ne yapacağız.
Buradaki cevap stochastictir.
Dereceli alçalma.
Ve alaylı eğim inişinin neden fonksiyonunun dışbükey olmasını gerektirmediği anlaşılıyor.
Şimdi konuştuğumuz normal eğim inişiyle stokastik aralık arasındaki iki farka
bir göz atalım.
Normal yeşil iniş, tüm satırlarımızı sinir ağımıza taktığımızda alıyor ve bir kez
daha sinir ağını birkaç kez kopyalamış bulunuyoruz, ancak sıralar her zaman
aynı sinir ağına takılıyor.
Yani sadece bir yıl hile var, bu sadece Kissel'in eylem amaçlı.
Ve sonra bunları taktığımızda, formüle dayanan maliyet fonksiyonumuzu hesapladık ve tabandaki
alttaki çizgiye baktık ve sonra ağırlıkları ayarladık ve bu degradasyon indirgeme metodu olarak
adlandırıldı veya aynı zamanda doğru terim de Bu parti gradyan iniş yöntemi.
örneğimizdeki tüm partiyi alıyoruz ve daha sonra stochastic gradyan iniş metodunun biraz farklı olduğunu kanıtlıyoruz.
Bu yüzden uyguladığımız
Burada sıraları birer birer alıyoruz, bu sırayı ele alarak sinir ağımızı çalıştırıyoruz ve sonra
ağırlıkları ayarlıyoruz.
Daha sonra, sinir ağımızı çalıştıran ikinci sıraya geçtiğimiz ikinci sıraya geçiyoruz.
Maliyet fonksiyonuna bakıyoruz ve daha sonra ağırlıkları yeniden ayarlıyoruz ve sonra bir başka Rohtak'ı
alıyoruz gül üçümüzü çalıştırdığımızda sinir ağımıza bakacağız maliyet fonksiyonuna ağırlık ayarladık.
Temel olarak, ağırlıkları her tek satırdan sonra ayarlamaktayız; her şeyi birlikte yapmaktan ve ağırlıkları iki farklı
yaklaşımı test etmekten başka bir şey yapmıyoruz.
Ve şimdi sadece ikisini yan yana karşılaştıracağız.
İşte burada görsel olarak onları hatırlama şekli bunlar.
Sinir ağınızdaki tüm satırları çalıştırdıktan ve daha sonra sadece ağırlıkları çalıştırdıktan sonra ağırlıkları ayarladıktan
sonra en iyi gradyan inişine sahipsiniz ve her şeyi tekrar yineleme iterasyon
yinelemesine tabi tuttunuz Aralık ayının altıncı sınıfta ve bir kerede bir
sıra koşarsınız ve ağırlıkları sadece ağırlıkları olduğu gibi ayarlarsınız ve her şeyi tekrar
tekrar yaparsınız ve buna tartışmayı denir.
yerel minimumları bulduğunuz sorunu önlemenize yardımcı olduğunu söylediğini söylediniz.
Ve esas iki farkın, alay edici eğim iniş metodunun genel toplam küresel minimumdan ziyade bu yerel
ekstremiteleri veya
Ve basit terimlerin nedeni, stokastik düşme iniş metodunun çok yüksek dalgalanmalara sahip
olduğu video var, çünkü bunları karşılayabilir.
Bir kerede bir yineleme veya bir satır yapıyor ve bu nedenle dalgalanmalar çok
daha yüksek ve sadece yerel minimumdan ziyade küresel minimumu bulmak çok daha muhtemeldir.
büyümek ama aslında aslında daha hızlı, daha da hızlı olmasıdır tüm verileri hafızaya yüklemek zorunda
kalmaz ve çalıştırın ve bu kuralların tümü açık olana kadar bekleyin.
Ve alaycı eğim iniş hakkında kötü bir degrade olduğunu diğer şey, ilk izlenimi gibi çünkü
o yapıyor çünkü yavaş büyümek birer birer
Onların etrafında teker teker dolaşabilirsiniz, bu yüzden çok daha hafif bir
algoritma bu anlamda çok daha hızlıdır, böylece kötülükten daha fazla avantaja sahip olduğu için bu anlamda daha çok yolu vardır.
Degrade iniş yöntemi.
iniş yöntemini geliştirmenin ana avantajı veya etki alanı türü, deterministik bir algoritma
veya başka bir alfabe alçaltılması haricinde rasgele bir anlam ifade eden alaycı
bir algoritma olması ve en iyi gradyan ve yöntemle Sinir ağınız için aynı ağırlık ağırlıkları.
Kötü gradyan
Toplu geçiş açılım metodunu her çalıştırdığınızda aynı yinelemeleri alırsınız, sizin için aynı
sonuçlar sizin alaycı eğim terbiyeli metoda sahip olmak için ağırlıklarımızın
güncellenir.
Bunu almazsınız çünkü stokastik bir yöntemdir, rollerini muhtemelen rastgele seçiyorsunuz ve sinir ağınızı
alaycı bir şekilde güncelliyorsunuz ve bu nedenle kategoriyi iyi bir yöntemle çalıştırdığınız her
seferinde gidiyorsun Başlangıçta aynı ağırlıklara sahip olsanız bile, farklı
bir işleme sahip olacaksınız ve oraya ulaşmak için farklı yinelemeler olacak.
Yani kısaca dehşet ve muhalefet neyin kastedildiğini ikisi arasında birleştiren ve her seferinde birer
birer çalıştıran bir bütün toplu işi çalıştırmak yerine Mini parti degradesi iniş
metodu olarak adlandırılan bir yöntem var.
Belli sayıda satır dizisi çalıştırırsanız belki 5 10 100, ancak o sırada bu sayıdaki satırları çalıştırmaya karar
verdiğiniz pek çok satır yolunuzu tek haneli rakamlarla güncellersiniz.
Degradasyon inişleri hakkında daha fazla bilgi edinmek isterseniz buna Mini Bache
gradyan iniş metodu deniyor. Bakabileceğiniz harika bir makale var.
ve aşağıdaki linkler çok iyi yazılmış çok basit bir terimle yazılmış bir makaledir.
Python bölümünün 13 satırındaki sinir ağı deniyor ve Andrew Trask tarafından aşağı iniyor
Avantaj ve dezavantajlarını bilen yeşil güzel suyun nasıl kullanılacağı üzerine ilginç, felsefi veya ilginç bazı düşünceleriniz
var ve bazı durumlarda nasıl şeyler yapacağınız konusunda bazı çok güzel
ipuçları ve hackler aldınız.
Çok kolay okunur yani kesinlikle kontrol edin.
Ve bir tanesi biraz daha ağır okudu.
Matematiğe giren ve matematiğin altına inmek isteyenler için neden.
Gradyan inişi bu özel.
Mezunları yönlendiren formül nedir ve nasıl hesaplanır vb.
Makale veya aslında kitaba göz atın.
Sinir ağları ve Michael Nielsen 2015 kitabının derin öğrenmesi adlı ücretsiz bir çevrimiçi kitap.
Temel olarak herşey yolunda gidip oradan kontrol edebilirsiniz.
Ve yine matematiğe çok yumuşak giriş.
Fakat bir makalede okuduğunuz gibi, bir anne için matematik ama matematik oldukça
ağır.
bölüm ısınmaya başlar ve sonra içine atlarsanız matematiğe çok ilgi duyuyorum, o zaman bu yazı gitmek için.
Ama aynı zamanda sizi bu havaya sokar, yani sanırım ilk önce matematiğin ısınmasına neden
olan bir
Ve işte gidiyoruz, böylece Grady anlamıyla gradyan inişini
yapmak arasındaki fark çok kısalıyor.
Ve bu notta, bugün bitireceğimiz Tauriel dedi.
Sizi bir sonraki sitede görmeyi sabırsızlıkla bekliyorum.
Ve o zamana kadar derin öğrenmenin keyfini çıkarın.