Cześć i witamy z powrotem na kursie głębokiego uczenia się w dzisiejszym tutorialu, mówimy o
pochyłości gradientowej.
Nauczyliśmy się wcześniej, że aby sieć neuronowa mogła się dowiedzieć, co musi się
wydarzyć, to propagacja wsteczna i wtedy, gdy błąd jest różnicą lub sumą kwadratów różnicy między Y
i Y jest z powrotem propagowany przez sieć neuronową i ciężary są odpowiednio dostosowane.
Więc widzieliśmy to i dzisiaj dowiemy się dokładnie, jak te wagi są dostosowane.
Więc spójrzmy.
To jest nasza bardzo prosta wersja pracy neuronowej, która postrzega Traunera jako jednoliterową, feedforwardową sieć neuronową, a
to, co możemy zobaczyć tutaj, to cały proces w działaniu, w którym mamy jakąś wartość wejściową, a
następnie musimy poczekać, a następnie aktywować funkcję jest stosowany.
Otrzymujemy wynik, a następnie porównujemy go z rzeczywistą wartością, którą obliczamy funkcją kosztu.
Jak więc zminimalizować funkcję kosztu?
Co możemy z tym zrobić.
Cóż, jednym podejściem do tego jest brutalne podejście, w którym po prostu bierzemy wszystkie masy o różnych możliwych
masach i patrzymy na nie i sprawdzamy, który z nich wygląda najlepiej, a co robimy, na
przykład wypróbujemy na przykład na tysiąc ciężarów. i wypróbowalibyśmy, że otrzymamy coś
takiego dla funkcji kosztu, a jest to wykres na osi Y krzyża funkcjonalnego osi pionowej
na poziomej osi y.
A ponieważ widać formuły, które miałem minus Y do kwadratu.
Tak właśnie wyglądałaby funkcja kosztu.
Zasadniczo znajdziesz najlepszą, która tutaj jest.
Tak bardzo proste, bardzo intuicyjne podejście.
Dlaczego nie zrobić tej metody brutalnej siły.
Dlaczego nie wypróbować tysiąca różnych kosztów dla tysiąca różnych parametrów lub danych wejściowych dla wag i sprawdzić, który z
nich działa najlepiej.
W ten sposób znajdziesz najlepszą.
Cóż, jeśli masz tylko jeden sposób na zoptymalizowanie tego, może to zadziałać, ale
gdy zwiększysz liczbę wzrostów liczby Synopsys w twojej sieci, musisz stawić czoła klątwie wymiaru.
I co jest przyczyną wymiarowości.
Najlepszym sposobem na opisanie tego lub wyjaśnienie jest po prostu przyjrzenie się praktycznemu przykładowi.
Więc pamiętajmy o tym przykładzie, który mieliśmy, kiedy mówiliśmy o tym, jak
sieci neuronowe faktycznie działają tam, gdzie budowaliśmy lub uruchamiamy sieć neuronową dla wyceny nieruchomości.
Tak to wyglądało, kiedy było już dobrze wyszkolone, kiedy nie jest wyszkolone, zanim nie zostanie przeszkolone, zanim
dowiemy się, jakie to są wagi.
Rzeczywista sieć neuronowa wygląda tak.
Właśnie dlatego, że mamy wszystkie te różne możliwe kombinacje i wciąż musimy wyszkolić ciężary, a tutaj mamy
łącznie 25 ciężarów, więc cztery razy pięć na początku plus pięć więcej od trafienia
tam 25 ciężarów ogółem.
Zobaczmy, w jaki sposób możemy brutalnie zmusić 25 sposobów.
Jest to bardzo prosta sieć neuronowa właśnie tutaj.
Bardzo proste tylko jedno trafienie i jak moglibyśmy brutalnie przebić się przez sieć neuronową tej
wielkości.
No cóż, jest kilka prostych obliczeń matematycznych.
Mamy 25 ciężarów.
Oznacza to, że jeśli mamy tysiąc kombinacji, które rozwiążemy dla
każdej wagi, całkowita liczba kombinacji wynosi 1000 do potęgi 25 lub tysiąca lub 10, aby przeanalizować pięć różnych kombinacji.
Zobaczmy teraz, jak Sun jest sposobem na to, by oświetlić światowy superkomputer Fosse'a od czerwca 2016 r., W jaki sposób podejdzie do
tego problemu.
Właśnie tak sunway krawat, który świeci.
Wygląda na to, że jest to całkiem duży budynek dla tego superkomputera i uzyskał
Rekord Świata Guinnessa za superkomputer Fosses.
W tej chwili jest to najszybszy superkomputer na świecie, a niektóre wiązki światła mogą
działać z prędkością 93 klap.
Flop oznacza operację zmiennoprzecinkową na sekundę.
Więc może zrobić dziewięćdziesiąt trzy na olej napędowy.
Czasy dziesięć do potęgi 15 operacji pływających na sekundę.
Tak szybko jest w porównaniu.
Przeciętne komputery w tej chwili robią jak kilka gigaflopów i tak dalej.
Więc to rodzaj tych zakresów.
Mniej niż światło typu TEI Sunway.
Więc nagle wszystko kłamie, że jest w czołówce technologii.
I powiedzmy hipotetycznie, że może wykonać jedno badanie jednej kombinacji czterech w twojej własnej sieci na jednej dyskietce i jednej
operacji pływającej, co nie jest możliwe, co nie jest praktyczne, ponieważ potrzebujesz
wielu operacji pływających, aby przetestować pojedynczą wagę we własnym mało.
Ale nawet Let's dajmy mu przewagę.
Powiedzmy, że może to zrobić w idealnym świecie, który może to zrobić w jednej operacji pływającej, może wykonać jeden test
na jedną operację swobodną.
To oznacza, że Doddridge wciąż będzie potrzebował pięciu.
Podzielić dziewięćdziesiąt trzy razy dziesięć do około 15 sekund, aby przeprowadzić wszystkie te testy, aby zmusić brute force przez
tę sieć.
Oznacza to, że jeden lub przybliżony ma tendencję do zasilania 58 sekund i to jest to samo,
co tendencja do mocy 50 lat.
To jest ogromna liczba, która jest dłuższa niż wszechświat istnieje i na pewno nie będzie po
prostu ta liczba jest tak ogromna, że z całą pewnością nie zadziała ona dla nas w ogóle w naszej optymalizacji.
Więc idziemy.
To nie jest nie.
Nawet w najszybszym na świecie superkomputerze Sunway.
Musimy więc opracować inne podejście, w jaki sposób znajdziemy optymalną wagę.
Tak przy okazji, nasza sieć neuronowa była bardzo prosta, jeśli chodzi o to, czy
sieci neuronowe wyglądają jak coś takiego, czy nawet większego niż wtedy, to tak, to się nigdy nie wydarzy.
Tak więc metoda, którą zamierzaliśmy oglądać, nazywa się pochyłością gradientową i być może już o niej słyszeliście.
Jeśli nie, dowiemy się, co to jest teraz.
Oto nasza funkcja kosztowa, a teraz zajmiemy się tym, w jaki sposób możemy znaleźć sposób na szybsze znalezienie
najlepszej opcji.
Więc powiedzmy, że zaczynamy gdzieś, gdzie zaczniesz gdzieś.
Więc zaczynamy tam.
I od tego momentu w lewym górnym rogu mamy zamiar spojrzeć na kąt naszej funkcji kosztowej w tym punkcie, więc
właściwie to właśnie to, co trzeba nazwać gradientem,
trzeba rozróżnić.
Nie będziemy patrzeć na równania matematyczne.
Na koniec następnego wykładu przedstawimy kilka wskazówek dotyczących dodatkowego czytania.
Ale po prostu musisz rozróżnić, co to jest nachylenie w tym konkretnym punkcie i dowiedzieć się, czy
nachylenie jest dodatnie czy ujemne.
Jeśli nachylenie jest ujemne, tak jak w tym przypadku oznacza to, że zjeżdżasz w dół, więc po prawej stronie jest
zjazd w lewo, pod górę.
A to oznacza, że musisz iść w prawo.
Zasadniczo musisz zjechać w dół.
I to właśnie zamierzamy zrobić.
Boom robi krok w prawo.
Piłka ponownie się przewraca.
Ta sama rzecz.
Obliczysz nachylenie, a nachylenie jest dodatnie, co oznacza, że pisarz pod górkę w lewo jest w dół i musisz
iść w lewo, a ty jesteś na piłce.
I znowu obliczyć nachylenie i jesteś cały byk tam, gdzie idziesz, tak to
można znaleźć w prostych słowach, to jak znaleźć najlepsze CZEKANIA Najlepsza sytuacja, która minimalizuje twoją funkcję kosztową.
Oczywiście to nie będzie tak, że toczenie piłki będzie bardzo zygzakowatą metodą,
ale łatwiej ją zapamiętać, lub bardziej przyjemnie jest patrzeć na nią jak na toczącą się piłkę.
Ale w rzeczywistości tak, po prostu będzie tak, jakby podejście krok po kroku
miało być metodą zygzakowatą.
Tak, a także istnieje wiele innych elementów.
Są takie rzeczy jak na przykład dlaczego, dlaczego to się dzieje, dlaczego nie przechodzi przez linię, więc mogło wyskoczyć z tego
w górę, zamiast w dół i takie rzeczy, więc są parametry, które
można poprawić.
I jeszcze raz wspomnimy, gdzie możesz dowiedzieć się więcej na ten temat.
A ponadto będziemy mieli to w praktycznym zastosowaniu, ale w najprostszym intuicyjnym podejściu to właśnie się
dzieje.
Dochodzimy do sedna, po prostu rozumiejąc, w którą stronę musimy iść.
Zamiast brutalnego forsowania tysięcy, milionów, miliardów i kwadrylionów
kombinacji.
Możemy po prostu za każdym razem spojrzeć na to, gdzie jest, w którym kierunku jest tak pochylona, jak twoja, albo wyobrażasz
sobie, że stoisz na wzgórzu.
Który sposób ma wrażenie, że idzie w dół i niezależnie od tego, w którą stronę idzie, a ty
po prostu idziesz w ten sposób, jakbyś zrobił 50 kroków, a potem oceniasz ponownie OK, która droga idzie w dół w ten
sposób.
OK, a zrobię 50 kroków lub mniej, wykonam 40 kroków w ten sposób.
Więc staje się coraz mniej coraz mniej, kiedy się zbliżasz.
Oto przykład zastosowania gradientu w dwuwymiarowej przestrzeni.
To był jednowymiarowy przykład.
Tutaj mamy dwuwymiarową przestrzeń dla gradientowego zejścia, ponieważ widzisz, że zbliża się
ona do minimum i jest również nazywana pochyłością gradientową, ponieważ schodzisz do minimalnej funkcji kosztowej
i odkrywasz, że ma on nachylenie gradientowe zastosowane w trzech wymiary.
Wygląda to tak, jakby rzutować na dwa wymiary, które można zygzakować do
minimum.
W takim razie, że jest to indeks pochyłości gradientowej Tauriela. Porozmawiamy o stochastycznym.
Pochodzenie gradientowe jest kontynuacją tego samouczka.
I nie mogę się doczekać spotkania z tobą.
Następnym razem skorzystaj z głębokiej nauki.