Cześć i witamy z powrotem, więc oczywiście na temat głębokiego uczenia się dzisiaj mówimy o gradacji Kostickiego pochodzenia.
Wcześniej dowiedzieliśmy się o pochyłości gradientowej i przekonaliśmy się, że jest to bardzo skuteczna metoda
rozwiązania problemu optymalizacji, w której staramy się zminimalizować funkcję kosztu.
Zasadniczo zabiera nas od 10 do 57 lat, aby rozwiązać problem w ciągu kilku minut lub godzin lub w ciągu
jednego dnia.
I naprawdę pomaga to przyspieszyć, ponieważ możemy zobaczyć, która droga jest z górki i możemy po prostu podążać w
tym kierunku i szybciej podejmować kroki i zmniejszać się do minimum.
Ale rzecz z kijem ze spadkiem gradientu polega na tym, że ta metoda wymaga wypukłości funkcji
kosztowej.
Jak widzicie, wybraliśmy funkcję wypukłego kosztu, która w zasadzie wypukła oznacza, że funkcja wygląda podobnie
do tego, co widzimy teraz, gdy jest to po prostu rodzaj vext w jednym kierunku i
że w istocie ma jedno globalne minimum.
I to właśnie znajdziemy.
Ale co, jeśli nasza funkcja nie jest wypukła?
Co jeśli nasza funkcja kosztu nie jest poprawna.
A co, jeśli coś takiego wygląda.
Po pierwsze, jak to się mogło stać.
Cóż, może się tak zdarzyć, jeśli najpierw wybierzemy funkcję kosztu, która nie jest kwadratową różnicą między tym,
dlaczego i dlaczego, a jeśli tak, to wybieramy taką funkcję kosztu.
Ale potem w wielowymiarowej przestrzeni może się ona przekształcić w coś, co nie jest wypukłe.
A więc, co by się stało w tym przypadku, gdybyśmy tylko spróbowali zastosować naszą normalną metodę gradientu, coś takiego
mogłoby się wydarzyć.
Możemy znaleźć lokalne minimum funkcji kosztowej zamiast globalnej.
Więc ta była najlepsza i znaleźliśmy niewłaściwą i dlatego nie mamy właściwej wagi.
Nie mamy zoptymalizowanej sieci neuronowej.
Mamy słabą sieć neuronową.
A więc, co robimy w tym przypadku.
Cóż, odpowiedź tutaj jest stochastyczna.
Pochodzenie gradientowe.
I okazuje się, że sarkastyczne nachylenie gradientu nie wymaga, aby funkcja przyczyny była wypukła.
Przyjrzyjmy się zatem dwóm różnicom między normalnym nachyleniem, o którym mówiliśmy,
a zasięgiem stochastycznym.
Tak więc normalne zielone zejście jest wtedy, gdy bierzemy wszystkie nasze rzędy, podłączamy je do naszej sieci
neuronowej i jeszcze raz mamy tu wielokrotnie kopiowaną sieć neuronową, ale za każdym razem wiersze są podłączane
do tej samej sieci neuronowej.
A więc jest tylko jeden letni trik, który jest tylko dla celów akcji Kissela.
A potem, gdy je podłączymy, obliczyliśmy naszą funkcję kosztową w oparciu o
prawą formułę i patrząc na wykres na dole, a następnie dopasowujemy wagi, to nazywa się
to metodą gradientowego zejścia lub też właściwym terminem jest tę metodę stopniowego pochłaniania partii.
Więc bierzemy całą partię z naszej próbki, którą stosujemy, a następnie zaczynamy, że metoda stochastycznego spadku gradientu
jest nieco inna.
Tutaj bierzemy rzędy jeden po drugim, więc bierzemy ten wiersz, prowadzimy naszą sieć neuronową, a następnie
dostosowujemy wagi.
Następnie przechodzimy do drugiego rzędu, w którym bierzemy drugi rząd, prowadzimy naszą sieć neuronową.
Patrzymy na funkcję kosztów, a następnie ponownie dopasowujemy wagi, a następnie przyjmujemy kolejną Rohtak, trzecią, którą
prowadzimy, naszą sieć neuronową, przyjrzymy się funkcji kosztowej, którą dostosowujemy wagę.
W zasadzie patrzymy na to, że dopasowujemy wagi po każdym rzędzie, zamiast robić wszystko razem,
a następnie testujemy dwa różne podejścia.
A teraz po prostu porównamy te dwie strony obok siebie.
Oto, jak je wizualnie zapamiętać.
Więc masz najlepsze nachylenie gradientu, w którym dostosowujesz wagi po ich uruchomieniu po uruchomieniu wszystkich wierszy
w sieci neuronowej, a następnie w zasadzie tylko wagom i uruchomieniu całego procesu ponownie
iteracji iteracji iteracji w szóstej klasie w grudniu i biegasz po
jednym rzędzie naraz i dostosowujesz wagi tak, jak to jest tylko waga, a potem robisz
wszystko ponownie i to nazywa się omawianiem.
I powiedziałeś, że dwie główne różnice polegają na tym, że sarkastyczna metoda
gradientu pomaga uniknąć problemu, w którym znajdują się lokalne ograniczenia lub lokalne minimalne wartości, a nie ogólne ogólne globalne
minimum.
Powodem tego jest prosty zapis, że film o metodzie stochastycznego gradientu ma dużo wyższe
fluktuacje, ponieważ może sobie na nie pozwolić.
Robi jedną iterację lub jeden wiersz na raz, a zatem fluktuacje są znacznie
wyższe i znacznie bardziej prawdopodobne jest znalezienie globalnego minimum, a nie tylko lokalnego minimum.
Drugą rzeczą w sarkastycznym nachyleniu gradientu, który moim zdaniem jest złym gradientem, jest to, że jest on bardziej
podobny do pierwszego wrażenia, jakie można mieć, ponieważ rośnie jeden po drugim, jest
wolniejszy, ale w rzeczywistości jest szybszy, ponieważ jest nie musi ładować wszystkich danych do pamięci i uruchamiać i czekać,
aż wszystkie te reguły są w ogóle włączone.
Można je po prostu toczyć po kolei, więc znacznie lżejszy algorytm
jest o wiele szybszy w tym sensie, choć ma znacznie więcej w tym sensie, ponieważ ma więcej zalet niż zły.
Metoda gradientowego zejścia.
Główną zaletą metody typu złego gradientu jest to, że jest to algorytm deterministyczny lub
inny niż rzutowanie gradientowego gradientu, który jest algorytmem sarkastycznym, co oznacza, że jest on
losowy i ma najlepszy gradient i metodę, o ile masz te same początkowe masy dla twojej sieci
neuronowej.
Za każdym razem, gdy uruchomisz metodę pochylenia z gradientem wsadowym, otrzymasz te same iteracje, które są takie
same dla ciebie, ponieważ wszystkie wagi są aktualizowane, abyśmy mogli uzyskać sarkazmową, przyzwoitą metodę gradientu.
Nie dostaniesz tego, ponieważ jest to metoda stochastyczna, którą wybierasz losowo i uaktualniasz swoją
sieć neuronową w sarkastyczny sposób i dlatego za każdym razem, gdy uruchomisz kategorię, przyzwoita
metoda nawet jeśli masz takie same masy na początku,
będziesz miał inny proces i różne iteracje, aby się tam dostać.
Tak więc w skrócie chodzi o to, co należy rozmyślać i odrzucać, ale istnieje również metoda między dwiema metodami,
zwana metodą Miniaturowego pochylenia z gradientem, w której łączy się te dwa elementy i zasadniczo działa, zamiast
uruchamiać całą serię pojedynczych operacji na raz.
Uruchamiasz partie wierszy, być może 5 10 100, niezależnie od tego, ile wierszy zdecydujesz się ustawić, aby uruchomić liczbę wierszy na
raz, a następnie zaktualizujesz sposób o jedną cyfrę i tak dalej.
I to się nazywa metodą gradientu mini Bache, jeśli chcesz dowiedzieć się więcej o
pochyłości gradientowej, jest świetny artykuł, na który możesz rzucić okiem.
Nazywa się to siecią neuronową w 13 liniach części Pythona, by wspaniale i zejść przez
Andrzeja Traska, a linki poniżej to dobry artykuł bardzo dobrze napisany, bardzo prosty.
Jest w nim kilka interesujących filozoficznych lub tylko interesujących myśli na temat stosowania zielonej przyzwoitej wody, które znasz wady
i zalety oraz jak radzić sobie w określonych sytuacjach, dzięki czemu otrzymujesz bardzo
ciekawe porady i sztuczki.
Bardzo łatwa lektura, więc zdecydowanie sprawdź to.
A jeszcze jeden jest nieco cięższy do czytania.
Dla tych, którzy są w matematyce, którzy chcą dotrzeć do sedna matematyki, dlaczego.
Pochylenie gradientowe jest takie specyficzne.
Jakie są formuły, które kierują stopniami i jak to jest obliczane i tak dalej.
Sprawdź artykuł lub książkę.
Jest to darmowa książka online o nazwie sieci neuronowe i głębokie uczenie się przez książkę Michael Nielsen 2015.
Po prostu jest to wszystko w sieci, możesz iść dalej i sprawdzić to.
I znowu bardzo miękkie wprowadzenie do matematyki.
Ale dla matki matematyka, ale matematyka, są dość ciężkie, kiedy idziesz dalej, czytając
artykuł.
Ale jednocześnie wpada w ten nastrój, myślę, że masz na myśli rozgrzewkę, w której najpierw rozgrzewasz matematykę, a potem wskakujesz
do tego, że jestem tak bardzo zainteresowany matematyką, to jest ten artykuł, do którego
należy przejść.
I oto idziemy tak, to jest w pigułce różnica między poczuciem Graney,
aby rzucić gradientem i jak pracować.
I w tej notatce, którą zamierzamy zakończyć, powiedział dziś Tauriel.
Nie mogę się doczekać, kiedy zobaczę cię na następnym.
A do tego czasu cieszcie się głęboką nauką.