Cześć i witamy z powrotem na kursie głębokiego uczenia się.
W porządku, dziś mówimy o funkcji aktywacji.
Przejdźmy od razu do tego.
Tak więc od tego momentu poprzednio mówiliśmy o strukturze jednego neuronu.
Więc w środku wiemy, że ma pewne wartości wejściowe, które wchodzą w to, że ma
pewne wagi, a następnie dodaje sposób obliczenia sposobu, w jaki niektóre z tych wejść, a następnie zastosować funkcję aktywacji
w kroku 3.
Przekazuje sygnał do następnego roku, a to o tym dzisiaj mówimy, mówimy
o wartości, która ma zostać pominięta.
Więc mówimy o stosowanej funkcji aktywacji.
Jakie więc opcje mamy dla funkcji aktywacji?
Cóż, przyjrzymy się czterem różnym typom funkcji aktywacyjnych, z których można wybierać.
Oczywiście istnieje więcej różnych typów funkcji aktywacji, ale są to te, o których
będziesz słyszeć i których będziemy używać w tym kursie.
Oto funkcja progowa.
Tak to wygląda.
Więc na osi X masz ważone niektóre wejścia na osi Y.
Po prostu znasz wartości od 0 do 1 i zasadniczo funkcje progowe są bardzo prostym
typem funkcji, w której jeśli wartość jest mniejsza od zera, to za darmo.
Dzięki ssion przechodzi na zero.
Jeśli wartość jest większa od zera lub równa zero, funkcja progowa działa na wartość 1.
Jest to w zasadzie coś w rodzaju tak, nie ma funkcji.
Bardzo bardzo proste.
Bardzo rodzaj sztywnego typu funkcji tak lub nie.
Brak innych opcji.
Więc idź.
Tak to działa.
Bardzo prosta funkcja.
Przejdźmy do czegoś nieco bardziej złożonego.
Teraz sigmoid działa bardzo interesującą formułą, którą tutaj widzimy, teraz jest jeden podział na jeden
plus jeden.
Siła minus X, podczas gdy w tym przypadku oczywiście X jest wartością sum sumy.
I tak, tak.
Tak wygląda sigmoid.
Jest to funkcja używana w regresji logistycznej.
Jeśli pamiętasz z kursu uczenia maszynowego.
Więc co jest dobre w tej funkcji, jest to, że jest gładka.
W przeciwieństwie do funkcji wirtualnej.
Ten nie ma tych załamań na swojej krzywej i dlatego jest po prostu ładny i płynny, stopniowy postęp.
Tak więc wszystko poniżej 0 jest tak jak spada poniżej zera.
Działa w przybliżeniu w kierunku jednego, a ta funkcja sigmoidalna jest bardzo użyteczna w końcowej warstwie wyjściowej Lehrena.
Zwłaszcza, gdy próbujesz przewidzieć prawdopodobieństwa.
Zobaczymy to podczas całego kursu.
A teraz mamy prostownik funkcji prostownika, mimo że jego załamanie jest
jedną z najpopularniejszych funkcji dla sztucznych sieci neuronowych, więc idzie aż do zera, to zero.
A potem stamtąd postępuje stopniowo wraz ze wzrostem wartości wejściowej, a zobaczymy, że w trakcie kursu zobaczymy to
w innych ćwiczeniach intuicyjnych, a także zobaczymy, jak wykorzystujemy tę
funkcję w praktycznej stronie kursu i Skomentuję to nieco więcej na kilku slajdach od
teraz.
Pamiętaj tylko, że funkcja bezpośredniego ognia jest jedną z najczęściej używanych funkcji w sztucznych sieciach neuronowych.
I wreszcie mamy jeszcze jedną funkcję, o której zapewne usłyszycie.
Jest to styczna funkcja hiperboliczna.
Jest bardzo podobny do funkcji sigmoid, ale tutaj hiperboliczna styczna funkcja idzie poniżej zera, więc wartości idą od 0
do 1 lub około 2 1 i idą od zera do minus 1 po drugiej stronie.
A to może być przydatne w niektórych aplikacjach.
Więc nie zamierzamy zbytnio zagłębiać się w każdą z tych funkcji, które chciałem wam przybliżyć,
abyście wiedzieli, jak wyglądają i jak się nazywają.
Jeśli chcesz uzyskać dodatkowe czytanie, sprawdź ten artykuł na 75-letniej działce.
Czy często nazywasz się Deep Sparse rektyfikuje sieci neuronowe 2000 papieru.
I tam dowiesz się, dlaczego funkcja prostownika jest tak cenną funkcją, dlaczego jest tak
popularnie używana.
Ale na razie tak naprawdę nie musimy znać wszystkich tych rzeczy.
Na razie zaczniemy je stosować, a zaczniesz z nich korzystać coraz więcej.
Kiedy więc czujesz się komfortowo z praktyczną stroną rzeczy, możesz odnieść się do tego artykułu, a
wtedy będziesz mógł szybciej wchłonąć tę wiedzę i będzie to miało więcej sensu.
Pamiętaj jednak, że gdy będziesz gotowy, gdy poczujesz, że jesteś gotowy, możesz iść
i zbadać papier i zdobyć cenną wiedzę.
Tak więc, aby szybko podsumować, mamy funkcję aktywacji progu, która jest podobna do sigmoidalnej funkcji
aktywacji, która wygląda tak.
Mamy funkcję prostownika i mamy funkcję stycznej hiperbolicznej, a teraz, aby zakończyć ten
samouczek. Szybko zróbmy kilka ćwiczeń, więc po prostu wykonaj dwa szybkie ćwiczenia, aby pomóc tej wiedzy.
Pierwszym z nich jest tutaj przykład sieci neuronowej tylko jednego neuronu i od razu
warstwa wyjściowa.
I pytanie jest przy założeniu, że twoja zależna zmienna jest binarna Więc to jest albo 0 albo 1, której
funkcji progowej użyjesz.
Więc z tych, które omówiliśmy, mamy funkcję progową, funkcja sigmoidowa jest funkcją
prostownika, a my mamy funkcję stycznej hiperbolicznej w jej rolkach, którą
moglibyście użyć dla zmiennej binarnej.
DOBRZE.
Więc odpowiedzi tutaj są dwie opcje, z którymi możemy się do tego podejść.
Tak więc jedna jest funkcją aktywacji progu, ponieważ wiemy, że jest ona między 0 a 1 i daje nam 0
parasoli Andersona, a następnie daje ci to, gdy tylko da ci dwie wartości.
Idealnie pasuje do tego wymogu i dlatego możesz powiedzieć, że równasz się funkcji progowej twojego kołysania
dla niektórych i to jest to.
W drugim przypadku można użyć funkcji aktywacji sigmoidalnej.
W rzeczywistości jest to również od 0 do 1, właśnie to, czego potrzebujemy.
Ale jednocześnie chcesz mieć tylko jedno prawo, więc nie jest dokładnie to, czego potrzebujemy, ale w
tym przypadku możesz go użyć, podobnie jak prawdopodobieństwo, że Y jest tak lub nie.
Tak więc chcemy, żeby Y było 0 1, ale zamiast tego powiemy, że funkcja aktywacji simmo funkcja Simoun mówi
nam, czy powie nam ona o prawdopodobieństwie, że Y jest równe 1.
Więc w zasadzie im bliżej jesteś na szczyt, tym bardziej prawdopodobne, że jest to rzeczywiście jeden lub tak, a
nie nie.
I tak, to bardzo podobne do podejścia regresji logistycznej.
A to tylko dwa przykłady.
Jeśli masz zmienną binarną.
Teraz rzućmy okiem na inną praktyczną aplikację.
Rzućmy okiem na to, jak by to wszystko się potoczyło, gdybyśmy mieli tak naturalnie.
Tak więc w pierwszej warstwie mamy pewne dane wejściowe.
Są wysyłane na naszą pierwszą ukrytą warstwę, a następnie włączana jest funkcja aktywacji.
Zwykle to, co chciałbyś tutaj zastosować, a co zobaczysz w Scorsese, zastosuje funkcję
aktywującą prostownik, żeby wyglądał jak coś takiego.
Stosujemy funkcję aktywacji prostownika, a następnie stamtąd sygnały będą przekazywane do warstwy wyjściowej, gdzie
zostanie zastosowana sigmoidalna funkcja aktywacji i która będzie naszym ostatecznym wynikiem.
A to mogłoby przewidzieć prawdopodobieństwo na przykład, więc ta kombinacja
będzie dość powszechna, gdzie w ukrytych warstwach stosujemy funkcję prostownika, a następnie wyprowadzamy tam funkcję sigmoidalną.
Więc idziemy.
Mam nadzieję, że podoba Ci się ten samouczek, teraz jesteś dobrze obeznany z czterema różnymi typami
funkcji aktywacyjnych, a dostaniesz trochę praktycznych doświadczeń z nimi w trakcie tego kursu będzie ich używać w każdym
miejscu, dzięki czemu poznasz je całkiem blisko i powinieneś być z nimi całkiem
komfortowo.
Ale na razie jest to wiedza, której potrzebujesz, aby robić postępy i zrozumieć, co będzie dalej działo
w tym kursie.
I w tej notatce czekam na ciebie następnym razem.
Do tego czasu cieszcie się nauką.