Hallo und willkommen zurück zu dem Kurs zum tiefen Lernen.
Heute sprechen wir von der Aktivierungsfunktion.
Kommen wir gleich rein.
Deshalb haben wir hier aufgehört, bevor wir über die Struktur eines Neurons gesprochen haben.
Da es in der Mitte ist, wissen wir, dass es einige Eingangswerte gibt, die eingehen.
Es hat einige Gewichte. Dann wird die Art und Weise berechnet, wie einige dieser Eingänge berechnet werden, und die Aktivierungsfunktion wird
in Schritt 3 angewendet.
Es gibt das Signal für das nächste Jahr weiter, und darüber reden wir heute. Wir
sprechen über den Wert, der weitergegeben wird.
Wir sprechen also über die Aktivierungsfunktion, die angewendet wird.
Welche Optionen haben wir also für die Aktivierungsfunktion?
Nun, wir werden vier verschiedene Arten von Aktivierungsfunktionen betrachten, aus denen Sie wählen können.
Natürlich gibt es verschiedene Arten von Aktivierungsfunktionen, aber diese sind die vorherrschenden, von denen Sie
hören werden und die wir in diesem Kurs verwenden werden.
Hier ist also die Schwellwertfunktion.
So sieht es aus.
Auf der X-Achse haben Sie also einige Eingaben auf der Y-Achse gewichtet.
Sie kennen nur die Werte von 0 bis 1 und im Grunde sind die Schwellwertfunktionen sehr
einfach eine Funktion, bei der der Wert kleiner als Null ist, dann die freie.
Dank Ssion geht Null weiter.
Wenn der Wert größer als Null oder gleich Null ist, wird die Schwellenwertfunktion auf eine 1 gesetzt.
Es ist also im Grunde eine Art Ja-Nein-Funktion.
Sehr sehr unkompliziert.
Sehr ähnlich wie eine starre Funktion, entweder Ja oder Nein.
Keine anderen Optionen
Hier bitteschön.
So funktioniert das.
Sehr einfache Funktion.
Lass uns zu etwas komplexerem gehen.
Nun, diese Sigmoid-Funktion ist eine sehr interessante Formel, die wir hier haben. Sie sehen gerade, dass es eine Division durch eins
plus plus gibt.
Die Potenz von minus X, während in diesem Fall natürlich X der Wert der Summen der Art und Weise ist, die summiert werden.
Und so ja.
So sieht also das Sigmoid aus.
Es ist eine Funktion, die in der logistischen Regression verwendet wird.
Wenn Sie sich an den maschinellen Lernkurs erinnern.
Das Gute an dieser Funktion ist, dass sie glatt ist.
Im Gegensatz zur virtuellen Funktion.
Dieser hat diese Knicke nicht in der Kurve und daher ist es ein schöner und sanfter schrittweiser Fortschritt.
Alles unter 0 ist also wie ein Abfall über Null.
Es wirkt annähernd auf eins und diese Sigmoid-Funktion ist sehr nützlich in der endgültigen Lehren der Ausgabeschicht.
Besonders wenn Sie versuchen, Wahrscheinlichkeiten vorherzusagen.
Und das werden wir während des gesamten Kurses sehen.
Und dann haben wir die Gleichrichter-Funktion Gleichrichter-Funktion, auch wenn sie einen Knick hat, eine
der beliebtesten Funktionen für künstliche neuronale Netze ist, also geht sie den ganzen Weg auf Null, es ist Null.
Von da an geht es allmählich voran, da der Eingabewert ebenfalls ansteigt und wir werden sehen, dass wir dies während
des gesamten Kurses in anderen Intuitionstutorials sehen werden und wie wir diese Funktion
in der praktischen Seite des Kurses verwenden Ich werde das in einigen Folien noch etwas näher
erläutern.
Denken Sie daran, dass die Direktfeuerfunktion eine der am häufigsten verwendeten Funktionen in künstlichen neuronalen Netzwerken ist.
Und schließlich haben wir noch eine weitere Funktion, von der Sie wahrscheinlich hören werden.
Es ist die hyperbolische Tangensfunktion.
Sie ist der Sigmoidfunktion sehr ähnlich, aber hier geht die hyperbolische Tangensfunktion unter Null, sodass die Werte von 0 nach
1 oder ungefähr 2 1 gehen und auf der anderen Seite von Null auf Minus 1 gehen.
Und das kann in manchen Anwendungen nützlich sein.
Wir werden uns daher nicht mit jeder dieser Funktionen eingehend beschäftigen. Ich wollte Sie nur mit ihnen vertraut
machen, damit Sie wissen, wie sie aussehen und wie sie heißen.
Wenn Sie zusätzliche Informationen erhalten möchten, lesen Sie dieses Papier nach einem 75-jährigen Los.
Haben Sie eine Menge genannt Deep sparse korrigiert neuronale Netze 2000 Papier.
Und dort erfahren Sie genau, warum die Gleichrichterfunktion eine so wertvolle Funktion ist, warum sie so
beliebt ist.
Aber trotzdem müssen wir all diese Dinge erst noch nicht wirklich wissen.
Fürs Erste werden wir sie erst anwenden, was Sie immer mehr und mehr einsetzen.
Wenn Sie sich also mit der praktischen Seite der Dinge wohl fühlen, können Sie sich auf dieses Dokument beziehen und dann werden
Sie in der Lage sein, dieses Wissen viel schneller einzufangen und es wird viel mehr Sinn ergeben.
Denken Sie jedoch daran, dass Sie, wenn Sie bereit sind, wenn Sie das Gefühl haben, dass Sie bereit
sind, nach Papier suchen und wertvolles Wissen von ihnen erhalten können.
Um nur kurz zu rekapitulieren, haben wir die Schwellenaktivierungsfunktion, die so geht, die Sigmoidaktivierungsfunktion,
die so aussieht.
Wir haben die Gleichrichter-Funktion und wir haben die hyperbolische Tangens-Funktion und jetzt, um dieses Tutorial abzuschließen.
Lassen Sie uns schnell ein paar Übungen machen, also machen Sie einfach zwei schnelle Übungen, um dieses Wissen zu unterstützen.
Zunächst einmal haben wir hier ein Beispiel für ein neuronales Netzwerk mit nur einem Neuron und das sofort
die Ausgangsschicht.
Und die Frage ist, dass Ihre abhängige Variable binär ist. Es ist also entweder 0 oder 1, welche Schwellenwertfunktion
Sie verwenden würden.
Von denjenigen, die wir besprochen haben, haben wir eine Schwellenwertfunktion, die Sigmoidfunktion, die
Gleichrichterfunktion, und wir haben die hyperbolische Tangensfunktion in ihren Roll-Formen, die Sie
für eine binäre Variable verwenden könnten.
OK.
Die Antworten hier sind also zwei Optionen, mit denen wir das angehen können.
Eine davon ist die Schwellenaktivierungsfunktion, weil wir wissen, dass sie zwischen 0 und 1 liegt und uns
0 Anderson-Regenschirme gibt. Andernfalls gibt es nur einmal zwei Werte.
Es passt perfekt zu dieser Anforderung und daher können Sie sagen, dass Sie die Schwellwertfunktion
Ihres Einflusses mit einigem gleichsetzen.
Im zweiten Fall können Sie die Sigmoid-Aktivierungsfunktion verwenden.
Es ist eigentlich auch zwischen 0 und 1 genau das, was wir brauchen.
Aber gleichzeitig wollen Sie nur ein Recht, also sind Sie nicht genau das, was wir brauchen, aber in
diesem Fall könnten Sie es verwenden, da die Wahrscheinlichkeit besteht, dass Y Ja oder Nein ist.
Wir möchten also, dass Y 0 1 ist, aber stattdessen sagen wir, dass die Aktivierungsfunktion der Sigmoid-Funktion
Simoun uns sagt, ob die Wahrscheinlichkeit von Y gleich 1 wäre.
Je näher Sie an die Spitze kommen, desto wahrscheinlicher ist es, dass dies tatsächlich eine Eins oder ein Ja ist und
nicht ein Nein.
Und das ist dem logistischen Regressionsansatz sehr ähnlich.
Und das sind nur zwei Beispiele.
Wenn Sie eine binäre Variable haben.
Schauen wir uns jetzt eine andere praktische Anwendung an.
Lassen Sie uns einen Blick darauf werfen, wie sich das alles auswirken würde, wenn wir so ganz natürlich wären.
In der ersten Schicht haben wir also einige Eingaben.
Sie werden an unsere erste verborgene Schicht gesendet und dann wird eine Aktivierungsfunktion angewendet.
Normalerweise wird das, was Sie hier anwenden würden und was Sie im gesamten Scorsese sehen werden, eine
Gleichrichter-Aktivierungsfunktion anwenden, so dass es in etwa so aussieht.
Wir wenden die Gleichrichter-Aktivierungsfunktion an und dann würden die Signale an die Ausgabeschicht weitergeleitet,
wo die Sigmoid-Aktivierungsfunktion angewendet würde, und das wäre unsere endgültige Ausgabe.
Dies könnte beispielsweise eine Wahrscheinlichkeit vorhersagen, so dass diese Kombination
recht häufig ist, wenn in den verborgenen Schichten die Gleichrichterfunktion angewendet wird und dann die Sigmoidfunktion ausgegeben wird.
Also los geht's.
Ich hoffe, dass Ihnen dieses Tutorial gefallen hat. Nun kennen Sie sich
mit vier verschiedenen Arten von Aktivierungsfunktionen aus. Sie werden einige praktische Erfahrungen mit ihnen
in diesem Kurs sammeln und Sie sollten sich recht wohl fühlen.
Im Moment ist dies jedoch das Wissen, dass Sie Fortschritte erzielen und verstehen müssen, was in diesem
Kurs weiter unten passiert.
In diesem Sinne freue ich mich darauf, Sie das nächste Mal zu sehen.
Bis dahin viel Spaß beim Lernen.