Hallo und willkommen zurück zum Kurs und tiefes Lernen.
Heute sind wir endlich bei STEPNELL vor der Vollverbindung.
Worum geht es in diesem Schritt.
Nun, in diesem Schritt fügen wir unserem konvolutionellen neuronalen Netzwerk ein ganzes künstliches neuronales Netzwerk hinzu, also zu all
den Dingen, die wir bisher gemacht haben, nämlich Faltungs-Pooling und Abflachung.
Jetzt fügen wir ein ganz neues hinzu.
Und dann auf der Rückseite, wie intensiv das ist.
Das ist nur etwas, das definitiv etwas ist.
Und hier haben wir die Eingabeebene, wir haben einen vollständig verbundenen Plan.
Ich werde dort hinstellen und übrigens die vollständig verbundene Lehre in den künstlichen neuronalen Netzwerken, die
wir als verborgene Schichten bezeichnet haben, und hier nennen wir sie vollständig verbunden,
weil sie verborgene Ebenen sind, aber gleichzeitig sind sie spezifischer Fiddler-Typen, die in künstlichen neuronalen Netzwerken
vollständig verbunden sind, müssen versteckte Buchstaben nicht vollständig verbunden sein.
In neuronalen Faltungsnetzen werden wir vollständig verbundene Buchstaben verwenden, weshalb sie im
Allgemeinen als vollständig verbundene Lares bezeichnet werden.
Im Grunde haben wir also die ganze Spalte oder den Vektor der Ausgaben, die wir nach
der Abflachung haben, in die hier gelernte Eingabe übernommen. Wir haben ein sehr vereinfachtes Beispiel, nur zur Veranschaulichung.
Der Hauptzweck des künstlichen neuronalen Netzwerks besteht darin, unsere Merkmale zu mehr Attributen zu kombinieren, die die
Klaas noch besser vorhersagen.
Wir haben also bereits in unserem Vektor der Ausgaben im Flaten des abgeflachten Ergebnisses aus dem, was wir wirklich getan haben, einige Merkmale in
den Zahlen in diesem Vektor kodiert, und sie können wahrscheinlich schon ziemlich gut vorhersagen, was Clauss
'ist Betrachten Sie, ob es sich um einen Hund oder eine Katze handelt oder ob es sich um einen Tumor handelt
oder nicht, und so weiter.
Gleichzeitig wissen wir jedoch, dass wir diese Struktur haben, die als künstliches neuronales Netzwerk bezeichnet wird. Sie
ist so konzipiert, dass sie mit Attributen umgehen und herauskommen oder mit Features umgehen und neue Attribute entwickeln
und Attribute kombinieren muss, um die Dinge noch besser vorhersagen zu können dass wir versuchen vorherzusagen, und wir wissen das aus
den vorherigen Teilen, also warum sollten wir das nicht nutzen.
Und genau das ist der Plan hier.
Wie wäre es also, wenn wir diese Werte in einem künstlichen neuronalen Netzwerk weitergeben und alles, was wir tun,
noch weiter optimieren.
Und so werden wir es tun.
Aber schauen wir uns ein realistischeres Beispiel an, weil dieses etwas zu einfach ist.
Hier haben wir also ein besser aussehendes künstliches neuronales Netzwerk, bei dem wir fünf Attribute an den Eingängen haben,
die wir beim ersten haben, es sei denn, wir haben sechs Neuronen in dem zweiten oder im zweiten
vollständig verbundenen Larry einer für hund und einer für katze.
Daher ist es wichtig zu besprechen, dass wir hier zwei Gründe haben.
Wir sind es gewohnt, nur eine Ausgabe in unseren künstlichen neuronalen Netzwerken zu haben. Eine Ausgabe ist eine
Art, wenn Sie einen numerischen Wert vorhersagen, wenn Sie drucken, wenn Sie ein Regressionsproblem
ausführen.
Aber wenn Sie eine Klassifizierung vornehmen, brauchen Sie eine Ausgabe Proclus, mit Ausnahme der Ausnahme, wenn Sie nur zwei Cluster haben, wie
wir hier zwei Klassen haben: Hund und Katze, und wir hätten nur eine Ausgabe gemacht
und eine binäre Ausgabe gemacht ein Hund und Nullen eine Katze, und das hätte absolut gut funktioniert, und
was Sie sehen werden, hatte das Mittagessen in den praktischen Übungen und so werden sie
strukturiert.
Wenn Sie jedoch mehr als zwei Kategorien haben, z. B. Hunde, Katzen und Vögel, müssen Sie für
jede Kategorie ein Neuron haben. Deshalb üben wir in diesem Beispiel zwei Kategorien, damit wir
wissen, was zu erwarten ist wenn wir jemals mehr als zwei Kategorien haben.
Und was wird hier also passieren?
Wir haben also bereits alle Vorarbeiten geleistet, an denen wir die Faltung durchgeführt haben.
Wir haben das Pooling und die Abflachung durchgeführt. Nun gehen die Informationen durch
das künstliche neuronale Netzwerk.
Es gibt Informationen, die von Anfang an von dem Moment an durchlaufen werden, in dem das Bild verarbeitet und
gefaltet, gefaltet und anschließend plattgedrückt und dann durch das künstliche neuronale Netzwerk alle vier Schritte
durchlaufen wird. Dann wird eine Vorhersage getroffen und wir werden sehen, wie dies in einer Moment wird sehr sehr interessant sein.
Aber jetzt sagen wir einfach eine Vorhersage.
Und zum Beispiel zu 80 Prozent, dass es ein Hund ist.
Es stellt sich jedoch heraus, dass es sich um eine Katze handelt, und dann wird ein Fehler berechnet.
EIN.
Nun, was wir früher in einem künstlichen neuronalen Netzwerk als Kostenfunktion bezeichneten, und wir verwendeten dort mittlere
quadratische Fehler oder in weit verbreitete illusionale neuronale Netzwerke.
Es wird als Verlustfunktion bezeichnet und wir verwenden dafür eine Entropie-Kreuzfunktion.
Und wir sprechen über Kreuzentropie und mittlere quadratische Fehler.
In einem separaten Tutorial und wie das alles passiert.
Aber um zu wissen, dass Sie wissen, dass wir eine verloren gegangene Funktion haben, die uns zeigt, wie gut unser
Netzwerk arbeitet, und wir versuchen, es zu optimieren oder zu minimieren, um unser Netzwerk zu optimieren.
Der Fehler wird berechnet und dann wird er zurück durch das Netzwerk propagiert, so wie wir es in
künstlichen neuronalen Netzwerken hatten, und er wird zurück propagiert, und einige Dinge werden im Netzwerk angepasst, um die Leistung zu optimieren, und
die eingestellten Dinge sind wie üblich die Gewichte Das künstliche neuronale Netzwerk ist Teil
der blauen Linien, die Sie hier beim Cynapsus sehen.
Dann werden auch die Feature-Detektoren angepasst, sodass wir wissen, dass wir nach Features suchen, aber was ist, wenn wir nach
den falschen Features suchen.
Was ist, wenn dies nicht geklappt hat, weil die Funktionen nicht korrekt sind und die Merkmalsdetektoren sich an
die kleinen Matrizen erinnern, die wir hatten?
Das sind die drei mal drei Matrizen.
Sie sind so eingestellt, dass es beim nächsten Mal vielleicht besser wird und wir sehen, was passiert.
Art der Sache
Und natürlich wird alles mit viel Wissenschaft im Hintergrund von viel Mathematik erledigt und
alles durch einen Gradientenabfall der Rückenausbreitung.
Es ist also alles nicht nur zufällige Störungen, es ist wirklich sehr durchdacht, wie es gemacht wird.
Trotzdem werden die Merkmalsdetektoren angepasst, die Gewichte werden angepasst, und der gesamte Vorgang wird erneut ausgeführt, und
die Fehler breiten sich dann erneut aus.
Und das geht weiter und weiter und weiter.
Und so wird unser Netzwerk optimiert. So trainiert unser Netzwerk die Daten.
Das Wichtigste dabei ist, dass die Daten von Anfang bis Ende durch den gesamten Bereich
gehen.
Dann wird der Fehler verglichen, so dass der Fehler berechnet und anschließend zurückgespielt wird.
Dieselbe Geschichte wie bei künstlichen neuronalen Netzen, die aufgrund der Gesamtheit der ersten drei Schritte, die wir bereits
hatten, etwas länger ist.
Und nun sehen wir uns den interessanten Teil an. Der wirklich interessante Teil,
wie diese beiden Klassen funktionieren, weil oder wie diese beiden Ausgabe-Neuronen funktionieren, weil wir vorher
immer ein Ausgabe-Neuron hatten.
Wie spielt sich diese Situation der Klassifikation oder der Bilder ab?
Beginnen wir mit dem Top-Neuron, das zuerst mit dem Hund beginnt.
Wie müssen wir als Hauptzweck zunächst einmal verstehen, welche Gewichte allen diesen Lehrplänen zugeordnet werden müssen, die
mit dem Hund verbunden sind, damit wir wissen, welche der vorherigen Neuronen für den Hund tatsächlich wichtig
sind und wie das ist fertig.
Nehmen wir also hypothetisch an, dass wir diese Zahlen in unserer vorherigen Ebene der vorherigen vollständig verknüpften Ebene haben.
In der letzten vollständig verbundenen Schicht.
Und wieder können diese Zahlen alles sein.
Sie müssen nicht so sein, dass es sich um Zahlen handeln kann, aber nur aus Gründen der Argumentation
werden wir uns darauf einigen, dass wir uns speziell mit Zahlen zwischen 0 und 1 befassen.
Es ist also einfacher für uns, diese Dinge zu argumentieren und zu verstehen, und eines bedeutet, dass das Neuron
sehr zuversichtlich war, dass es dieses Feature gefunden hat, und Null bedeutet, dass dieses Neuron
kein Feature gefunden hat, denn am Ende des An diesem linken Tag betrachten diese Neuronen wie alles andere nur
Merkmale auf einem Bild.
Das ist schon sehr sehr Prozess.
Aber es ist immer noch das Erkennen eines bestimmten Merkmals oder einer Kombination von Merkmalen im Bild, bevor wir den
Schritt weiterentwickeln können.
Wir hatten einige erkennbare Funktionen im Pool-Set, die weniger erkennbar sind, als sie im abgeflachten
Bild noch weniger erkennbar werden.
Und dann bekommen sie zusammen und so weiter.
Aber trotzdem reden wir hier über bestimmte Eigenschaften, die Bild oder deren Kombination darstellen.
So und einer, der übergeben wurde, und das ist wichtig, wurde sowohl dem Hund als auch
der Katze gleichzeitig an beide Ausgangsneuronen weitergegeben.
Für uns bedeutet dies also, dass es für dieses Argument bedeutet, dass dieses Neuron seine Funktion aktiviert hat. Es erkennt schnell, dass dieses Merkmal
eine Augenbraue ist, für die es eine Augenbraue ist, und diese Augenbraue wird der Einfachheit
halber möglicherweise erkannt, um diese Augenbraue zu erkennen.
Und ist mitzuteilen, dass der Hund zu dem Katzenneuron rennt und sagt, ich kann meine Augenbraue sehen, ich kann meine Augenbraue sehen.
Und dann liegt es an dem Hund und dem Katzenneuron zu verstehen, was das für ihn bedeutet.
Recht.
In diesem Fall also, welche Neuronen diese drei Neuronen abfeuern, feuern die Augenbrauen hoch und sagen,
die Nase besagt, dass ich sehen kann, dass ich eine große Nase sehen kann und schlaffe Ohren sehe.
Also und es sagt das dem Hund und der Katze und dann was dem Hund.
Und dann wissen wir, dass dies ein Hund ist.
Das Neuron des Hundes weiß also, dass die Antwort darin liegt, dass es sich tatsächlich um einen Hund handelt, weil wir am Ende mit dem
Bild oder dem Etikett auf dem Bild und mit einem anderen Hund vergleichen.
Im Grunde wird das Neuron des Hundes Aha sagen.
Also sollte ich in diesem Fall ausgelöst werden.
Das sind also Neuronen, die sie dieses Signal aussenden, das sie sowohl an den Hund als auch an die Katze senden, und
die Katze ist eigentlich ein Hinweis darauf, dass es sich um einen Hund handelt.
Und während dieser vielen, vielen und vielen Iterationen passiert dies oft, dass
der Hund herausfindet, dass diese Neuronen tatsächlich hochfahren, wenn das Merkmal einem Hund gehört.
Andererseits wird das Katzenneuron wissen, dass es sich nicht um eine Katze handelt, und es wird wissen, dass
diese Funktion aktiviert wird, und dieses Neuron sagt mir, dass es Schlappohren Schlappohren sehen kann.
Aber gleichzeitig ist es keine Katze.
Im Grunde ist das für mich ein Signal, dass ich dieses Neuron gerne ignorieren sollte. Je
mehr dies geschieht, desto mehr ignoriert das Katzenneuron dieses Neuron bei den Schlappohren.
Und im Grunde ist es das, wie durch viele, viele Iterationen, wenn dies oft geschieht.
Dies ist also nur ein Beispiel, aber wenn dies häufig vorkommt, vielleicht eine Eins vielleicht 0. 8 0. Manchmal feuert es
manchmal nicht, aber im Durchschnitt leuchtet dieses Neuron sehr oft auf, wenn es tatsächlich ein Hund ist, den das
Neuron des Hundes beginnt, diesem Neuron eine höhere Bedeutung zuzuordnen.
Und so gehen wir hin.
So werden wir es bezeichnen.
Wir werden sagen, dass diese drei Neuronen diesen iterativen Prozess mit vielen, vielen, vielen Proben durchlaufen haben, und
viele erinnern sich daran, dass ein Beispiel eine Zeile in Ihrem Datensatz ist und Apoc, wenn
Sie Ihren gesamten Datensatz immer wieder durchlaufen und wieder gibt es viele, viele Iterationen.
Dieses Neuron des Hundes lernte, dass dieses Augenbrauen-Neuron und dieses große Nasen-Neuron und dieses Floppy-Ear-Neuron,
die alle scheinen, sehr gut zur Klassifizierung dessen beitragen, wonach es sucht und was ein
Hund ist.
So funktioniert es.
Und wieder sind diese Ohren und Nasen und Augenbrauen sehr annähernd oder sehr weit hergeholte Beispiele, denn bis zu diesem Zeitpunkt
in diesem ganzen konventionellen neuronalen Faltungsnetz ist es völlig unkenntlich, wonach sie suchen, aber gleichzeitig
ist es etwas in dem Merkmale von Hunden oder Katzen oder was auch
immer Sie klassifizieren.
Und dann machen wir weiter mit dem nächsten.
Jetzt schauen wir uns das Katzenneuron an. Aber wir werden daran erinnern, dass diese Gewichte Sie wissen,
wie wir den Hund sortiert haben.
Der Hund ist also so, als würde er alle diese anderen Neuronen eins zwei, drei, vier oder fünf
ignorieren, aber er achtet wirklich darauf, was diese drei Neuronen sagen.
Was hört die Katze jetzt?
Nun, wann immer es tatsächlich eine Katze ist.
Recht.
Dies ist ein Beispiel für eine Situation, in der es sich tatsächlich um eine Katze handelt.
Sie werden also sehen, dass diese drei Neuronen 0 sind. 9 0. Sie sagen etwas, was sie sowohl dem Hund
als auch der Katze sagen.
Und das ist wieder wichtig. Denken Sie daran, dass dieses Ausgangssignal in beide Richtungen läuft.
Es ist eine Aussage des Hundes zu der Katze, aber dann ist es Sache des Hundes, der Katze
zu entscheiden, ob sie dieses Signal berücksichtigen und daraus lernen soll oder nicht.
Sowohl der Hund als auch die Katze können sehen, dass dies ein Foto ist, von dem ich ein Foto von einer Katze hier setzen sollte, aber im Grunde ein
Foto von einer Katze vorstellen, sowohl ein Hund als auch die Katze können sehen, dass es sich tatsächlich um eine Katze handelt.
Im Grunde ist der Hund wie OK, also sind diese Schnurrhaare und diese spitzen Dreiecksohren und diese kleine
Größe ja oder oder vielleicht wissen Sie, wie Katzen diese Dinge in ihren
Augen haben. Ihre Augen sind wie kleine Katzenaugen.
Grundsätzlich arbeiten diese Katzenaugen definitiv nicht für mich.
Sie helfen mir nicht, ich sage voraus, denn jedes Mal, wenn diese Neuronen die Vorhersage aufleuchten, ist es nicht
das, wonach ich suche.
Andererseits ist die Katze wie hmm das ist interessant.
Jedes Mal, wenn dieses aufleuchtet, leuchtet es meistens auf.
Es entspricht meiner Erwartung, es entspricht, was ich suche.
OK.
Ich werde diesem Kerl mehr als diesen hier anhören.
Dies ist jedes Mal dasselbe, wenn es oder meistens leuchtet.
Ich bin zufällig gut geworden und wurde für meine Vorhersage belohnt, weil ich es richtig verstanden habe.
Es ist eine Katze.
OK.
Ich werde ihm mehr zuhören.
Sie wissen, dass das für mich nutzlos ist, weil er nicht wirklich weiß, dass er nicht einmal leuchtet, es ist eine
Katze, aber er leuchtet nicht, also passiert das Gegenteil.
Und das hier ist gut, es ist ein Cad, aber er lässt nicht nach, also werde ich nicht auf ihn hören.
Aber als er ging, was die Augen waren, die die Katzenaugen leuchten, können wir sehen, dass es eine Katze
ist.
Es passt meistens zusammen, also werde ich daraus lernen und ich werde diesen drei
Jungs öfter zuhören als nicht.
Und im Grunde hört die Katze auf diese drei und ignoriert die
anderen fünf, und so lernen diese letzten Neuronen, welche Neuronen in der letzten vollständig verbundenen Lehre die Ausgangsneuronen hören
sollen, von denen die vollständig sind.
Es gibt Neuronen zum Hören.
Und so verstehen sie.
Im Grunde werden die Features über das Netzwerk verbreitet und an die Ausgabe weitergeleitet.
Und auch wenn diese Features natürlich nicht so viel Bedeutung haben wie Floppy-Ohren
oder Whisker.
Gleichzeitig haben sie einige Besonderheiten, sie sind ein charakteristisches Merkmal dieser spezifischen Klasse. Auf diese Weise
wird das Netzwerk trainiert, da wir uns auch während des Back-Propagation-Prozesses an
die Feature-Detektoren anpassen, wenn ein Feature für die Ausgabe unbrauchbar ist Es wird wahrscheinlich nicht
beachtet werden, da dies nicht bei ein oder zwei Geschichten passiert, sondern bei
Tausenden von Iterationen.
Mit der Zeit wird also eine Funktion, die für das Netzwerk unbrauchbar ist, außer Acht
gelassen und durch Funktion ersetzt, sodass Sie am Ende des Tages in dieser letzten Schicht von
Neuronen wahrscheinlich viele Funktionen oder Kombinationen von Funktionen haben Bild, das tatsächlich repräsentativ oder beschreibend für Hunde
und Katzen ist.
Wenn Ihr Netzwerk erst einmal trainiert ist, werden wir es so anwenden.
Dies ist also der nächste Schritt, als würden wir unser Netzwerk trainieren, wenn dies geschehen wird.
Mal sehen, was passiert, wenn dieses Netzwerk angewendet wird.
Nehmen wir an, wir geben ein Bild eines Hundes weiter.
Die Werte werden über ein Netzwerk verbreitet und wir erhalten bestimmte Werte.
Deshalb wissen die Neuronen des Hundes und der Katze diesmal nicht, dass sie nicht das Bild des Hundes hier haben. Sie wissen nicht, dass es sich um
einen Hund oder eine Katze handelt.
Sie haben keine Ahnung, was es ist, aber sie haben gelernt, was hier gezeigt wird.
Recht.
Sie haben gelernt, auf Hund zu hören und hören diesen drei Neuronen zu, die ein Katzenneuron diesen drei
zuhört.
Und so sieht das Neuron des Hundes auf eins zwei drei und sagt, aha diese sind ziemlich hoch.
Meine Wahrscheinlichkeit ist also hoch, dass es sich bei diesem Hund um einen Hund handelt, den
das Neuron der Katze auf diese drei sieht.
Interessant.
Meine Wahrscheinlichkeit wird also 0 sein. 05.
Und dann und so weiter.
Und hier bekommen Sie Ihre Vorhersage.
Also ist Ihre erste Wahl für dieses neuronale Netzwerk der Hund.
Die zweite Wahl ist Katze und das war es schon.
Die Antwort ist also Hund und dasselbe passiert, wenn Sie an einer Katze vorbeikommen.
Sie erhalten neue Werte und Sie können sehen, dass diese Werte niedrig sind, auch wenn diese hoch sind.
Und für die Katze war das hoch und das war ein bisschen niedrig.
Die Wahrscheinlichkeit ist hier möglicherweise nicht so groß wie zuvor, aber Sie können immer noch erkennen, dass es sich um eine Katze
von 79 Prozent handelt.
Daher wird das neuronale Netzwerk dafür stimmen, dass es eine Katze ist.
Und im Grunde werden alle neuronalen Netzwerke davon ausgehen, dass es sich um eine Katze handelt.
Abstimmen ist ein Begriff, der für diese Typen verwendet wird, damit diese Neuronen in der endgültigen, vollständig verbundenen Lehre sie
wählen können.
Und das sind ihre Stimmen.
Und wieder sind wir nur der Argumentation wegen, hier Werte zwischen 0 und 1 zu setzen.
Dies können beliebige Werte sein, aber sie können wählen, und dann sind diese Gewichte die Wichtigkeit ihrer Stimme.
Das sind also diese violetten Gewichte, wie die Neuronen des Hundes ihre Stimmen sehen.
Welchen Stellenwert hat es diesen Neuronen und diesen Stimmen?
Und so wichtig ist es, dass das Neuron der Katze für diese Stimmen die Stimmen dieser Neuronen groß ist. Daher wählen diese Neuronen den Hund
und die Katze auf der Grundlage ihres Erlernens der Gewichte, die sie entscheiden, wem sie zuhören, und dann treffen
sie ihre Vorhersagen und halten dann Das neuronale Netzwerk kommt zu dem Schluss, dass
dies in diesem Fall eine Katze ist und dann ist das. Und dann ist dies Ihre Schlussfolgerung. So
erhalten Sie Bilder wie diese, bei denen Sie einen Gepard haben und dann haben Sie Gepardklauen, die Sie wie eine hohe Wahrscheinlichkeit kennen Sie
kennen die Wahrscheinlichkeit, die das Netzwerk vorhergesagt hat.
Und das sind Gesetze, aber diese existieren immer noch, weil sie immer noch eine kleine
Chance sind, dass die anderen Neuronen auch ihren Wählern zuhören und sagen, vielleicht ist es tatsächlich ein Leopard und
ein Hochgeschwindigkeitszug.
Sehr wahrscheinlich
Ich höre schere
Sie wissen, dieses eine, aber Handglas war ein
sehr enger Sekundenzeiger und in Fünf-Pence-Stethoskop, weil Sie diesem Neuron
das Neuronenschere sehen konnten.
Aber auch das Handglas hatte ein gutes Ergebnis.
Also los, so funktioniert die volle Verbindung und wie sich das alles zusammen ausspielt.
Ich hoffe, Ihnen hat das heutige Tutorial gefallen.
Wir werden das alles auch in der Zusammenfassung zusammenfassen.
Und wir sehen uns nächstes Mal.
Bis dahin tiefes Lernen genießen.