Hallo und willkommen zurück zu dem Kurs über Deep Learning heute sprechen wir über das Pooling
von Max und wir haben einige sehr aufregende Folien.
Und noch eine besondere Überraschung ganz am Ende des Tutorials.
Also lasst uns anfangen.
Die erste Frage ist, was gebündelt wird und warum wir es brauchen.
Um diese Frage zu beantworten, werfen wir einen Blick auf diese Bilder auf diesen Bildern.
Wir haben einen Gepard.
Tatsächlich ist es auf dem ersten Bild genau derselbe Gepard.
Dieses Bild ist richtig positioniert und das zweite Bild wird direkt von Ihnen betrachtet.
Es ist ein bisschen gedreht.
Und das dritte Bild ein bisschen gequetscht.
Und hier wollen wir, dass das neuronale Netzwerk den Gepard in jedem dieser Bilder
erkennen kann.
In der Tat ist dies nur ein Gepard.
Was ist, wenn wir viele verschiedene Schützen haben?
Hier ist ein Gepard.
Er ist ein Gepard.
Hier ist ein weiterer Gepard, sein Ashira, sein Ishida-Gepard und er ist ein Gepard, und wir möchten, dass das neuronale
Netzwerk all diese Schützen als Betrüger erkennt und wie dies möglich ist, wenn sie alle in unterschiedliche Richtungen blicken und sich alle in verschiedenen Teilen der Welt
befinden Das Bild ist so, als wären ihre Gesichter in verschiedenen Teilen des Bildes positioniert. Jemand ist
auf der rechten Seite, jemand in der linken Ecke oder jemand in der
Mitte.
Sie sind alle ein bisschen anders und die Textur ist ein bisschen anders.
Die Beleuchtung ist etwas anders.
Es gibt viele kleine Unterschiede. Wenn das neuronale Netzwerk genau nach einem bestimmten
Merkmal sucht, sind beispielsweise die Tränen, die sich auf seinem Gesicht befinden, die Augen oder die bloßen Schatten, die aussehen, als
würden die Textur zerreißen Das Muster, das von den Augen nach unten geht, liegt an
den Nasenseiten und sieht aus wie Tränen, was ein charakteristisches Merkmal des Geparden ist.
Wenn es jedoch nach dem Merkmal sucht, das es von bestimmten Geparden an einer exakten Position oder einer exakten Form oder
Form oder Textur gelernt hat, wird es diese anderen Schützen niemals finden.
Wir müssen also sicherstellen, dass unser neuronales Netzwerk eine Eigenschaft mit der Bezeichnung räumliche Invarianz besitzt, was bedeutet, dass es
nicht darauf ankommt, wo sich die Features befinden, und nicht so sehr, dass sie den Teil des Bildes juckt Mit unserer Karte
sind wir mit unserer Faltung schlecht in Betracht zu ziehen, aber es ist
nicht wichtig, ob die Features etwas geneigt sind, wenn die Features in der Textur etwas anders
sind, wenn die Features etwas näher an den Features liegen oder etwas weiter auseinander liegen relativ zueinander.
Wenn also das Feature selbst etwas verzerrt ist, muss unser neuronales Netzwerk ein gewisses Maß an Flexibilität aufweisen, um
dieses Feature noch finden zu können.
Und darum geht es beim Pooling.
Schauen wir uns also an, wie Pooling funktioniert.
Hier ist unsere Feature-Map, also haben wir unsere Faltung bereits gemacht und wir haben diesen Teil fertiggestellt und jetzt arbeiten
wir mit der Faltung dort.
Jetzt wenden wir das Pooling an.
Wie funktioniert das?
Wir werden Back Pooling anwenden.
Es gibt verschiedene Arten von Spielen, bei denen das Sammeln von Max-Pooling-Pools
mit Pools vereinbar ist.
Im Moment wenden wir jedoch nur Max-Pooling an, also nehmen wir eine Box mit zwei mal zwei Pixeln, und es muss nicht immer
zwei Mal zwei sein. Sie können eine beliebige Boxgröße auswählen und
werden dies erneut kommentieren Tauriel und Sie platzieren ihn in der oberen linken Ecke und Sie finden den Maximalwert in diesem
Feld. Dann nehmen Sie nur diesen Wert auf und ignorieren die anderen drei Werte.
In Ihrer Box haben Sie also vier Werte, die Sie einfach ignorieren. Drei Werte behalten Sie nur bei dem Maximalwert, der
in diesem Fall eins ist.
Dann bewegen Sie Ihre Box nach rechts, indem Sie den Schritt erneut auswählen.
Hier gleiten wir zu zwei Schritten, und das ist, was Sie normalerweise denken, Sie können sagen, wie der Schritt, den
Sie auswählen können.
Es gibt also überlappende Kästchen, aus denen Sie jede Art von Schlag auswählen können, die Sie auch mögen, wenn Sie
möchten, aber wir wählen hier einen Schritt von zwei, und das wird üblicherweise verwendet.
Und dann wiederholen Sie die Wiederholung des Prozesses, den Sie hier aufschreiben, wenn Sie sich überschreiten und es spielt keine
Rolle, dass Sie einfach weiter machen, was Sie tun.
So notierst du hier immer noch das Maximum 0 hier das Maximum vier.
Hier sind die Maxima bis hier das Maximum 1 0 1 oder 2 und dann 1.
Wie Sie sehen können, sind ein paar Dinge passiert.
Zunächst konnten wir die Funktionen noch richtig beibehalten.
Die maximale Anzahl, die sie repräsentieren, weil wir wissen, wie die Schlussfolgerung von Lehre funktioniert.
Wir wissen, dass die maximale oder die große Zahl in der Feature-Map, in der Sie tatsächlich
die größte Ähnlichkeit mit einem Feature gefunden haben, entspricht.
Indem wir diese Features dann zusammenfassen, werden wir zuallererst 75% der
Informationen los, die nicht die Funktion sind, die nicht die wichtigen Dinge ist, nach
denen wir Ausschau halten .
Wir bekommen also nur 25 Prozent.
Und dann auch, weil wir das Maximum der Pixel, die wir oder die Werte haben, die wir haben,
verwenden, berücksichtigen wir daher jegliche Verzerrung.
So zum Beispiel zwei Bilder, bei denen beispielsweise die Tränen der Betrüger auf den Augen in einem Bild ein wenig nach links oder ein wenig
nach links gedreht sind und ein anderes dort ein wenig.
Und so sollen sie sein oder wie wir es mögen, wenn Sie eine als Basis nehmen und eine andere, da sind
Bits, die sich nach links drehen.
Die Pulpe-Funktion ist genau gleich.
Sie können also hier sehen, wenn wir über die Tränen des Betrügers sprechen, dann sagen wir, dies sind die vier und
hier war es dann, wenn es ein bisschen gedreht wurde.
So sind die vier zum Beispiel hier gelandet.
Wenn wir dann das Pooling durchführen, erhalten wir immer noch die gleiche Pool-Feature-Map, und das ist gewissermaßen
das Prinzip, das dahinter steht.
Es ist eine sehr grobe Erklärung, wieder eine intuitive Erklärung, aber das ist der Punkt des
Poolings, dass wir immer noch in der Lage sind, die Funktionen zu erhalten und darüber hinaus ihre möglichen räumlichen oder strukturellen
oder sonstigen Verzerrungen zu berücksichtigen.
Darüber hinaus reduzieren wir die Größe, sodass ein weiterer Vorteil entsteht.
Wir behalten also die Features bei, die wir mit räumlichen Invarianten einführen, indem wir die Größe
um 75 Prozent reduzieren, was enorm ist, was uns in Bezug auf die Verarbeitung wirklich helfen wird.
Ein weiterer Vorteil von Pooling ist, dass wir die Anzahl der Parameter reduzieren, also nochmals 75
Prozent oder die Anzahl der Parameter, die in unsere endgültigen Lares des
neuronalen Netzwerks gelangen werden, reduzieren und somit eine Überanpassung verhindern.
Es ist ein sehr wichtiger Vorteil von Pooling, dass wir Informationen entfernen, und das ist auch gut so.
Das ist eine gute Sache, weil auf diese Weise unser Modell nicht in der Lage ist, diese Informationen zu überpassen, weil diese Informationen nicht gut sind und
sich erinnern, wie wir es von Anfang an besprechen, sogar für den
Menschen als den Menschen ist es wichtig zu sehen genau die Eigenschaften und nicht all das andere Geräusch, das
uns in die Augen kommt.
Gleiches gilt für neuronale Netze, indem sie die unnötige unwichtige Formation außer Acht lassen, die
wir dabei unterstützen, eine Überanpassung zu verhindern.
Wir gehen also darum, worum es beim Pooling geht.
Und die Frage hier ist natürlich, warum WiMax-Pooling richtig ist. Es gibt viele verschiedene Arten von Pooling und
einen großen Schritt mit einer zu großen Größe von zwei mal zwei Pixeln.
In diesem Zusammenhang möchte ich Ihnen dieses schöne Forschungspapier vorstellen, das von Dominic Scherrer von
der Universität Bonn als Bewertung von Pooling-Operationen in Faltungsarchitekturen zur Objekterkennung bezeichnet
wird.
Es gibt den Link und das Schöne an diesem Artikel ist, dass es sehr einfach ist, sehr unkompliziert. Also, wenn
Sie noch nie zuvor ein Forschungspapier gelesen haben, worauf Sie Lust haben.
Dies ist ein großartiger Ort, um zu beginnen, es ist sehr kurz.
Nur 10 Seiten.
Sehr gut lesbar
Und der zusätzliche Vorteil ist, dass Sie jetzt, nachdem wir über Faltung und Pooling gesprochen haben, mit allem, was
Sie in diesem Artikel in Ihnen besprechen, völlig vertraut sein werden.
Dies ist eine großartige Möglichkeit, tatsächlich zu verstärken, und ich empfehle Ihnen dringend, dieses Dokument zu überprüfen.
Ich brauche 20 Minuten, um es zu lesen, und Sie können sogar Teil 2 überspringen, der als verwandte Arbeit bezeichnet wird, wenn es sich
etwas weit hergeholt oder entfremdend anfühlt.
Lesen Sie diesen Teil einfach nicht.
Gehen Sie direkt von Teil 1 zu Teil 3.
Eine Sache, die Sie über dieses Papier wissen sollten, die über ein Konzept namens Subsampling, das
Subsampling heißt, spricht, ist im Allgemeinen durchschnittliches Pooling.
Erinnern Sie sich also, wie wir hier aufgenommen haben.
Wir nehmen das Maximum.
In unserem Quadrierer, der den maximalen Wert annimmt, gibt es ein Konzept, das als Mean Pooling bezeichnet wird,
oder einige, die etwas ziehen, wenn Sie nur einige dieser Werte auf das durchschnittliche Pooling oder
das mittlere Pooling setzen. Sie nehmen den Durchschnittswert aus all diesen Werten von Männern Pooling.
Es ist ein eher allgemeiner Ansatz, um den Durchschnitt dieser Werte zu ermitteln.
Sie können in der Zeitung etwas mehr darüber lesen, aber denken Sie ansonsten einfach über das durchschnittliche Pooling, wenn
Sie eine Zeitung lesen.
Hier können Sie zusätzliche Informationen zu diesem Thema erhalten. Nun, lassen Sie uns zusammenfassen, wo wir
hin gekommen sind.
Es gibt also unser Eingabebild.
Dann haben wir die Faltungsoperation angewendet und die Schlussfolgerung erhalten.
Und nun zu jeder dieser Feature-Maps, die wir bekommen. Wir haben den Pullinger angewendet.
Wir haben also diese beiden Schritte der Evolution und des Poolings durchgeführt und jetzt werden wir etwas sehr
Spaß machen, etwas aufregendes.
Wir werden damit experimentieren. Dies ist ein Screenshot, den ich von einem Tool gemacht habe, das Adam Harley von vor
langer Zeit an der Ryerson University für Informatik erstellt hatte. Jetzt ist er bei Carnegie Mellon, denke ich,
macht seine Seite.
Und ein großartiges Werkzeug, also lasst es uns öffnen.
So können Sie es finden, Sie können es tatsächlich durch Google finden.
Sie müssen Ihre Rolle kennen.
Es ist einfach schwierig, es über Google zu finden, da es hier keinen Text gibt, wie wir es in diesem Jahr waren.
Ich werde Reierson Dossier und dieses Zeug beginnen.
Und im Grunde ist es genau das, was wir machen, aber visualisieren. Hier müssen Sie
eine Zahl zeichnen, also sage ich Nummer vier und dieses Werkzeug wird die Nummer Vier hier einfügen.
Das ist dein Bild.
In unserem ersten Schritt ist dies der Faltungsschritt.
Recht.
Und dies ist der Pooling-Schritt, und Pooling wird übrigens auch als Downsampling bezeichnet.
Ziehen und Downsampling sind also die gleichen Dinge.
Sie können also sehen, dass die angewendete Faltung dann das Pooling anwendet und Sie können sehen, wie es genau funktioniert.
Sie können sehen, welche Art von Windungen es angewendet hat oder welche Art von Filter es ist, wie
sie aussehen.
Auf welche Funktionen wird geachtet?
Und dann wird das Pooling angewendet, also wird die Größe reduziert und Sie können hier sehen, dass dies wichtig ist.
Sie können also sehen, dass dies das gefaltete Bild ist, und dies ist das gepulste Bild, und Sie können immer noch sehen, dass
die gleichen Funktionen nur weniger Informationen sind, aber dieselben Funktionen und Funktionen bleiben erhalten.
Das ist der wichtige Teil.
Und wenn Sie wissen, ob alle vier ein bisschen zu wenig zur Seite gedreht sind,
können Sie trotzdem sehr ähnliche Pool-Lares abholen.
Und danach gibt es mehr Briefe, über die wir noch nicht gesprochen haben.
Also hat er hier ein anderes Faltungslabor, ein Faltungslager, das wir eigentlich nicht haben werden.
Und dann hat er noch ein armes Versteck, aber er wiederholt im Grunde nur denselben Prozess.
Und danach reden wir weiter unten im Kurs.
Er hat die vollständig verbundenen Lares und so weiter.
Aber damit kann man definitiv herumspielen.
Wenn ich also das lösche, das Sie mögen, wenn ich eine 7 zeichne, werden Sie feststellen, dass es Ihnen tatsächlich sagt, dass die Vermutung eine Vermutung ist,
dass dies eine 7 ist.
Und die zweite Vermutung ist die zweite Wahrscheinlichkeit drei.
So können Sie einige herausfordernde Dinge zeichnen und sehen, ob es sie aufnehmen kann.
Sagen wir also, wenn ich etwas zeichne, das wie eine 0 aussieht, aber es ist keine fertige 0, wird es
diesmal nicht aufgenommen.
Sieht aus wie eine 9 zu dem Bild.
Was ist, wenn ich es irgendwie fertig mache?
Nun glaubt es, es sei eine 0 oder eine 9 und man kann dort sehen, was die 0 beleuchtet.
Aber wir werden im Zweifel über diesen Teil sprechen.
Sagen wir noch etwas wie 8.
Ich denke, es ist ziemlich schwer für diese jetzt eine 8.
Man kann also sehen, dass das in eine 8 geht und danach hört es auf, erkennbar zu sein, dass die
Stopps für uns Menschen sinnvoll sind.
Recht.
Diese Funktionen, mit denen es arbeitet.
Aber gleichzeitig erkennt es richtig, dass es eine 8 ist.
Also auf jeden Fall damit rumspielen, dass man ein Smiley zeichnen kann.
Was passiert dann.
Sieht diesem Werkzeug wie eine Drei aus, weil das Werkzeug offensichtlich nur auf Ziffern von 0 bis 9
aufgezogen wird.
Es muss also etwas erkennen, das es gibt, und erkennt eine Drei, die es wie im Leben ist, wenn
Sie etwas wie eine Obstsorte sehen, die Sie noch nie gesehen haben, wie ein Vanillepuddingapfel oder so Birne,
weil du noch nie einen gesehen hast, bevor du nicht weißt, was du hier als gleich
klassifizieren solltest, also hat es nicht wirklich Smileys trainiert und deswegen glaubt es, es
sei ein Baum als Baum.
Also, los geht's, es ist ein sehr mächtiges Werkzeug, das für Sie hilfreich ist, wenn Sie
mit der Maus über ein Pixel-Pixel fahren, das angezeigt wird.
Es zeigt Ihnen, wo der Feature-Detektor das Pixel erfasst hat, damit Sie sehen können, woher diese Pixel kommen, und Sie
können auch sehen, wie der Filter so aussah, als würde er das Bild genau so durchgehen, wie
wir darüber gesprochen haben, und natürlich und hier Sie können sehen, dass
Sie das Pooling sehen können. Sie können sehen, dass das Ziehen mit einer kleinen quadratischen Größe von zwei zu zwei durchgeführt wird, und Sie können sehen, dass es
ein Schritt von zwei ist, genauso wie wir es im heutigen Tutorial besprochen haben.
Also dort spielen oder spielen, und ich hoffe, Sie haben die heutige Sitzung genossen.
Ich freue mich darauf, Sie das nächste Mal zu sehen.
Und bis dahin tiefes Lernen genießen.