Hallo und willkommen zurück zu dem Kurs über tiefes Lernen. Im heutigen Tutorial sprechen wir
über Gradientenabstieg.
Was wir zuvor gelernt haben, war Folgendes: Damit ein neuronales Netzwerk lernen kann, was passieren
muss, ist die Rückwärtsausbreitung. Dies ist, wenn der Fehler die Differenz oder die Summe der quadratischen Unterschiede zwischen
y hat und Y durch das neuronale Netzwerk und die Gewichte zurückgesandt wird werden entsprechend angepasst.
Also haben wir das gesehen und heute werden wir genau lernen, wie diese Gewichte eingestellt werden.
Schauen wir uns das mal an.
Dies ist unsere sehr einfache Version eines neuronalen Werks, ein Wahrnehmungs-Trauner, ein neuronales Netzwerk mit einem Buchstabenvorschub,
und was wir hier sehen können, ist dieser ganze Prozess in Aktion, bei dem wir einen Eingabewert haben,
dann müssen wir warten, dann eine Aktivierungsfunktion wird angewandt.
Wir haben einen Hut und vergleichen ihn dann mit dem tatsächlichen Wert, den wir für die Kostenfunktion berechnen.
Wie können wir also die Kostenfunktion minimieren?
Was können wir dagegen tun.
Nun, ein Ansatz, um dies zu tun, ist ein Brute-Force-Ansatz, bei dem wir einfach alle möglichen Gewichte verwenden
und sie betrachten und herausfinden, welches am besten aussieht und was wir zum Beispiel tun und
wir würden sie ausprobieren, die so etwas für die Kostenfunktion erhalten würden,
und dies ist ein Diagramm der Querachse auf der Y-Achse der Querachse auf der horizontalen
Achse von Y hat.
Und weil Sie die Formeln sehen können, die ich minus Y im Quadrat hatte.
So würde die Kostenfunktion aussehen.
Und im Grunde findest du hier das Beste.
Also sehr einfach sehr intuitiv.
Warum nicht diese Methode der rohen Gewalt anwenden?
Warum testen Sie nicht einfach tausend verschiedene Kosten für tausend verschiedene Parameter oder Eingaben für Gewichte und sehen Sie, welche
am besten funktioniert.
So finden Sie das Beste.
Wenn Sie nur einen Weg zur Optimierung haben, kann dies funktionieren. Wenn Sie jedoch die Anzahl der Gewichte
erhöhen, erhöhen Sie die Anzahl der Synopsys in Ihrem Netzwerk, und Sie müssen sich dem Fluch der Dimensionalität stellen.
Und was ist die Ursache der Dimensionalität?
Der beste Weg, dies zu beschreiben oder zu erklären, ist ein praktisches Beispiel.
Denken Sie also an dieses Beispiel, als wir darüber sprachen, wie neuronale
Netzwerke tatsächlich dort arbeiten, wo wir ein neuronales Netzwerk für die Immobilienbewertung aufbauen oder betreiben.
So sah es also aus, als es bereits gut trainiert wurde, wenn es nicht trainiert wurde, bevor es trainiert wurde,
bevor wir wissen, welches die Gewichte sind.
Das eigentliche neuronale Netzwerk sieht so aus.
Richtig, wir haben all diese verschiedenen möglichen Zusammenfassungen und wir müssen immer noch die Gewichte trainieren. Hier
haben wir insgesamt 25 Gewichte, also vier mal fünf am Start und fünf weitere
aus den insgesamt 25 Gewichten.
Und lassen Sie uns sehen, wie wir 25 Wege brutal forcieren könnten.
Dies ist hier ein sehr einfaches neuronales Netzwerk.
Ganz einfach ein einziger Treffer und wie könnten wir uns durch ein neuronales Netzwerk dieser Größe brutal
zwingen?
Nun, es gibt ein paar einfache mathematische Berechnungen.
Wir haben 25 Gewichte.
Das bedeutet, wenn wir tausend Kombinationen haben, die wir für jedes Gewicht
lösen müssen, beträgt die Gesamtzahl der Kombinationen 1000 bis 25 oder tausend oder 10, um fünf verschiedene Kombinationen zu analysieren.
Nun sehen wir uns an, wie Sun den Supercomputer der Welt von Fosse ab Juni 2016 ausleuchten könnte, wie er dieses Problem
angehen würde.
Richtig, Sunway bindet wer Licht.
Es sieht so aus, als wäre dies ein ziemlich großes Gebäude für diesen einen Supercomputer und es
hat den Guinness-Weltrekord für den Fosses-Supercomputer erhalten.
Im Moment ist es der schnellste Supercomputer der Welt, und in gewisser Weise können Krawattenlichter mit
einer Geschwindigkeit von 93 Flops arbeiten.
Flop steht für Floating-Betrieb pro Sekunde.
So kann es dreiundneunzig für das Kraftöl tun.
Zehnmal die Leistung von 15 Floating-Operationen pro Sekunde.
So schnell ist es im Vergleich.
Im Durchschnitt rechnen Computer gerade jetzt über mehrere Gigaflops und so weiter.
Es ist also eine Art dieser Bereiche.
Weniger als TEI Sunway-Licht.
Plötzlich ist es eine Lüge, dass es an der Spitze der Technologie steht.
Lassen Sie uns hypothetisch sagen, dass Sie eine Kombination von vier im eigenen
Netzwerk auf einer Diskette und einen Floating-Vorgang testen
können, der nicht möglich ist wenig.
Aber lassen Sie uns auch einen Vorsprung geben.
Nehmen wir an, dass dies in einer idealen Welt möglich ist. In einem Floating-Vorgang kann ein Test
pro Floating-Vorgang durchgeführt werden.
Das bedeutet, dass Doddridge immer noch fünf oder mehr benötigen wird.
Teilen Sie sich dreiundneunzig Mal zehn bis etwa 15 Sekunden, um all diese Tests durchzuführen, um das Netzwerk
zu durchbrechen.
Das bedeutet, dass eine oder ungefähr dazu neigt, 58 Sekunden zu betreiben, und das ist das gleiche wie
die Tendenz zur Leistung von 50 Jahren.
Das ist eine riesige Anzahl, die länger ist, als das Universum existiert hat, und das
wird definitiv nicht einfach so groß sein, dass es einfach nur für uns in unserer Optimierung überhaupt nicht funktionieren wird.
Also los geht's.
Das ist ein nein nein.
Auch auf dem schnellsten Supercomputer der Welt, dem Sunway-Rücklicht.
Wir müssen also einen anderen Ansatz finden, wie wir das optimale Gewicht finden.
Übrigens war dieses neuronale Netzwerk sehr einfach. Was ist, wenn das neuronale
Netzwerk so aussieht oder sogar größer als das, dann wird es ja überhaupt nicht passieren.
Die Methode, nach der gesucht werden soll, wird als Gradientenabstieg bezeichnet, und Sie haben möglicherweise bereits davon gehört.
Wenn nicht, werden wir herausfinden, was es jetzt ist.
Also gibt es unsere Kostenfunktion und nun sehen wir uns an, wie wir die Suche nach der besten Option
beschleunigen können.
Nehmen wir also an, wir fangen irgendwo an, wo Sie anfangen werden.
Also fangen wir dort an.
Und von diesem Punkt oben links wollen wir uns den Winkel unserer Kostenfunktion an diesem Punkt ansehen. Wir werden
also im Grunde nur Gradient nennen, weil man
differenzieren muss.
Wir werden uns nicht die mathematischen Gleichungen ansehen.
Am Ende der nächsten Vorlesung geben wir Ihnen Tipps für zusätzliche Lektüre.
Grundsätzlich müssen Sie jedoch nur differenzieren, um herauszufinden, was die Steigung in diesem bestimmten Punkt ist, und herauszufinden, ob die
Steigung positiv oder negativ ist.
Wenn die Steigung negativ ist, wie in diesem Fall, bedeutet dies, dass Sie bergab gehen. Rechts geht es
bergab und links bergauf.
Und von dort aus müssen Sie nach rechts gehen.
Grundsätzlich muss man bergab gehen.
Und das werden wir tun.
Boom macht einen Schritt nach rechts.
Der Ball rollt wieder runter.
Gleiche Sache.
Sie berechnen die Steigung und die Steigung ist positiv. Das bedeutet, dass der Aufstieg des Schreibers links abwärts geht und Sie müssen
nach links gehen, und Sie sind auf dem Ball.
Und wieder berechnen Sie die Steigung, und Sie sind alle der Bulle, und Sie
finden es in einfachen Worten. So finden Sie die besten WAITES. Die beste Situation, die Ihre Kostenfunktion minimiert.
Natürlich wird es nicht so sein, als würde ein Ballrollen eine sehr zickzackartige Herangehensweise
sein, aber es ist einfacher, sich daran zu erinnern, oder es macht mehr Spaß, es als Ballrollen zu betrachten.
Aber in Wirklichkeit ist es nur so, als würde ein schrittweiser
Ansatz eine Zick-Zack-Methode sein.
Ja, und es gibt noch viele andere Elemente.
Es gibt Dinge wie zum Beispiel warum warum es untergeht warum es nicht weit über die Linie hinausgeht, so dass es aus diesem nach oben gesprungen
sein könnte anstatt nach unten und solche Dinge, so dass es Parameter gibt, die
man anpassen kann.
Und wir werden noch einmal erwähnen, wo Sie mehr darüber erfahren können.
Und außerdem haben wir dies in der praktischen Anwendung, aber in der einfachsten intuitiven Herangehensweise geschieht
dies.
Wir gehen auf den Grund, indem wir nur wissen, welchen Weg wir gehen müssen.
Anstatt brutal durch Tausende und Abertausende, Millionen und Milliarden und Billiarden Kombinationen
zu zwingen.
Wir können einfach jedes Mal einen Blick darauf werfen, wo der Weg ist, der so abfallend ist wie Sie oder Sie sich vorstellen,
auf einem Hügel zu stehen.
Welchen Weg fühlt es sich an, dass es nach unten geht und auf welche Weise auch immer es nach unten geht
und Sie gehen einfach so weiter, wie Sie möchten, gehen Sie 50 Schritte weit weg und beurteilen Sie erneut, in welche Richtung es nach unten
geht.
OK und ich mache 50 Schritte oder weniger, 40 Schritte auf diese Weise.
Es wird also immer weniger, je näher man kommt.
Hier ist ein Beispiel für den Gradientenabstieg in einem zweidimensionalen Raum.
Das war also ein eindimensionales Beispiel.
Hier haben wir einen zweidimensionalen Raum für den Gradientenabstieg, wie Sie sehen, er
nähert sich dem Minimum und wird auch als Gradientenabfall bezeichnet, da Sie in das Minimum der Kostenfunktion
absteigen und feststellen, dass er einen Gradientenabstieg in drei Fällen hat Maße.
So sieht es aus, wenn Sie auf zwei Dimensionen projizieren, die sich im Zickzack bis zum
Minimum bewegen.
Also los, es war der Gradientenabstiegsindex von Tauriel. Wir sprechen über Stochastik.
Der Gradientenabstieg ist wirklich eine Fortsetzung dieses Tutorials.
Und ich freue mich darauf, Sie dort zu sehen.
Und so genießen Sie das nächste Mal ein tiefes Lernen.