Hallo und willkommen zurück zu dem Kurs zum tiefen Lernen. Dies ist ein zusätzliches Tutorial, um über
die Soft- und Cross-Entropie-Funktionen zu sprechen.
Es ist nicht 100 Prozent notwendig, damit Sie alle Teile durchgehen, die wir im Hauptteil dieses Abschnitts
durchlaufen haben, wo wir über die neuronalen Faltungsnetzwerke sprechen, aber gleichzeitig dachte ich, dass dies
der Fall wäre eine gute Ergänzung zu Ihrem Wissensschatz und Ihren Fähigkeiten.
Lasst uns also vorgehen und in diese Funktionen eintauchen.
Um zu beginnen mit dem, was wir hier haben, ist die Schlussfolgerung eines neuronalen Netzwerks, das wir
im Hauptteil des Abschnitts aufgebaut haben, und am Ende werden einige Wahrscheinlichkeiten für den Nullpunkt fünfundneunzig für
einen Hund 0 angezeigt. Fünf oder fünf Prozent für eine Katze.
Wenn das Foto auf der linken Seite als Eingabe dient. Dies ist, nachdem der Zug
durchgeführt wurde, tatsächlich, dass er läuft und ein bestimmtes Bild klassifiziert.
Und hier stellt sich die Frage, wie diese beiden Werte zu eins werden.
Denn soweit wir aus allem wissen, was ich über künstliche neuronale Netze gelernt habe, ist
nichts zu sagen, dass diese beiden letzten Neuronen miteinander verbunden sind.
Wie würden sie wissen, welchen Wert der Laderaum jeder von ihnen hat, was der Wert des
anderen ist.
Und woher würden sie wissen, um ihre Werte zu addieren?
Nun, die Antwort ist, dass sie es nicht tun würden.
In der klassischen Version unseres künstlichen neuronalen Netzwerks besteht die einzige Möglichkeit darin, dass wir eine
spezielle Funktion namens Soft-Max-Funktion einführen, um uns aus der Situation zu befreien.
Normalerweise würden also der Hund und die Neuronen der Katze irgendwelche realen Werte haben, die sie nicht sein
müssen, sie müssen sich nicht zu einem addieren.
Aber dann würden wir die Softmax-Funktion anwenden, die oben oben geschrieben wurde, und dass diese Werte
zwischen 0 und 1 liegen würden, wodurch sich 1 bis 3 PPTA addieren würden.
Die Soft-Max-Funktion oder die normalisierte Exponentialfunktion ist eine Verallgemeinerung der logistischen Funktion, die
einen unquote squash zitiert, einen k-dimensionalen Vektor von beliebigen reellen Werten zu einem k-dimensionalen Vektor von reellen Werten im Bereich
von null bis eins, die sich zu 1 summieren.
Im Grunde macht es genau das, was wir wollen.
Diese Werte liegen zwischen 0 und 1 und stellen sicher, dass sie sich zu 1 addieren.
Und es funktioniert so, dass dies möglich ist, weil wir hier unten sehen,
dass es eine Summierung gibt.
Also nimmt es den Exponenten und versetzt ihn in die Macht von Zed und summiert es so, dass man zwei über alle Klassen
hinweg hat.
Alle diese Werte.
Und da passiert also gerade Ihre Normalisierung.
So funktioniert die Saucebox-Funktion, und es ist sinnvoll, die Soft-Next-Funktion in Faltungs-Neuronale Netzwerke einzuführen,
denn wie seltsam wäre es, wenn Sie eine mögliche Klasse eines Hundes und einer Katze hätten
und für die Hundeklasse die Möglichkeit von 80 Prozent .
Und für die Katzenkrallen hatten Sie gute 45 Prozent.
Es macht einfach keinen Sinn und deshalb ist es viel besser, wenn Sie die Soft-Next-Funktion
einführen, und das ist, was Sie in konvolutionellen und neuronalen Netzwerken meistens vorfinden.
Die andere Sache ist, dass die Soft Max-Funktion mit der sogenannten Cross-Entropie-Funktion Hand in Hand geht und
für uns eine sehr praktische Sache ist.
Schauen wir uns zuerst die Formel an.
So sieht die Cross-Entry-Funktion aus.
Wir werden tatsächlich eine andere Berechnung verwenden, um diese Darstellung des Jahrhunderts zu verwenden, aber die Ergebnisse sind
im Wesentlichen die gleichen.
Das ist nur einfacher zu berechnen.
Und was ich weiß, das klingt vielleicht völlig unabhängig von allem, was jetzt nur Formeln auf Ihrem
Bildschirm ist. Am Ende dieses Abschnitts werden jedoch einige zusätzliche
Informationen zum Lesen empfohlen.
Wie auch wenn wir die Mathematik im Moment nicht erklärt hätten.
Aber hier geht es um das, was über die Entropie-Funktion hinweg über die Entropie hinweg gut ist.
Erinnern wir uns, dass wir in künstlichen neuronalen Netzen zuvor eine Funktion hatten, die als mittlere quadratische Pfeilfunktion bezeichnet
wurde, die wir als Kostenfunktion für die Beurteilung unserer natürlichen Leistungsfähigkeit verwendeten.
Unser Ziel war es, den MSE zu minimieren, um unsere Netzwerkleistung zu optimieren.
Nun, das war unsere Kostenfunktion dort und in neuronalen Faltungsnetzen können wir MSE noch verwenden, aber eine
bessere Option in neuronalen Faltungsnetzen, nachdem Sie die Soft-Max-Funktion angewendet haben, stellt sich
als Kreuz-Entropiefunktion heraus.
Und in konvolutionellen neuronalen Netzwerken, wenn Sie die Cross-Entry-Funktionen anwenden, wird die Kostenfunktion nicht mehr als Kostenfunktion bezeichnet, sondern
als letzte Funktion bezeichnet und sie sind sich sehr ähnlich.
Sie sind nur ein paar terminologische Unterschiede und mögen etwas anders und was sie bedeuten.
Aber für alle Zwecke ist es ziemlich dasselbe.
Und was passiert, ist die letzte Funktion, die wir minimieren möchten, um die Leistung unseres
Netzwerks zu maximieren.
Schauen wir uns ein kurzes Beispiel an, wie diese Funktion angewendet werden kann.
Nehmen wir also an, wir stellen ein Bild eines Hundes in unser Netzwerk.
Der vorhergesagte Wert für den Hund ist 0. 9 und dies macht das Training, also wissen wir, dass wir das Etikett kennen,
das ein Hund ist.
Also der Vorhersagewert 0. 9 der prigged-Wert für cat ist 0. 1 Dann haben wir hier das Label, also wissen
wir, dass es ein Hund ist, da dies 0 1 für Hunde oder Katzen ist.
In diesem Fall müssen Sie diese Zahlen in Ihre Formel für die Kreuzentropie eingeben.
Wie Sie es tun, sind die Werte links, die zum verbalen Stichwort gehen.
Der Wert, der sich unter dem Logarithmus auf der rechten Seite und den Werten von rechts befindet, würde in
P eingehen. Daher ist es wichtig, sich zu merken, welcher der Werte dort ist, denn wenn man sie
falsch versteht, möchte man keinen Logarithmus nehmen alle ich von null wert und oder von 1.
Sie möchten sie also nur anschließen.
Stellen Sie sicher, dass Sie sie an den richtigen Stellen anschließen.
Und dann summieren Sie das im Grunde.
So funktioniert der Cross-Eintrag und wir werden uns jetzt ein aktuelles Beispiel anschauen, in dem wir
ein bestimmtes Schritt-für-Schritt-Beispiel für die Anwendung dieser Funktion im wirklichen Leben betrachten und die Art und Weise,
wie Cross-Entropie ist, sinnvoll erscheinen lassen es wird weniger so sein.
Mein Ziel bei dieser Arbeit ist es, Ihnen den Umgang mit Cross Century bequemer zu machen, da
es sehr kompliziert klingen kann und kein Wortspiel beabsichtigt ist.
Wie konvolutionelle neuronale Netzwerke kann es sehr komplex und unheimlich klingen, ist es aber nicht.
Das ist der Punkt.
Also lasst uns weitermachen und es anwenden, nur damit wir wissen, dass es nicht beängstigend ist.
Also hier ist dein alles.
Und dies erklärt auch, warum wir das tun, warum wir verschiedene Ursachenfunktionen untersuchen.
Ein neuronales Netzwerk mit einem neuronalen Netzwerk. Nehmen wir an, wir haben zwei neuronale Netzwerke.
Dann passieren wir das Bild eines Hundes und wir wissen, dass dies ein Hund und keine Katze ist.
Und dann haben wir ein anderes Bild unserer Katze, diesmal ein Tier, und es ist eine Katze, kein Hund, und hier haben wir
ein Loch, das eigentlich ein Hund ist, der eigentlich keine Katze ist.
Wenn du genau hinschaust.
Wir wollen also sehen, was unsere neuronalen Netze im ersten Fall vorhergesagt haben.
Neuronales Netzwerk 1 90 Prozent Hund 10 Prozent Katze korrigiert keine Netzwerknummer zu 60 Prozent Hund 40 Prozent
Katze noch richtig schlechter.
Aber richtig
Zweite Option erstes neuronales Netzwerk 10 Prozent Katze Hund 90 Prozent Katze.
Richtig.
Sie wissen, dass die Zahl der Hunde zu 30 Prozent um 70 Prozent schlechter ist, aber immer noch korrekt ist.
Und schließlich gewann das neuronale Netzwerk in einem jahrelangen Netzwerk 40 Prozent Hund, 60 Prozent falsche
neuronale Netzwerknummer, 10 Prozent Hund und 90 Prozent falsche und schlechtere Katzen.
Der Schlüssel hier ist also, dass, obwohl beide Netzleute es im letzten durch alle drei Bilder falsch gemacht hatten,
das neuronale Netz eines das neuronale Netz übertraf.
Selbst im letzten Fall war es sehr wahrscheinlich, dass es dem Hund eine 40-prozentige Chance gab, im Gegensatz zu einem neuronalen Netzwerk, nur eine
10-prozentige Chance für den Hund zu geben, oder ein neuronales Netzwerk, das im Vergleich zum
neuronalen Netzwerk 2 allgemein übertrifft.
Und so werden wir uns jetzt die Funktionen ansehen, mit denen sie die Leistung messen können, über die wir irgendwie über die
Bewertung gesprochen haben.
Lassen Sie uns diese in eine Tabelle schreiben, also gibt es ein neuronales Netzwerk 1, bei dem Sie die falsche Nummer haben.
Das ist also die Bildnummer.
Und dann zum Bild eins, das du hast.
Was ist es vorausgesagt 90 Prozent Hund Schimpansen und Katze.
Also gibt es den Hut Marable und dann haben Sie den tatsächlichen Wert, so dass die richtige Hundekatze falsch ist.
Dasselbe gilt für Bild Nummer zwei und das gleiche für ein Minimum von drei und das gleiche für neuronales Netzwerk Nummer zwei.
So behielt Dog 60 Prozent im ersten Bild 40 Prozent.
Das war, was Crotons vorausgesagt hatte, war Hund, keine Katze.
Und so weiter.
Und jetzt sehen wir, welche Fehler wir tatsächlich bekommen können.
Welche Fehler können wir berechnen, um die Leistung zu schätzen und die Leistung unserer Netzwerke zu überwachen.
Eine Art von Fehler wird daher als Klassifizierungsfehler bezeichnet.
Und das ist im Grunde nur die Frage, ob Sie es richtig verstanden haben oder nicht.
Unabhängig von den Wahrscheinlichkeiten ist es einfach, dass Sie es richtig machen.
Oder hast du es richtig verstanden?
In beiden Fällen hatten beide Neuronale Netzwerke jeweils eines.
So gehen Sie also schief.
Also haben sie eins von drei falsch verstanden.
Also 33 Prozent Fehlerrate für Ihr Netzwerk 1 und 30 Prozent Fehlerrate für neuronales Netzwerk.
Von diesem Standpunkt aus gesehen arbeiten beide neuronalen Netzwerke auf demselben Niveau, aber wir wissen, dass dies nicht
stimmt.
Wir wissen, dass das neuronale Netzwerk Ikhwan das neuronale Netzwerk übertrifft.
Aus diesem Grund ist ein Klassifizierungsfehler kein gutes Maß, insbesondere für die Zwecke des mittleren quadratischen Fehlers,
und da ich diese Berechnungen in Excel vorgenommen habe, wollte ich Sie einfach nicht damit langweilen, aber Sie können
Tony einfach hinsetzen machen Sie sie auf Papier oder in Excel.
Dies sind sehr einfache Berechnungen. Nehmen Sie einfach die Summe
der Fehlerquadrate und dann den Durchschnitt Ihrer Beobachtungen an.
Für das neuronale Netzwerk werden also 25% für das neuronale Netzwerk 2 erzielt, und Sie erhalten 71% Fehlerraten, so dass Sie
feststellen können, dass dieses genauer ist.
Es sagt uns, dass fast jeder eine viel geringere Fehlerrate hat als Ihr eigenes Netzwerk.
Und dann wieder die Entropie.
Wir haben gesehen, dass Sie die Formel berechnen können, die berechnet werden kann. Sie
ist sogar noch einfacher zu berechnen als der mittlere quadratische Fehler. 0 6 für neuronales Netz 2.
Sie können also sehen, dass die Ergebnisse ein bisschen anders sind.
Wenn Sie sie so betrachten, wissen Sie, wenn Sie sich den Minirock-Bereich und die Kreuzentropie anschauen, und die Frage, warum
Sie Kreuzentropie verwenden sollten, bedeutet, dass quadratische Fehler nicht nur die Zahlen sind, die sie sagen, aber alle diese Berechnungen waren nur, um Ihnen
zu zeigen, dass dies alles ist, was alles machbar ist. Sie können es
einfach auf Papier tun, wenn nicht.
Es ist keine sehr intensive Mathematik.
Das sind ziemlich einfache Dinge.
Aber die Frage, warum würden Sie Mittel verwenden, um Entropie zu verursachen, ist eine sehr gute Frage zu
stellen.
Ich bin froh, dass Sie gefragt haben, dass die Antwort darauf ist, als gäbe es mehrere Vorteile der Kreuzentropie gegenüber dem mittleren
quadratischen Fehler, die nicht offensichtlich sind.
Ich werde ein paar erwähnen, aber dann werde ich Sie wissen lassen, wo Sie mehr erfahren können.
Eine davon ist, dass, wenn Sie beispielsweise ganz am Anfang Ihrer Rückwärtsausbreitung stehen, Ihr Ausgabewert sehr, sehr,
sehr klein, sehr klein ist.
Es ist also viel kleiner als der tatsächliche Wert, den Sie wünschen.
Am Anfang wird der Gradient in Ihrer großen und anständigen Welt sehr niedrig sein und Sie werden nicht
genug sein.
Es ist sehr schwierig für das neuronale Netzwerk, tatsächlich etwas zu tun, sich zu bewegen, die
Gewichte anzupassen und Movistar in die richtige Richtung zu bewegen.
Wenn Sie jedoch so etwas wie die Kreuzentropie verwenden, weil sie diesen Logarithmus enthält,
hilft dies tatsächlich dem Netzwerk, selbst einen kleinen Bereich zu bewerten und etwas dagegen zu unternehmen.
So denken Sie darüber nach.
Nehmen wir also an, dies ist sehr intuitiv.
Es wird eine Verbindung zur Mathematik geben, und Sie können diese Dinge durch die Mathematik detaillierter
ableiten, aber eine sehr intuitive Vorgehensweise.
Nehmen wir an, Sie mögen Ihr Ergebnis, das Sie möchten.
Ist eins und im Moment bist du bei einem Millionstel.
Recht.
$ 0. 00 oder gibt es eine und dann verbessern Sie das nächste Mal, wenn Sie Ihr Ergebnis
von einem Millionstel auf ein Tausendstel verbessern.
Und wenn Sie den quadratischen Fehler berechnen, subtrahieren Sie einfach den einen von dem anderen.
Oder Sie sind im Grunde in jedem Fall Kalka in einem Quadrat und Sie werden feststellen, dass die quadratischen Fehler, wenn Sie
einen Fall mit einem anderen vergleichen, sich nicht so sehr geändert haben.
Sie haben Ihr Netzwerk nicht wesentlich verbessert, wenn Sie das mittlere Quadrat dort betrachten.
Wenn Sie jedoch die Kreuzentropie betrachten, weil Sie einen Logarithmus verwenden, dann vergleichen Sie dies
mit der Aufteilung der beiden.
Sie werden sehen, dass Sie Ihr Netzwerk tatsächlich erheblich verbessert haben, so dass der Sprung von einer Million auf 1000 in
Bezug auf die mittleren Fehlerquadrate sehr niedrig ist.
Es wird unbedeutend sein und nicht.
Es wird Ihren Gradientenverstärkungsprozess oder Ihre Rückenausbreitung nicht in die richtige Richtung lenken.
Es wird alles in die richtige Richtung gelenkt, aber es ist wie eine sehr langsame
Führung, es hat nicht genug Kraft. Wenn Sie jedoch die Entropie über die Entropie recrossieren, werden Sie
verstehen, dass dies nur kleine Anpassungen sind, die Sie gerade machen eine kleine absolute Änderung in absoluten Zahlen ist
eine enorme Verbesserung.
Und wir gehen definitiv in die richtige Richtung.
Lasst uns so weitermachen, dass Kreuzentropie Ihrem neuronalen Netzwerk helfen wird, den optimalen Zustand zu erreichen. Der optimale Zustand ist
ein besserer Weg für das neuronale Netzwerk, um einen optimalen Zustand zu erreichen.
Denken Sie jedoch daran, dass dies nur funktioniert, wenn die Entropie nur die bevorzugte Methode zur Klassifizierung ist.
Wenn Sie also über Dinge wie Regression sprechen, die wir in künstlichen neuronalen Netzwerken hatten,
würden Sie lieber mit mir gehen und quadratische Fehler machen, wohingegen Kreuzentropie besser für die Klassifizierung ist
Die nächste Funktion ist also eine Art intuitive Erklärung dafür. Ein guter Ort,
um etwas mehr darüber zu erfahren. Wenn Sie wirklich interessiert sind, wissen Sie, warum
wir Kreuz- und mittlere quadratische Fehler verwenden.
Google hat in einem Video von Geoffrey Hinton die Soft-Max-Output-Funktion aufgerufen. Er erklärt es sehr gut und Sie wissen, dass
Sie der Pate des Deep Learning sind, der es trotzdem besser erklären kann.
Übrigens ist jedes Video von Geoffrey Hinton golden.
Er hat sowieso ein großes Talent, Dinge zu erklären.
Das ist also so sanft gegen Kreuz und ich hoffe, das gibt einem ein intuitives Verständnis dafür, was hier vor
sich geht.
Noch wichtiger ist jedoch, dass Sie nicht durch den Begriff Kreuzentropie abgeschreckt werden, da die
Überschrift dies in den praktischen Geschichten erwähnen wird.
Und es ist nur eine andere Möglichkeit, Ihre letzte Funktion zu berechnen.
Und eine weitere Möglichkeit, Ihr Netzwerk zu optimieren, das speziell auf Klassifizierungsprobleme und
damit auf die Faltungsneuralnetze zugeschnitten ist und mit der Soft-Max-Funktion Hand in Hand geht.
Also zusätzliche Lektüre, wenn Sie eine leichte Einführung in die Kreuzentropie wünschen, wenn Sie sich für das Konzentrat
interessieren, natürlich mehr.
Ein guter Artikel zum Auschecken wird von Rob DePietro 2016 als freundliche Einführung in den
Entropieverlust bezeichnet.
Hier ist der Link unten.
Sehr sehr schön, sehr weich und nichts Super-Super-Mathe.
Gute Analogien Gute Beispiele mit Analogien von Autos und Sie schauen sich Autos an und sprechen
über Informationen und Kleinigkeiten und Einschränkungen, und Sie wissen, wie Sie dieses ganze Unico entschlüsseln könnten.
Es ist also ein guter Artikel, den wir uns ansehen sollten guter Überblick über einen Quereintrag wie aus
einleitender Sicht.
Wenn Sie sich in die schwere Mathematik einarbeiten wollen, wie Sie es hier sehen, dann
schauen Sie sich einen Artikel von oder ein Blog an, wie Sie ein neuronales
Netzwerk Intermezzo implementieren können.
Unterbrechung in.
Sie wissen wie, wenn Sie in ein Theater gehen, und Sie haben eine Pause zwischen dem ersten und dem zweiten
Teil.
Also, weil er so durch alle diese Schritte geht und dann ist er wie und dann sagt er,
ich muss das zuerst erklären.
Und ja, deshalb wird es Intermezzo genannt.
Kein anderer Grund, soweit ich die Artikel von Peter Rolands 2016 auch verstehe, sind beide ziemlich
neu.
Und Sie sollten wissen, ob Sie die Mathematik hinter Kross-Entropie hinter dem weichen Max und die Kreuz-Entropie in
diesem Artikel wirklich erforschen möchten.
Also los geht's.
Das ist alles zu diesen beiden.
Hoffentlich konnte ich etwas mehr Klarheit und Glück hinzufügen.
Es wird Spaß machen und die praktischen Tutorials genießen.
Wir sehen uns beim nächsten Mal.
Bis dahin viel Spaß beim Lernen.