Bonjour et bienvenue au cours d’apprentissage en profondeur, c’est un tutoriel supplémentaire pour parler des
fonctions d’entropie douce et croisée.
Il n'est pas nécessaire à 100% de passer en revue toutes les parties que nous avons décrites
dans la partie principale de cette section où nous parlons des réseaux de neurones à
convolution un bon ajout à votre sac de connaissances et de compétences.
Alors allons-y et allons dans ces fonctions.
Donc, pour commencer avec ce que nous avons ici, c'est la conclusion d'un réseau de neurones que nous avons
construit dans la partie principale de la section, puis à la fin, certaines probabilités de zéro point quatre-vingt-quinze pour
un chien 0 sont affichées. 05 cinq ou 5 pour cent pour un chat.
C’est après que le train a été conduit qu’elle est en train
de tourner et de classer une image donnée
La question est donc de savoir comment ces deux valeurs peuvent s’ajouter à une.
Parce que, autant que nous sachions de tout ce que j’ai appris sur les réseaux de neurones
artificiels, rien ne dit que ces deux derniers neurones sont connectés entre eux.
Alors, comment sauraient-ils quelle est la valeur de la retenue, chacun d’eux sachant quelle est la valeur
de l’autre?
Et comment sauraient-ils ajouter leurs valeurs à un?
Eh bien, la réponse est qu'ils ne le feraient pas.
Dans la version classique de notre réseau de neurones artificiels, le seul moyen d'y parvenir est que nous introduisons une
fonction spéciale appelée fonction soft max afin de nous aider à sortir de la situation.
Donc, normalement, ce qui se passerait serait que le chien et les neurones de chat aient toutes sortes de valeurs réelles dont ils
n'ont pas besoin, ils n'ont pas à en ajouter une.
Mais alors nous appliquerions la fonction soft max qui est écrite là-haut en haut et qui
ramènerait ces valeurs entre 0 et 1 et leur ferait ajouter 1 et 3 PPTA.
La fonction soft max ou la fonction exponentielle normalisée est une généralisation de la fonction logistique
qui cite squash squash a un vecteur k dimensionnel de valeurs réelles arbitraires en k vecteur dimensionnel de valeurs réelles dans la
plage allant de zéro à un et égal à 1.
Donc, fondamentalement, cela fait exactement ce que nous voulons.
Il porte ces valeurs entre 0 et 1 et veille à ce qu'elles totalisent 1.
Et la façon dont cela fonctionne, c’est que la façon dont cela est possible, c’est qu’au fond, nous sommes
ici, vous pouvez voir qu’il ya une somme.
Donc, il faut l'exposant et le met dans le pouvoir de Zed et l'additionne de sorte que ce soit un deux dans toutes
vos classes.
Toutes ces valeurs.
Et voilà votre normalisation qui se passe ici.
Voilà comment fonctionne la fonction Saucebox. Il est donc logique d’introduire la fonction suivante
dans les réseaux de neurones convolutifs. Comme ce serait étrange si vous aviez une classe possible
de chien et de chat et que vous aviez 80% .
Et pour les griffes de chat, vous aviez droit à 45%.
Cela n’a tout simplement pas de sens. C’est donc beaucoup mieux lorsque vous introduisez la fonction suivante douce et
c’est ce que vous constaterez le plus souvent dans les réseaux de convolution et de neurones.
Maintenant, l’autre chose est que la fonction soft max s’accompagne d’une fonction appelée entropie croisée,
ce qui est très pratique pour nous.
Alors regardons d'abord la formule.
Voici à quoi ressemble la fonction de saisie croisée.
Nous allons en fait utiliser un calcul différent en utilisant cette représentation du siècle, mais les résultats
sont fondamentalement les mêmes.
C'est juste plus facile à calculer.
Et ce que je sais, cela peut sembler sans aucun rapport avec quoi que ce soit actuellement, juste des formules sur votre écran, mais il y
aura quelques lectures supplémentaires recommandées à la fin de cette section, alors ne vous inquiétez pas si
vous ne suivez pas les calculs.
Même si nous n’avons pas expliqué le calcul pour le moment.
Mais le point ici est que ce qui est à travers l'entropie bien à travers la fonction d'entropie.
Rappelez-vous comment nous avions auparavant dans les réseaux de neurones artificiels une fonction appelée fonction de flèche carrée moyenne
que nous utilisions comme fonction de coût pour évaluer notre performance naturelle.
Et notre objectif était de minimiser le MSE afin d'optimiser les performances de notre réseau.
C’était notre fonction de coût à ce moment-là et dans les réseaux de neurones convolutionnels, nous pouvons toujours utiliser la MSE, mais une
meilleure option dans les réseaux de neurones convolutionnels après l’application de la fonction soft max s’avère être la
fonction à entropie croisée.
Et dans les réseaux de neurones convolutifs, lorsque vous appliquez les fonctions de saisie croisée, la fonction de coût
est appelée la dernière fonction et elles sont très similaires.
Ils sont juste un peu de différences terminologiques et comme peu différent et sur ce qu'ils signifient.
Mais à toutes fins utiles, c'est à peu près la même chose.
Et ce qui se passe est que la dernière fonction est encore une fois quelque chose que nous voulons minimiser afin de maximiser
les performances de notre réseau.
Voyons donc un exemple rapide sur la manière dont cette fonction peut être appliquée.
Alors disons que nous mettons une image d'un chien dans notre réseau.
La valeur prévue pour chien est 0. 9 et nous faisons la formation pour que nous sachions que nous connaissons l’étiquette
qui est un chien.
Donc, la valeur prédictive 0. 9 la valeur prigged pour le chat est 0. 1 alors nous avons l'étiquette, donc nous savons que
c'est un chien parce que c'est un entraînement 0 1 pour chiens ou pour chats.
Et dans ce cas, vous devez utiliser, vous devez brancher ces nombres dans votre formule pour l'entropie croisée.
Alors comment vous le faites, ce sont les valeurs de gauche qui vont au signal verbal.
Celui qui se trouve sous le logarithme du côté droit et les valeurs de droite iraient en P
et il est donc important de se rappeler laquelle y va car si vous vous trompez, vous
ne voulez pas prendre un logarithme tout moi de valeur zéro et ou allant de 1.
Donc, vous voulez juste les brancher.
Assurez-vous de les brancher aux bons endroits.
Et puis vous ajoutez essentiellement cela.
C’est ainsi que fonctionne l’entrée croisée et nous allons examiner un exemple concret, étape
par étape, d’application de cette fonction dans la vie réelle et ill, donner un sens plus
clair à l’entropie croisée et ça va être moins comme ça.
Mon but dans ce dur labeur est de vous rendre plus confortable du cross-siècle parce que cela peut sembler
très compliqué et que le jeu de mots ne le permet pas.
Comme les réseaux de neurones convolutifs, cela peut sembler très complexe et effrayant, mais ce n’est pas le cas.
C'est ça le point.
Alors allons-y et appliquons-le simplement pour que nous sachions que ce n'est pas effrayant.
Alors voici ton tout ça.
Et cela expliquera également pourquoi nous faisons cela et pourquoi nous examinons différentes fonctions de cause.
Donc, réseau de neurones, un réseau de neurones, disons que nous avons deux réseaux de
neurones, puis nous transmettons l'image d'un chien et nous savons qu'il s'agit d'un chien et non d'un chat.
Et puis nous avons une autre image de notre chat cette fois un animal et c'est un chat pas un chien et ici nous avons un
nous regardons un trou qui est en fait un chien pas un chat.
Si vous regardez de très près.
Nous voulons donc voir ce que nos réseaux de neurones ont été prédits dans le premier cas.
Réseau de neurones 1 90% chien 10% chat correct pas de numéro de réseau 60% chien
40% corrige encore pire.
Mais correct.
Deuxième option premier réseau neuronal 10% chat chien 90% chat.
Correct.
Vous connaissez ce nombre à 30% de chiens, 70% de chats pires mais toujours corrects.
Et enfin, le réseau de neurones dans le réseau d'images d'une année a gagné 40 pour cent de chiens, 60 pour cent de chats, un
numéro de réseau de neurones incorrect jusqu'à 10 pour cent de chiens et 90 pour cent de chats, incorrects.
Donc, la clé est que même si les deux utilisateurs du réseau se sont trompés dans le dernier à travers les trois images
du réseau de neurones, celui-ci surperformait le réseau de neurones.
Ainsi, même dans le dernier cas, il était très probable que le réseau neuronal donne à un chien une chance sur 40
pour cent de ne lui donner que 10% de chance ou qu'un réseau neural surperforme
globalement le réseau neuronal 2.
Et maintenant, nous allons examiner les fonctions permettant de mesurer la performance dont nous avons parlé en quelque sorte
de la notation.
Mettons-les dans un tableau pour qu'il y ait un mauvais numéro de réseau de neurones.
Donc, c'est le numéro de l'image.
Et puis pour l'image une que vous avez.
Qu'est-ce qu'il a prédit 90% de chimpanzés et de chats.
Donc, il y a le chapeau de Marable et alors vous avez la valeur réelle pour chien correct chat incorrect.
Même chose pour l’image numéro deux et même chose pour un minimum de trois et identique pour le réseau de neurones numéro deux.
So Dog 60% en conservait 40% dans la première image.
C'est ce que prédit Crotons, c'était un chien et non un chat.
Etc.
Et maintenant, voyons quelles erreurs nous pouvons réellement obtenir.
Alors, quelles erreurs pouvons-nous calculer pour estimer la performance et surveiller la performance de nos réseaux.
Donc, un type d'erreur s'appelle l'erreur de classification.
Et c’est simplement demander si cela s’est bien passé ou non.
Peu importe les probabilités, C’est juste que vous l’avez bien compris.
Ou avez-vous bien compris?
Donc, dans les deux cas, pour les deux réseaux de neurones, ils en ont chacun un.
Donc, c'est comme ça que vous vous trompez.
Alors ils se sont trompés, un sur trois.
Soit un taux d'erreur de 33% pour votre réseau et un taux d'erreur de 30% pour un réseau neuronal.
En tant que base de ce point de vue, les deux réseaux de neurones fonctionnent au même niveau mais nous savons que ce n’est
pas vrai.
Nous savons que le réseau de neurones Ikhwan surpasse le réseau de neurones.
C’est pourquoi une erreur de classement n’est pas une bonne mesure, en particulier pour les raisons de la propagation
de l’erreur quadratique moyenne et, d’ailleurs, j’ai fait ces calculs dans Excel, je ne voulais tout simplement pas vous ennuyer avec
eux, mais Tony peut s’asseoir et faites-les sur un papier ou dans Excel.
Ce sont des calculs très simples qui prennent simplement la somme des erreurs carrées,
puis la moyenne des observations, ce qui est à peu près tout.
Donc, pour le réseau neuronal, on obtient 25%. Pour le réseau neuronal 2, vous obtenez un taux d'erreur de 71%. Vous constaterez
ainsi que celui-ci est plus précis.
Cela nous dit que près d'un pays a un taux d'erreur beaucoup plus bas que votre propre réseau.
Et puis traverser à nouveau l'entropie.
Nous avons vu la formule que vous pouvez également calculer, c'est en fait encore plus facile à calculer que l'erreur quadratique
moyenne. La surface croisée sur l'entropie vous donne 38% pour les réseaux de neurones 1 et 1. 0 6 pour le réseau de neurones
2.
Donc, vous pouvez voir que les résultats sont un peu différents.
Quand vous les regardez comme ça quand vous regardez, vous connaissez la zone de la mini-jupe et l'entropie croisée, et
la question de savoir pourquoi vous utiliseriez l'entropie croisée au-dessus des erreurs carrées n'est pas simplement du genre Les calculs visaient simplement à vous
montrer que tout cela est faisable. Vous pouvez simplement le faire sur un papier,
mais ce n'est pas le cas.
Ce ne sont pas des mathématiques très intenses.
Ce sont de jolies choses simples et simples.
Mais la question de savoir pourquoi vous utiliseriez des moyens cause d'entropie signifie qu'il y a une très très bonne question à
poser.
Je suis heureux que vous ayez demandé que la réponse à cette question soit la suivante: il existe plusieurs avantages de l'entropie croisée par rapport à l'erreur
quadratique moyenne qui ne sont pas évidents.
Je vais donc en mentionner quelques-uns, mais je vais vous laisser savoir où vous pouvez en savoir plus.
Ainsi, l’un d’eux est que si, par exemple, vous êtes au tout début de votre propagation arrière, votre valeur de sortie est
très très très très très petite.
C'est donc beaucoup plus petit que la valeur réelle que vous voulez.
Ensuite, au tout début, la pente dans votre monde grand et décent sera très très basse et vous ne serez
pas assez.
Il est très difficile pour le réseau de neurones de commencer à faire quelque chose, de bouger, d'ajuster ces
poids et de commencer à faire avancer Movistar dans la bonne direction.
Tandis que lorsque vous utilisez quelque chose comme l'entropie croisée parce qu'il contient un logarithme, cela
aide en réalité le réseau à évaluer même une petite zone de ce type et à y remédier.
Voici comment y penser.
Alors disons encore une fois que c'est une approche très intuitive et très intuitive.
Il y aura un lien avec les mathématiques et vous pourrez déduire ces choses par les mathématiques plus
en détail, mais avec une approche très intuitive.
Disons que vous aimez votre résultat que vous voulez.
C'est un et à l'heure actuelle, vous êtes à un millionième d'un.
Droite.
0 $ 00 ou y en a-t-il et vous améliorerez la prochaine fois que vous augmenterez vos
résultats d'un millionième à un millième.
Et si vous calculez l'erreur au carré, il vous suffit de soustraire l'une de l'autre.
Ou fondamentalement, dans chaque cas, vous êtes Kalka dans un carré et vous verrez que les erreurs au carré lorsque
vous comparez un cas à un autre n'ont pas beaucoup changé.
Vous n’avez pas beaucoup amélioré votre réseau en regardant le carré moyen.
Mais si vous regardez l'entropie croisée parce que vous prenez un logarithme et que vous comparez cela à
la division de l'un à l'autre.
Vous constaterez que vous avez réellement amélioré votre réseau de manière significative, de sorte que le saut d'erreur d'un million à 1
000 en termes d'erreur quadratique moyenne sera très faible.
Ce sera insignifiant et ce ne sera pas le cas.
Cela ne guidera pas votre processus de renforcement du gradient ou votre propagation du dos dans la bonne direction.
Tout cela guidera dans la bonne direction mais ce sera comme un guidage très lent, il
n'aura pas assez de puissance, mais si vous effectuez une entropie entrecroisée sur une entropie, vous comprendrez que,
même si ce sont de très petits ajustements que vous savez faire, un petit changement en termes absolus en termes relatifs,
c'est une énorme amélioration.
Et nous allons certainement dans la bonne direction.
Continuons dans cette voie afin que l'entropie croisée aide votre réseau de neurones à atteindre l'état optimal et constitue un
meilleur moyen, pour le réseau de neurones, de parvenir à un état optimal.
Mais gardez à l'esprit que cela ne fonctionne que lorsque l'entropie croisée n'est que la méthode préférée uniquement pour la classification.
Donc, si vous parlez de choses comme la régression comme celle que nous avons eue dans les réseaux
de neurones artificiels, vous préféreriez aller avec moi et l'erreur quadratique alors que l'entropie croisée est préférable pour la classification
Ensuite, c’est une sorte d’explication intuitive qui en fait un bon endroit pour en apprendre
un peu plus à ce sujet si vous êtes vraiment intéressé, vous savez pourquoi nous utilisons
l’erreur croisée par rapport à l’erreur quadratique moyenne.
Une vidéo de Geoffrey Hinton sur Google a appelé la fonction de sortie max max. Il l'explique très bien et vous savez
être le parrain de l'apprentissage en profondeur qui peut mieux l'expliquer de toute façon.
Et au fait, toute vidéo de Geoffrey Hinton est dorée.
Il a juste un talent énorme pour expliquer les choses de toute façon.
Donc, c’est ça doux contre croix et j’espère que cela vous donne une sorte de compréhension intuitive de ce qui se
passe ici.
Mais plus important encore, vous ne serez pas rebutés par le terme d'entropie croisée, car le titre le mentionnera dans les récits
pratiques et je voulais m'assurer que vous êtes prêt pour cela.
Et ce n'est qu'un autre moyen de calculer votre dernière fonction.
Et une autre façon d'optimiser votre réseau, spécifiquement adaptée aux problèmes de classification
et donc aux réseaux de neurones convolutifs, allant de pair avec la fonction soft max.
Donc lecture supplémentaire si vous souhaitez une introduction légère dans l'entropie croisée si le concentré vous intéresse un
peu plus bien sûr.
Un bon article à découvrir s'appelle une introduction amicale à la perte d'entropie croisée par Rob
DePietro 2016.
Voici le lien ci-dessous.
Très très sympa, très doux et rien de super math complexe.
De bonnes analogies sont de bons exemples utilisant des analogies de voitures et vous regardez des voitures et vous
parlez d'informations, de bits et de restrictions et vous savez comment décoderiez-vous cet Unico dans son ensemble, c'est donc
un bon article à regarder et nous vous en donnerons un bonne vue d'ensemble d'une entrée croisée comme d'un point de
vue introductif.
Si vous voulez creuser dans les calculs lourds comme ce que vous voyez ici, consultez un article
de ou un blog expliquant comment implémenter un réseau de neurones Intermezzo aussi, donc son
utilisation est comme un intermédiaire.
Intermittence dans.
Vous savez, quand vous allez au théâtre, vous avez une pause entre la première et la deuxième
partie.
Donc, parce qu'il est comme passer par toutes ces étapes et ensuite il le dit et ensuite il dit
que je dois d'abord l'expliquer.
Et oui, c’est pourquoi on l’appelle intermezzo.
Aucune autre raison pour autant que je comprenne les articles de Peter Rolands 2016, donc les deux sont
assez récents.
Et vous savez vérifier ceci si vous souhaitez creuser dans les mathématiques derrière l'entropie de Kross derrière le doux Max
et l'entropie croisée dans cet article.
Alors on y va.
C'est tout ce qu'il y a pour ces deux-là.
J'espère que j'ai pu ajouter un peu de clarté supplémentaire et bonne chance avec cela.
Ça va être amusant et profiter des tutoriels pratiques.
Je te vois la prochaine fois.
Jusque-là profiter de l'apprentissage.