Bonjour et bon retour, alors bien sûr, sur l'apprentissage en profondeur, nous parlons aujourd'hui de la descente de gradient de Kostic.
Auparavant, nous avions appris la descente de gradient et découvert que c’était une méthode très efficace pour résoudre notre
problème d’optimisation dans lequel nous essayons de minimiser la fonction de coût.
Il nous faut fondamentalement de 10 à la puissance de 57 ans pour résoudre un problème en quelques minutes ou quelques heures ou en un
jour ou deux.
Et cela aide vraiment à accélérer les choses, car nous pouvons voir quelle direction est la descente et nous pouvons simplement aller
dans cette direction, faire des pas et atteindre le minimum plus rapidement.
Mais le problème avec le manche avec descente de gradient est que cette méthode nécessite que la fonction de coût
soit convexe.
Et comme vous pouvez le voir ici, nous avons spécifiquement choisi une fonction de coût convexe, ce
qui signifie que la fonction est semblable à ce que nous voyons maintenant. Elle est en quelque sorte orientée
dans une direction et a essentiellement un minimum global.
Et c'est celui que nous allons trouver.
Mais que se passe-t-il si notre fonction n'est pas convexe?
Et si notre fonction de coût n'est pas correcte.
Et si ça ressemble à quelque chose comme ça.
Eh bien tout d’abord, comment cela pourrait-il se produire?
Cela peut arriver, car si nous choisissons d’abord une fonction de coût qui n’est pas la différence entre pourquoi, comment
et pourquoi et si nous choisissons la fonction de coût qui est ainsi.
Mais dans un espace multi-dimensionnel, il peut se transformer en quelque chose de non convexe.
Et donc que se passerait-il dans ce cas si nous essayions simplement d'appliquer notre méthode normale à gradient décent, quelque chose comme
ceci pourrait arriver.
Nous pourrions trouver un minimum local de la fonction de coût plutôt que global.
Donc, celui-ci était le meilleur et nous avons trouvé le mauvais et donc nous n'avons pas le poids correct.
Nous n'avons pas de réseau neuronal optimisé.
Nous avons un réseau de neurones inférieur à la normale.
Et alors que faisons-nous dans ce cas.
Eh bien, la réponse ici est stochastique.
Descente graduelle.
Et il s'avère que la descente de gradient sarcastique ne nécessite pas que la fonction de cause soit convexe.
Examinons donc les deux différences entre la descente de gradient normale dont nous avons parlé
et la plage stochastique.
La descente verte est donc normale lorsque nous prenons toutes nos lignes, nous les connectons à notre réseau de neurones.
Une fois encore, le réseau de neurones est copié plusieurs fois, mais les lignes sont connectées à ce même
réseau de neurones à chaque fois.
Donc, il y a seulement un truc vieux d'un an, c'est juste pour l'action de Kissel.
Et puis, une fois que nous les avons branchés, nous avons calculé notre fonction de coût en
fonction de la formule correcte et en regardant le graphique au bas de la page, puis nous ajustons les poids, nous appelons
cela la méthode de descente sur gradient ou bien le terme approprié est cette méthode de descente en gradient par lots.
Donc, nous prenons tout le lot de notre échantillon, nous l’appliquons et nous constatons que la méthode de descente de gradient
stochastique est un peu différente.
Ici, nous prenons les rangées une par une, donc nous courons cette rangée, nous exploitons notre réseau de neurones et ensuite nous
ajustons les poids.
Ensuite, nous passons à la deuxième rangée, nous prenons la deuxième, nous exploitons notre réseau de neurones.
Nous examinons la fonction de coût, puis nous ajustons à nouveau les poids, puis nous prenons un autre Rohtak. Trois fois, nous
gérons notre réseau de neurones. Nous examinons la fonction de coût, nous ajustons le poids.
Nous cherchons donc à ajuster les poids après chaque rangée plutôt que de tout faire
ensemble, puis à tester deux approches différentes.
Et maintenant, nous allons simplement comparer les deux côte à côte.
Alors les voici, voici comment les rappeler visuellement.
Donc, vous avez la meilleure descente de gradient où vous ajustez les poids après les avoir exécutés après avoir exécuté toutes
les lignes de votre réseau de neurones, puis en gros juste les poids et que vous exécutez à nouveau
le tout en décembre de la sixième année et que vous courez une rangée à la
fois et que vous ajustez les poids de la même manière que c’est juste les poids et que vous faites
tout, encore et encore et que l’on parle de discussion.
Et vous avez dit que les deux différences principales sont que la méthode de
descente de gradient sarcastique vous aide à éviter le problème où vous trouvez ces extrémités locales ou ces minimums locaux plutôt que le minimum
global global.
Et la raison en est simplement qu’il existe une vidéo montrant que la méthode de descente de gradient stochastique présente des
fluctuations beaucoup plus importantes, car elle peut se le permettre.
Il effectue une itération ou une ligne à la fois et, par conséquent, les fluctuations sont beaucoup
plus importantes et il est beaucoup plus probable que le minimum global soit trouvé plutôt que le minimum local.
Et l’autre aspect de la descente de gradient sarcastique, je pense que c’est un mauvais gradient, c’est que c’est la première
impression que vous pourriez avoir, c’est parce que ça grandit un à un, c’est plus
lent, mais en fait c’est plus rapide parce n'a pas besoin de charger toutes les données en mémoire et de s'exécuter
et d'attendre que toutes ces règles soient complètement activées.
Vous pouvez simplement les contourner un par un pour que l'algorithme soit beaucoup plus
léger et beaucoup plus rapide dans ce sens, donc il en a beaucoup plus dans ce sens car il présente plus d'avantages par rapport au mauvais.
Méthode de descente par gradient.
L’avantage principal de la méthode de descente sur gradient est qu’il s’agit d’un
algorithme déterministe ou autre que de lancer une descente de gradient étant un
algorithme sarcastique, c’est-à-dire qu’il s’agit d’un algorithme aléatoire mêmes poids de départ pour votre réseau de
neurones.
Chaque fois que vous exécutez la méthode de descente en gradient par lots, vous obtiendrez les mêmes itérations, les mêmes résultats pour vous, de la même
manière que vos poids sont mis à jour pour que nous puissions les utiliser pour la méthode du gradient sarcastique
décent.
Vous n'obtiendrez pas cela parce que c'est une méthode stochastique si vous choisissez vos rôles au hasard et
que vous mettez à jour votre réseau de neurones de manière sarcastique. Par conséquent, chaque fois que vous exécutez
la catégorie, vous utilisez une méthode décente. Même si vous avez les
mêmes poids au début, vous aurez un processus différent et des itérations différentes pour y parvenir.
En bref, c’est en fait une méthode entre les deux, appelée méthode de descente sur gradient par
lots, qui consiste à combiner les deux et à exécuter en gros plutôt que de
lancer un lot complet à la fois.
Vous exécutez des lots de lignes peut-être 5 10 100, quel que soit le nombre de lignes que vous décidez de définir, vous exécutez ce nombre de lignes
à la fois, puis vous mettez à jour votre chemin à un chiffre, etc.
Et c'est ce qu'on appelle la méthode de descente sur gradient Mini Bache. Si vous souhaitez en
savoir plus sur la descente sur gradient, voici un excellent article à consulter.
C'est ce qu'on appelle un réseau de neurones en 13 lignes de Python, conçu par Andrew
Trask. Les liens ci-dessous constituent un bon article de 15 ans très bien écrit.
Vous avez des idées philosophiques ou simplement intéressantes sur la manière d’appliquer de l’eau verte décente.
Vous connaissez les avantages et les inconvénients, et comment faire les
choses dans certaines situations.
Très facile à lire, alors jetez-y un coup d'œil.
Et un autre un peu plus lourd à lire.
Pour ceux d'entre vous qui sont dans les mathématiques qui veulent aller au fond des mathématiques, pourquoi.
La descente en gradient est spécifique.
Quelles sont les formules qui dirigent les classements Et comment calcule-t-il et ainsi de suite.
Consultez l'article ou en fait le livre.
C'est un livre en ligne gratuit intitulé Réseaux de neurones et apprentissage en profondeur par le livre 2015 de Michael Nielsen.
En gros, tout est en ligne, vous pouvez y aller et le vérifier.
Et là encore une introduction très douce aux mathématiques.
Mais ensuite, pour une mère, les mathématiques, mais les mathématiques sont assez lourdes au fur et à mesure que vous
lisez l'article.
Mais en même temps, cela vous met dans l'ambiance que vous voulez dire, c'est comme un chapitre d'échauffement dans lequel vous échauffez d'abord
les mathématiques, puis vous passez à autre chose, je suis tellement intéressé par les mathématiques alors voici l'article
à consulter.
Et voilà, voilà en un mot la différence entre le sens de Graney de lancer
la descente et la façon de travailler.
Et sur cette note, nous allons conclure aujourd'hui, a déclaré Tauriel.
J'ai hâte de vous voir à la prochaine.
Et jusque-là, profitez d'un apprentissage en profondeur.