Bonjour et bienvenue au cours sur l'apprentissage en profondeur.
D'accord, nous parlons aujourd'hui de la fonction d'activation.
Allons droit au but.
Nous en avons donc parlé précédemment de la structure d’un neurone.
Donc, au milieu, nous savons que certaines valeurs d’entrée entrent, il a quelques poids, puis
la somme permet de calculer la manière dont certaines de ces entrées sont appliquées, puis d’appliquer la fonction d’activation
à l’étape 3.
Cela transmet le signal à l'année suivante et ensuite, c'est ce dont nous parlons aujourd'hui, nous
parlons de la valeur qui sera transmise.
Nous parlons donc de la fonction d'activation appliquée.
Alors, quelles options avons-nous pour la fonction d'activation.
Nous allons examiner quatre types de fonctions d’activation parmi lesquels vous pouvez choisir.
Bien sûr, il existe plusieurs types de fonctions d’activation, mais ce sont les fonctions prédominantes
dont vous allez parler et que nous utiliserons dans ce cours.
Donc, voici la fonction de seuil.
Voici à quoi ça ressemble.
Donc, sur l’axe des x, vous avez les entrées pondérées sur l’axe des y.
Vous venez de connaître les valeurs de 0 à 1 et les fonctions de seuil sont très
simples. Tapez une fonction où si la valeur est inférieure à zéro, la valeur libre.
Merci ssion passe à zéro.
Si la valeur est supérieure à zéro ou égale à zéro, alors la fonction de seuil est sur un 1.
Donc, en gros, c'est un peu comme si non, aucun type de fonction.
Très très simple.
Très gentil comme type de fonction rigide soit oui ou non.
Pas d'autres options.
Alors voilà.
Ça fonctionne comme ça.
Fonction très simple.
Passons à quelque chose d'un peu plus complexe.
Maintenant, cette fonction sigmoïde formule très intéressante que nous avons ici, vous verrez tout à l'heure qu'il y a une division par
un plus chacun.
La puissance de moins X alors que dans ce cas bien sûr X est la valeur des sommes de la manière qui somme.
Et alors oui.
Voilà à quoi ressemble le sigmoïde.
C'est une fonction utilisée dans la régression logistique.
Si vous vous rappelez du cours d’apprentissage automatique.
Donc, ce qui est bien avec cette fonction, c'est qu'elle est lisse.
Contrairement à la fonction virtuelle.
Celui-ci ne présente pas ces courbes dans sa courbe et il ne s'agit donc que d'une progression progressive agréable et lisse.
Donc, tout ce qui se situe en dessous de 0 équivaut à une chute au-dessus de zéro.
Il agit approximativement vers un et cette fonction sigmoïde est très utile dans la couche finale de Lehren.
Surtout quand vous essayez de prédire les probabilités.
Et nous verrons cela tout au long du cours.
Et puis nous avons la fonction redresseur, même si elle a un
pli, elle est l’une des fonctions les plus populaires pour les réseaux de neurones artificiels;
Et puis à partir de là, il progresse progressivement à mesure que la valeur d'entrée augmente également et nous verrons cela tout au long du cours,
comme nous le verrons dans d'autres tutoriels d'intuition, et nous verrons également comment nous utilisons cette
fonction dans la partie pratique du cours Je vais en parler un peu plus dans quelques diapositives à partir de
maintenant.
Alors rappelez-vous que la fonction de tir direct est l’une des fonctions les plus utilisées dans les réseaux de neurones artificiels.
Et enfin, nous avons une autre fonction dont vous entendrez probablement parler.
C'est la fonction de la tangente hyperbolique.
Cela ressemble beaucoup à la fonction sigmoïde, mais ici, la fonction tangente hyperbolique passe en dessous de zéro, de sorte que les valeurs
vont de 0 à 1 ou environ 2 1 et vont de zéro à moins 1 de l'autre côté.
Et cela peut être utile dans certaines applications.
Nous n'allons donc pas approfondir chacune de ces fonctions. Je souhaitais simplement vous en informer afin que
vous sachiez à quoi elles ressemblent et comment elles s'appellent.
Si vous souhaitez en savoir plus, consultez ce document par 75 ans.
Avez-vous beaucoup appelé Deep sparse rectifies réseau de neurones 2000 papier.
Et là, vous découvrirez exactement pourquoi la fonction de redressement est une fonction aussi précieuse, pourquoi elle est si
couramment utilisée.
Mais néanmoins, pour le moment, nous n'avons pas vraiment besoin de savoir toutes ces choses.
Pour le moment, nous allons simplement commencer à les appliquer et à les utiliser de plus en plus.
Ainsi, lorsque vous vous sentirez à l'aise avec le côté pratique des choses, vous pourrez vous référer à cet article
et vous pourrez alors assimiler ces connaissances beaucoup plus rapidement, ce qui sera beaucoup plus logique.
Mais gardez simplement à l'esprit que lorsque vous êtes prêt, vous pouvez aller faire des
recherches sur papier et en tirer de précieuses connaissances.
Donc, pour récapituler rapidement, nous avons la fonction d’activation de seuil qui ressemble à celle d’activation sigmoïde
qui ressemble à ceci.
Nous avons la fonction de redressement et la fonction de tangente hyperbolique et nous allons
maintenant terminer ce tutoriel. Faisons rapidement quelques exercices. Faisons donc deux exercices rapides pour aider ces connaissances à s’intégrer.
Le premier est que nous avons ici l'exemple d'un réseau de neurones composé d'un seul neurone et de la couche
de sortie.
Et la question est de supposer que votre variable dépendante est binaire. Donc, la fonction de seuil que vous utiliseriez est
0 ou 1.
Donc, parmi ceux dont nous avons discuté, nous avons une fonction de seuil, la fonction sigmoïde, la
fonction de redressement, et nous avons la fonction de tangente hyperbolique dans sa forme déroulante que
vous pouvez utiliser pour une variable binaire.
D'ACCORD.
La réponse est donc qu'il y a deux options avec lesquelles nous pouvons aborder cela.
Donc, la première est la fonction d’activation du seuil car nous savons qu’elle se situe entre 0 et 1, elle nous donne 0
parapluie Anderson et sinon, elle vous donne une fois qu’elle peut vous donner deux valeurs.
Il s’adapte parfaitement à cette exigence et vous pouvez donc dire que vous égalez la fonction de seuil de
votre influence sur certains et c’est tout.
Et dans le second cas, vous pouvez utiliser la fonction d’activation sigmoïde.
C'est en fait aussi entre 0 et 1 exactement ce dont nous avons besoin.
Mais en même temps, vous voulez n’être qu’un seul droit, de sorte que vous n’êtes pas exactement ce dont nous
avons besoin, mais dans ce cas, vous pouvez l’utiliser comme la probabilité que Y soit oui ou non.
Nous voulons donc que Y soit égal à 0 mais nous dirons plutôt que la fonction d’activation sigmoïde Simoun nous
dit si elle indiquerait la probabilité que Y soit égal à 1.
Donc, fondamentalement, plus on se rapproche du sommet, plus il est probable qu'il s'agisse bien d'un ou d'un oui plutôt
que d'un non.
Et oui, c'est très similaire à l'approche de régression logistique.
Et ce ne sont que deux exemples.
Si vous avez une variable binaire.
Voyons maintenant une autre application pratique.
Voyons comment tout cela se jouerait si nous avions un naturel comme celui-là.
Donc, dans la première couche, nous avons des entrées.
Ils sont envoyés à notre première couche cachée, puis une fonction d'activation est appliquée.
Et généralement, ce que vous appliquerez ici et ce que vous verrez tout au long de Scorsese appliquera une fonction d'activation
du redresseur afin que cela ressemble à quelque chose comme ça.
Nous appliquons la fonction d'activation du redresseur, puis les signaux sont transmis à la couche de
sortie où la fonction d'activation sigmoïde est appliquée et constitue notre sortie finale.
Et cela pourrait prédire une probabilité par exemple, de sorte que cette combinaison
va être assez courante là où dans les couches cachées nous appliquons la fonction redresseur et ensuite, là nous appliquons la fonction sigmoïde.
Alors on y va.
J'espère que vous avez apprécié ce tutoriel. Maintenant, vous maîtriserez assez bien quatre
types de fonctions d'activation et vous obtiendrez une expérience pratique sur le tas tout au long
de ce cours. et vous devriez être assez à l'aise avec eux.
Mais pour l'instant, c'est la connaissance dont vous avez besoin pour progresser et comprendre ce qu'il va se passer plus
loin dans ce cours.
Et sur cette note, j'ai hâte de vous voir la prochaine fois.
Jusque-là profiter de l'apprentissage.