Hola y bienvenidos de nuevo al curso de aprendizaje profundo, este es un tutorial adicional para hablar sobre
las funciones de entropía suave y cruzada.
No es necesario al 100% para que repasemos todas las partes que hemos visto en la parte
principal de esta sección, donde hablamos de las redes neuronales convolucionales, pero al mismo tiempo pensé
que sería una buena adición a su bolsa de conocimiento y conjunto de habilidades.
Así que vamos a profundizar en estas funciones.
tenemos aquí es la conclusión de una red neuronal que construimos en la parte principal de la sección
y luego, al final, aparece algunas probabilidades para el cero punto noventa y cinco para un perro 0.
Entonces, comenzar con lo que 05 cinco o 5 por ciento para un gato.
Teniendo en cuenta que la foto de la izquierda es una entrada Esto es después de que se haya
conducido el tren, en realidad se está ejecutando y está clasificando una determinada imagen.
Entonces, la pregunta es cómo estos dos valores suman uno.
Porque, por lo que sabemos por todo lo que aprendí sobre las redes neuronales artificiales, no
hay nada que decir que estas dos neuronas finales están conectadas entre sí.
Entonces, ¿cómo sabrían cuál es el valor de la retención que cada uno de ellos sabe cuál es el valor
de la otra?
Y cómo sabrían agregar sus valores hasta uno.
Bueno, la respuesta es que no lo harían.
En la versión clásica de nuestra red neuronal artificial, y la única forma en que lo hacen es
porque presentamos una función especial llamada función soft max para ayudarnos a salir de la situación.
Entonces normalmente lo que sucedería es que el perro y las neuronas gato tendrían cualquier tipo de valores reales
que no tienen que ser, no tienen que sumar uno.
Pero luego aplicaríamos la función soft max que está escrita arriba en la parte superior y eso
llevaría estos valores a estar entre 0 y 1 y los haría sumar 1 y 3 PPTA.
La función soft max o la función exponencial normalizada es una generalización de la función
logística que cita squash tiene un vector dimensional k de valores reales arbitrarios a un vector k dimensional de valores reales
en el rango de cero a uno que suman 1.
Básicamente, hace exactamente lo que queremos.
Trae estos valores entre 0 y 1 y se asegura de que sumen hasta 1.
Y la forma en que funciona es que la forma en que esto es posible es porque en la parte
inferior estamos aquí puede ver que hay una sumatoria.
tanto, toma el exponente y lo pone en poder de Zed y lo suma para que uno sea un dos en todas sus clases.
Por lo
Todos estos valores
Y entonces ahí está su normalización sucediendo allí mismo.
Así es como funciona la función Saucebox y tiene sentido introducir la próxima función suave en
redes neuronales convolucionales porque qué extraño sería si tuvieras clases posibles de un perro y un gato y para
la clase de perro tuvieras la posibilidad de un 80 por ciento .
Y para las garras de gato, tenías un buen 45 por ciento de razón.
suave y eso es lo que ocurrirás la mayor parte del tiempo en las redes convolucionales y neuronales.
Simplemente no tiene sentido así y, por lo tanto, es mucho mejor cuando introduces la próxima función
Ahora, la otra cosa es que la función soft max viene de la mano con algo llamado la función
de entropía cruzada y es muy útil para nosotros.
Así que primero veamos la fórmula.
Así es como se ve la función de entrada cruzada.
En realidad vamos a utilizar un cálculo diferente que va a utilizar esta representación del siglo, pero los
resultados son básicamente los mismos.
Esto es simplemente más fácil de calcular.
Y lo que sé que esto puede parecer muy diferente a cualquier otra cosa en este momento son las fórmulas en su pantalla,
pero se recomendará una lectura adicional al final de esta sección, así que no se
preocupe si no está aprendiendo matemáticamente.
Me gusta incluso si no hemos explicado las matemáticas en este momento.
Pero el punto aquí es que lo que atraviesa bien la entropía a través de la función de entropía.
Recuerde cómo anteriormente en las redes neuronales artificiales teníamos una función llamada la función de flecha cuadrática media
que usamos como la función de costo para evaluar nuestro rendimiento natural.
Y nuestro objetivo era minimizar el MSE para optimizar el rendimiento de nuestra red.
Bueno, esa era nuestra función de costos, allí y en las redes neuronales convolucionales todavía podemos usar MSE, pero una mejor
opción en las redes neuronales convolucionales después de aplicar la función de máxima potencia resulta ser
la función de entropía cruzada.
Y en las redes neuronales convolucionales cuando aplicas las funciones de entrada cruzada no se llama costo, la función de
costo ya se llama la última función y son muy similares.
Son solo algunas diferencias terminológicas y algo diferentes y sobre lo que significan.
Pero para todos los propósitos es más o menos lo mismo.
es que la última función es otra vez algo que queremos minimizar para maximizar el rendimiento de nuestra red.
Y lo que sucede
Así que echemos un vistazo a un ejemplo rápido sobre cómo se puede aplicar esta función.
Entonces digamos que ponemos una imagen de un perro en nuestra red.
El valor predicho para el perro es 0. 9 y esto está haciendo el entrenamiento, así que sabemos que conocemos la
etiqueta que es un perro.
Entonces el valor predictivo 0. 9 el valor prigged para cat es 0. 1 entonces aquí tenemos la etiqueta, así que sabemos
que es un perro porque está entrenando 0 1 para perros o para gatos.
Y entonces, en este caso, necesita usar que necesita conectar estos números en su fórmula para la entropía cruzada.
Entonces, ¿cómo lo haces? Los valores de la izquierda van a la señal verbal.
El que está debajo del logaritmo en el lado derecho y los valores en el derecho
entrarían en P, por lo que es importante recordar cuál va allí porque si los malinterpretas
no quieres tomar un logaritmo para todo yo desde cero valor o yendo desde 1.
Entonces solo quieres enchufarlos.
Asegúrate de enchufarlos en los lugares correctos.
Y luego básicamente lo sumas.
en la vida real y tendremos más sentido que la entropía cruzada. será menos así.
Entonces, así es como funciona la entrada cruzada y veremos un momento en particular. Vamos a
ver un ejemplo paso a paso específico de cómo aplicar esta función
Mi objetivo en este trabajo es hacerte sentir más cómodo en el siglo XIX porque puede sonar muy
intrincado y no se pretende que sea un juego de palabras.
Al igual que las redes neuronales convolucionales, puede sonar muy complejo y aterrador, pero no lo es.
Ese es ese el punto.
Así que sigamos adelante y aplíquelo solo para que sepamos que no da miedo.
Así que aquí está tu todo eso.
Y también esto explicará por qué estamos haciendo esto por qué estamos investigando diferentes funciones de causa.
Entonces, una red neuronal de una red neuronal digamos que tenemos dos redes neuronales y
luego pasamos la imagen de un perro y sabemos que es un perro y no un gato.
Y luego tenemos otra imagen, nuestro gato esta vez es un animal y es un gato, no un perro, y aquí tenemos una,
estamos mirando un agujero que, de hecho, es un perro, no un gato.
Si miras muy de cerca.
Entonces queremos ver qué predicen nuestras redes neuronales en el primer caso.
perro 10 por ciento gato corregir número de red a 60 por ciento perro 40 por ciento gato aún corregir peor.
Red neuronal 1 90 por ciento
Pero correcto.
Segunda opción primera red neuronal 10 por ciento perro gato 90 por ciento cat.
Correcto.
Usted sabe que el número de perros en un 30 por ciento es peor en un 70 por ciento, pero sigue siendo correcto.
Y luego, finalmente, la red neuronal en una red de años de imagen ganó 40% de perro, 60% de
gato, número de redes neuronales incorrecto, 10% de perros y 90% de gatos incorrectos y peores.
ambas personas de la red se equivocaron en la última, a través de las tres imágenes, la red neuronal estaba superando a la red neuronal.
Así que la clave aquí es que a pesar de que
Así que incluso en el último caso fue muy difícil tener un 40 por ciento de posibilidades en comparación con la red neuronal para dar al
perro un 10 por ciento de posibilidades o una red neuronal que está superando en general en
comparación con la red neuronal 2.
Y ahora vamos a ver las funciones que pueden medir el rendimiento que hemos hablado
de la calificación.
Así que pongámoslos en una tabla para que haya una red neuronal 1 que tenga el número equivocado.
Entonces ese es el número de la imagen.
Y luego, para la imagen uno que tienes.
¿Qué es lo que predice el 90 por ciento de los chimpancés y gatos de perros?
Así que está el sombrero de Marable y luego tienes el valor real, por lo que el gato correcto es incorrecto.
Lo mismo para la imagen número dos y lo mismo para un mínimo de tres y lo mismo para la red neuronal número
dos.
Entonces, el 60 por ciento de los perros se quedó con el 40 por ciento en la primera imagen.
Eso es lo que predijo Crotons era perro, no un gato.
Y así.
Y ahora veamos qué errores podemos obtener realmente.
Entonces, ¿qué errores podemos calcular para estimar el rendimiento y controlar el rendimiento de nuestras redes?
Entonces, un tipo de error se llama error de clasificación.
Y eso es básicamente solo preguntar si lo hiciste bien o no.
Independientemente de las probabilidades es solo ¿LO LOGRAS BIEN?
O lo hiciste bien.
Entonces, en ambos casos, para ambas redes neuronales, cada una de ellas obtuvo una.
Así que así es como te salen mal.
Así que obtuvieron uno de cada tres mal.
Así que la tasa de error del 33 por ciento para su red 1 y el 30 por ciento de error para la red neuronal.
Como punto de partida desde este punto de vista, ambas redes neuronales funcionan en el mismo nivel, pero sabemos que eso no
es cierto.
Sabemos que la red neuronal Ikhwan está superando a la red neuronal.
Es por eso que un error de clasificación no es una buena medida, especialmente para los propósitos de propagación
inversa del error cuadrático medio, y por la forma en que hice estos cálculos en Excel, simplemente no quería aburrirlo
con ellos, pero puede Tony sentarse y hacerlos en un papel o en Excel.
Estos son cálculos muy simples, básicamente toman la suma de los errores al cuadrado y
luego solo toman el promedio en sus observaciones y eso es más o menos.
Entonces, para la red neuronal uno obtiene el 25 por ciento de la red neuronal 2; obtienes tasas de error del 71 por ciento, de modo
que puedes ver que esta es más precisa.
Nos dice que casi uno tiene una tasa de error mucho más baja que su propia red.
Y luego cruzar la entropía de nuevo.
Hemos visto la fórmula. También puede calcular que esto es incluso más fácil de calcular que el error cuadrático medio. El
área transversal a través de la entropía proporciona el 38 por ciento de la red neuronal 1 y 1. 6 para la red neuronal 2.
0
Entonces puedes ver que los resultados son un poco diferentes.
Cuando los miras de esa manera cuando miras, conoces el área de la minifalda y la entropía cruzada, y la pregunta
de por qué usarías la entropía cruzada significa que el error al cuadrado no es exactamente del tipo de los números que dicen, sino todo
esto los cálculos fueron solo para mostrarte que esto es todo lo que puedes hacer
en un papel, pero no es así.
No es una matemática muy intensa.
Estas son cosas simples bastante simples.
Pero la pregunta de por qué usaría significa causa entropía significa que hay una muy buena pregunta
que hacer.
Me complace que haya preguntado que la respuesta es que hay varias ventajas de la entropía cruzada sobre el error
cuadrático medio, que no son obvias.
Y entonces mencionaré un par, pero luego les haré saber dónde pueden encontrar más.
Entonces, uno de ellos es que si usted, por ejemplo, al comienzo de su propagación de la espalda, su valor de salida
es muy, muy, muy pequeño, muy pequeño.
Por lo tanto, es mucho más pequeño que el valor real que desea.
Entonces, al principio, el gradiente en tu mundo grandioso y decente será muy bajo y no
serás suficiente.
Sería muy difícil para la red neuronal realmente comenzar a hacer algo y comenzar a moverse y comenzar a
ajustar esos pesos y comenzar a Movistar realmente moviéndose en la dirección correcta.
Mientras que cuando utilizas algo como la entropía cruzada porque tiene ese logaritmo, en realidad ayuda
a la red a evaluar incluso un área pequeña como esa y hacer algo al respecto.
He aquí cómo pensar sobre eso.
Entonces, digamos de nuevo, esto está muy dentro y en un enfoque muy intuitivo.
Habrá un enlace a las matemáticas y puede derivar estas cosas a través de las matemáticas en
más detalle, pero con un enfoque muy intuitivo.
Digamos que te gusta el resultado que deseas.
Es uno y ahora estás en una millonésima de uno.
Derecha.
$ 0. 00 o hay uno y luego mejorará la próxima vez que mejore su
resultado de una millonésima a una milésima.
Y en términos de si calcula el error al cuadrado, solo resta uno del otro.
O básicamente, en cada caso, eres Kalka en un cuadrado y verás que los errores al
cuadrado cuando comparas un caso con otro no cambiaron demasiado.
No mejoró mucho su red cuando mira el cuadrado medio allí.
Pero si miras la entropía cruzada porque estás tomando un logaritmo y luego estás comparando eso
para dividir uno con el otro.
Verá que en realidad ha mejorado su red de manera significativa, de modo que ese salto de un millón a 1000
en términos de error cuadrado medio será muy bajo.
Será insignificante y no lo será.
No guiará su proceso de aumento de gradiente o su propagación hacia atrás en la dirección correcta.
Todo guiará en la dirección correcta, pero será como una guía muy lenta, no tendrá suficiente
potencia, mientras que si lo haces recircula la entropía a través de la entropía, entenderás que, aunque
estos son ajustes muy pequeños que solo tú sabes hacer un pequeño cambio en términos absolutos en términos relativos
es una gran mejora.
Y definitivamente vamos en la dirección correcta.
Sigamos así, para que la entropía cruzada ayude a su red neuronal a llegar a la derecha y al estado
óptimo es una mejor manera para que la red neuronal llegue a un estado óptimo.
Pero tenga en cuenta que esto solo funciona cuando la entropía es solo el método preferido solo para la clasificación.
Entonces, si estás hablando de regresiones como las que tuvimos en las redes neuronales artificiales, entonces prefieres ir conmigo
y cuadrar el error, mientras que la entropía cruzada es mejor para la clasificación y nuevamente tiene que ver con el
hecho de que estamos usando soft la siguiente función, así que es una especie de explicación intuitiva de
eso, un buen lugar para aprender un poco más sobre eso si estás realmente interesado en saber por
qué estamos usando el error cuadrado cruzado contra el cuadrado.
Google, un video de Geoffrey Hinton, llamó a la función de salida suave máxima y él lo explica muy bien y usted
sabe que es el padrino del aprendizaje profundo que puede explicarlo mejor de todos modos.
Y, por cierto, cualquier video de Geoffrey Hinton es oro.
Él simplemente tiene un gran talento para explicar las cosas de todos modos.
Así que eso es suave, suave y no cruzado, y espero que eso les dé una especie de comprensión intuitiva de lo que
está sucediendo aquí.
Pero más importante aún es que no te desanime el término entropía cruzada porque el titular lo mencionará en las
historias prácticas y quería asegurarte de que estás preparado para eso.
Y es solo otra manera de calcular tu última función.
lo tanto, a las redes neuronales convolucionales, y va de la mano con la función soft max.
Y otra forma de optimizar su red que está específicamente adaptada a los problemas de clasificación y, por
Por lo tanto, lectura adicional si desea una introducción ligera a la entropía cruzada, si está interesado en concentrarse
un poco más, por supuesto.
Un buen artículo para verificar se llama una introducción amistosa a la pérdida de entropía cruzada por
Rob DePietro 2016.
Aquí está el enlace a continuación.
Muy, muy agradable, muy suave y nada matemático súper complejo.
te daremos un buena visión general de una entrada cruzada como desde un punto de vista introductorio.
Buenas analogías, buenos ejemplos usando analogías de autos y miras autos y habla sobre información y bits
y restricciones y sabes cómo decodificarás todo este Unico que es así que es un buen artículo para echar
un vistazo y
Si quieres profundizar en las pesadas matemáticas, como lo que ves aquí, echa un vistazo a un artículo de
o un blog sobre cómo implementar una red neuronal Intermezzo también, así que en términos de uso es
como una cosa intermedia como a.
Intermitencia en.
cuando vas a un teatro y tienes un descanso entre la primera parte y la segunda parte.
Ya sabes
Entonces, porque es como pasar por todos estos pasos y luego él es como y luego dice que
tengo que explicar esto primero.
Y sí, así que es por eso que se llama intermezzo.
No hay otra razón por la que entiendo los artículos de Peter Rolands 2016, así que ambos son
bastante recientes.
Y ya sabes, echa un vistazo a esto si quieres profundizar en las matemáticas detrás de la entropía de Kross detrás del Max y
la entropía cruzada en este artículo en realidad.
Entonces ahí vamos
Eso es todo lo que hay para estos dos.
Con suerte, pude agregar algo de claridad adicional y buena suerte con eso.
Va a ser divertido y disfrutar de los tutoriales prácticos.
Nos vemos la próxima vez.
Hasta entonces disfruta el aprendizaje.