Hola y bienvenidos de nuevo al curso sobre aprendizaje profundo en el tutorial de hoy, estamos hablando
de un descenso gradual.
Lo que aprendimos anteriormente fue que para que una red neuronal aprenda lo que debe suceder es la
propagación de retorno y es entonces cuando el error la diferencia o la suma de las diferencias cuadradas entre y
hat e Y se propaga a través de la red neuronal y los pesos se ajustan en consecuencia.
Entonces lo vimos y hoy vamos a aprender exactamente cómo se ajustan estos pesos.
Así que echemos un vistazo.
proceso en acción donde tenemos un valor de entrada, entonces tenemos que esperar una función de activación Está aplicado.
Esta es nuestra versión muy simple de un trabajo neuronal. Percibimos a Trauner como una red neuronal feedforward de una
sola letra y lo que podemos ver aquí es todo este
Tenemos que obtener y luego lo comparamos con el valor real que calculamos la función de costo.
Entonces, ¿cómo podemos minimizar la función de costos?
Qué podemos hacer al respecto.
vemos y vemos cuál se ve mejor y lo que hacemos es, por ejemplo, probarlo, digamos por ejemplo, mil pesos
y los probaríamos, obtendríamos algo como esto para la función de costo, y esta es una tabla
del eje Y del eje vertical multifuncional en el eje horizontal de y hat.
Bueno, un enfoque para hacerlo es un enfoque de fuerza bruta donde simplemente tomamos todos los
pesos posibles diferentes y los
Y porque puedes ver las fórmulas que tenía menos Y al cuadrado.
Esto es lo que la función de costo se vería más o menos así.
Y básicamente encontrarías que el mejor está aquí.
Muy simple enfoque muy intuitivo.
¿Por qué no hacer este método de fuerza bruta?
probar mil costos diferentes para miles de parámetros o entradas diferentes para pesos y ver cuál funciona mejor?
¿Por qué no
Encontrarás la mejor de esa manera.
Bueno, si solo tiene una forma de optimizar esto, podría funcionar, pero a medida que aumente el
número de pesas, aumente la cantidad de Sinopsis en su red, debe enfrentar la maldición de la dimensionalidad.
Y entonces, ¿cuál es la causa de la dimensionalidad?
La mejor manera de describir esto o explicarlo es simplemente mirar un ejemplo práctico.
Así que recuerda este ejemplo que tuvimos cuando estábamos hablando de cómo las redes neuronales
realmente funcionan donde estábamos construyendo o ejecutando una red neuronal para una valoración de la propiedad.
Así que esto es lo que parecía cuando ya se había entrenado bien cuando no se entrenaba antes de que se
entrenara antes de saber cuál eran los pesos.
La red neuronal real se ve así.
Correcto porque tenemos todas estas sinopsis posibles diferentes y todavía tenemos que entrenar las pesas y aquí tenemos un
total de 25 pesos, por lo que cuatro veces cinco al inicio más cinco más del
golpe, hay 25 pesos en total.
Y veamos cómo podríamos forzar la fuerza bruta de 25 maneras.
Esta es una red neuronal muy simple aquí.
Muy simple solo un golpe allí y cómo podríamos abrirnos paso a fuerza a través de una red neuronal de
este tamaño.
Bueno, hay algunos cálculos matemáticos simples.
Tenemos 25 pesos
Entonces eso significa que si tenemos mil combinaciones que vamos a resolver para
cada peso, la cantidad total de combinaciones es 1000 a la potencia 25 o mil o 10 para analizar cinco combinaciones diferentes.
Ahora veamos cómo Sun el camino para tohu encender la supercomputadora Fosse del mundo a partir de junio de 2016, ¿cómo
abordaría este problema.
Correcto, Sunway empata quien enciende.
Parece que este es un gran edificio para este supercomputador y obtuvo el récord mundial
Guinness por ser el superordenador Fosses.
En este momento es el supercomputador más rápido del mundo y de alguna manera las luces de enlace pueden operar
a una velocidad de 93 de flops.
Flop significa operación flotante por segundo.
Entonces puede hacer noventa y tres con el aceite de poder.
Veces diez a la potencia de 15 operaciones flotantes por segundo.
Así de rápido es en comparación.
Las computadoras promedio en este momento les gusta un poco más de varios gigaflops y así sucesivamente.
Entonces me gustan esos rangos.
Menos de TEI Sunway tipo de luz.
De repente, todo es mentira, está a la vanguardia de la tecnología.
Y supongamos hipotéticamente que puede hacer una prueba una combinación de cuatro en su propia red en un disquete y
una operación flotante que no es posible, que no es práctica porque necesita
múltiples operaciones flotantes para probar un solo peso en su propio pequeño.
Pero incluso vamos a darle una ventaja.
Digamos que puede hacerlo en un mundo ideal que puede hacer en una operación flotante que puede hacer una
prueba por una operación flotante.
Eso significa que Doddridge todavía requerirá de cualquiera de cinco.
Divida noventa y tres veces diez a unos 15 segundos para pasar todas esas pruebas a la fuerza bruta a través de
esa red.
Entonces eso significa que uno o aproximadamente tienden a potenciar 58 segundos y eso es lo mismo que
tender a la potencia de 50 años.
Es un número enorme que es más largo de lo que el universo ha existido y que definitivamente no
va a ser simplemente porque este número es tan grande que definitivamente no va a funcionar para nosotros en absoluto en nuestra optimización.
Entonces ahí vamos
Este es un no no.
Incluso en la luz de cola Sunway del superordenador más rápido del mundo.
Entonces tenemos que idear un enfoque diferente, ¿cómo vamos a encontrar el peso óptimo?
Por cierto, esta nuestra red neuronal era muy simple, ¿qué tal si las redes neuronales se
ven como algo así o incluso una más grande que eso? Sí, simplemente no va a suceder en absoluto.
Entonces, el método que se va a mirar se llama pendiente descendente y es posible que ya haya oído hablar de él.
Si no, descubriremos qué es en este momento.
Así que nuestra función de costos es nuestra y ahora vamos a ver cómo podemos fomentar una forma más rápida de encontrar
la mejor opción.
Así que digamos que comenzamos en algún lugar donde vas a comenzar en algún lado.
Entonces comenzamos allí.
ese punto en la parte superior izquierda, lo que vamos a hacer es observar el ángulo de nuestra función de costos en ese punto, así que básicamente vamos
a hacer lo que se llama gradiente porque hay que diferenciar.
Y a partir de
No vamos a ver las ecuaciones matemáticas.
Proporcionaremos algunos consejos sobre lectura adicional al final de la próxima conferencia.
Pero básicamente solo necesita diferenciar para averiguar cuál es la pendiente en ese punto específico y averiguar si la
pendiente es positiva o negativa.
Si la pendiente es negativa como en este caso significa que vas cuesta abajo, por lo que a la derecha está cuesta abajo
a la izquierda está cuesta arriba.
Y a partir de ahí significa que necesita ir a la derecha.
Básicamente, tienes que ir cuesta abajo.
Y eso es lo que vamos a hacer.
Boom da un paso hacia la derecha.
La pelota baja nuevamente.
La misma cosa.
Calcule la pendiente y la pendiente sea positiva, lo que significa que la pendiente ascendente del escritor hacia la izquierda es cuesta abajo y
necesita ir hacia la izquierda y la bola hacia abajo.
simples, así es como encuentras los mejores ESPERAS La mejor situación que minimiza tu función de costos.
Y de nuevo calculas la pendiente y eres el toro allí mismo, así es como lo encuentras en términos
Por supuesto, no va a ser como rodar una pelota va a ser un enfoque
muy zigzagueante, pero es más fácil de recordar o algo así como más divertido de ver como una bola rodando.
Pero en realidad, sí, va a ser como que un acercamiento paso a paso va a ser
un tipo de método en zigzag.
Sí, y también hay muchos otros elementos.
por ejemplo, por qué, por ejemplo, por qué baja, por qué no pasa de la raya, por lo que podría haber salido de esta yendo hacia arriba
en lugar de hacia abajo y cosas así, así que hay parámetros que puedes ajustar.
Hay cosas como,
Y nuevamente mencionaremos dónde puede encontrar más información al respecto.
Y además lo tendremos en la aplicación práctica, pero en el enfoque intuitivo más simple esto es lo que
está sucediendo.
Estamos llegando al fondo solo para entender qué camino debemos tomar.
En lugar de forzar a la fuerza a través de miles y miles y millones y billones y
cuatrillones de combinaciones.
a dónde está, en qué dirección está inclinada, tan derecha como tu o te imaginas que estás parado en una colina.
Simplemente podemos simplemente echar un vistazo
De qué manera se siente que va hacia abajo y de cualquier manera que esté bajando, y
sigues caminando de la manera que prefieras, toma 50 pasos y luego vuelves a evaluar. OK, ¿hacia dónde va hacia
abajo?
De acuerdo, y daré 50 pasos o menos, daré 40 pasos de esa manera.
Por lo tanto, cada vez se acerca menos.
Así que aquí hay un ejemplo de descenso de gradiente aplicado en un espacio bidimensional.
Entonces ese fue un ejemplo unidimensional.
Aquí tenemos un espacio bidimensional para el descenso de gradiente ya que puedes ver que
se está acercando al mínimo y también se llama descenso de gradiente porque estás descendiendo a la función de
costo mínimo y encuentras que tiene un descenso de gradiente aplicado en tres dimensiones.
Esto es lo que parece si proyectas en dos dimensiones que puedes ver zigzagueando hacia
el mínimo.
Así que ya ve que era un índice de gradiente de descenso de Tauriel. Hablaremos de estocástica.
El descenso de gradiente es realmente una continuación de este tutorial.
Y espero verte allí.
Y así la próxima vez disfruta de un aprendizaje profundo.