Hola y bienvenidos, así que por supuesto sobre el aprendizaje profundo hoy hablamos sobre el descenso del gradiente Kostic.
Anteriormente aprendimos sobre el descenso de gradientes y descubrimos que es un método muy eficaz para resolver nuestro
problema de optimización en el que intentamos minimizar la función de costos.
Básicamente nos lleva de 10 a la potencia de 57 años para resolver un problema en cuestión de minutos u horas o dentro de un
día más o menos.
Y realmente ayuda a acelerar las cosas porque podemos ver qué camino es cuesta abajo y podemos ir en
esa dirección y tomar medidas y llegar al mínimo más rápido.
cosa con el stick con pendiente de gradiente es que este método requiere que la función de costo sea convexa.
Pero la
Y como pueden ver aquí, hemos elegido específicamente una función de costo convexo básicamente convexo, lo que significa
que la función es similar a lo que estamos viendo ahora, que es solo una especie de sentido en una
dirección y que en esencia tiene un mínimo global.
Y ese es el que vamos a encontrar.
Pero, ¿y si nuestra función no es convexa?
¿Qué pasa si nuestra función de costo no es correcta?
¿Qué pasa si se ve algo como esto?
Bueno, antes que nada, ¿cómo pudo suceder eso?
Bueno, eso podría suceder porque si primero elegimos una función de costo, que no es la diferencia cuadrada entre por
qué, cómo y por qué, o si elegimos la función de costo, que es así.
Pero luego, en un espacio multidimensional, puede convertirse en algo que no sea convexo.
Y entonces, ¿qué pasaría en este caso si intentásemos aplicar nuestro método degradado decente normal algo
así podría suceder?
Podríamos encontrar un mínimo local de la función de costo en lugar de la función global.
Así que este fue el mejor y encontramos el equivocado y, por lo tanto, no tenemos el peso correcto.
No tenemos una red neuronal optimizada.
Tenemos una red neuronal subpar.
Y entonces, ¿qué hacemos en este caso?
Bueno, la respuesta aquí es estocástica.
Descenso de gradiente.
Y resulta que el descenso gradiente sarcástico no requiere que la función de causa sea convexa.
Echemos un vistazo a las dos diferencias entre el descenso normal del gradiente del que
hablamos y el rango estocástico.
Entonces, el descenso verde normal es cuando tomamos todas nuestras filas y las conectamos a nuestra red neuronal
y una vez más aquí tenemos la red neuronal copiada varias veces, pero las filas se conectan a
la misma red neuronal todo el tiempo.
Entonces, solo hay un truco de un año, esto es solo para los propósitos de la acción de Kissel.
Y luego, una vez que los conectamos, calculamos nuestra función de costos en función de la
fórmula correcta y observamos la tabla en la parte inferior y luego ajustamos los pesos; a continuación, esto se denomina
método de descenso de gradiente o también es el término correcto. ese método de descenso de gradiente discontinuo.
lote de nuestra muestra, lo aplicamos y luego corremos que el método de descenso gradiente estocástico es un poco diferente.
Así que tomamos todo el
Aquí tomamos las filas una por una, de modo que tomamos esta fila para ejecutar nuestra red neuronal y luego
ajustamos los pesos.
Luego pasamos a la segunda fila donde tomamos la segunda fila donde ejecutamos nuestra red neuronal.
Nos fijamos en la función de costos y luego ajustamos los pesos nuevamente y luego tomamos otro Rohtak rose tres. Ejecutamos
nuestra red neuronal y observamos la función de costos en la que ajustamos el peso.
Básicamente, estamos viendo que estamos ajustando los pesos después de cada fila en lugar de hacer todo juntos
y luego probar los pesos dos enfoques diferentes.
Y ahora vamos a comparar los dos al lado del otro.
Así que aquí están, así es cómo recordarlos visualmente.
Así que tienes el mejor descenso de gradiente donde estás ajustando los pesos después de haberlos ejecutado después de haber
ejecutado todas las filas en tu red neuronal y, básicamente, solo los pesos y ejecutar todo de nuevo
iteración iteración de iteración en el sexto grado en diciembre y usted corre una fila a
la vez y ajusta los pesos de la misma manera en que solo son los pesos y luego lo
hace todo una y otra vez, y eso se llama discutir.
las extremidades locales o los mínimos locales en lugar del mínimo general general global.
Y dijo que las dos principales diferencias son que el método de descenso de gradiente sarcástico le ayuda a evitar el problema donde
se encuentran
Y la razón de esto en términos simples es que hay un video del método de descenso de gradiente
estocástico que tiene fluctuaciones mucho más altas porque puede permitírselo.
Está haciendo una iteración o una fila a la vez y, por lo tanto, las fluctuaciones
son mucho más altas y es mucho más probable encontrar el mínimo global en lugar del mínimo local.
la vez, es más lento, pero en realidad es más rápido porque es no tiene que cargar todos los datos
en la memoria y ejecutar y esperar hasta que todas esas reglas estén en total.
Y la otra cosa sobre el descenso gradiente sarcástico, creo que es un gradiente malo, es que es como la primera
impresión que podrías tener es porque está creciendo uno a
Usted puede simplemente rodearlos uno por uno, por lo que es un algoritmo mucho
más ligero, es mucho más rápido en ese sentido, aunque tiene mucho más en ese sentido, ya que tiene más ventajas que el malo.
Método de descenso de gradiente
de un dominio como Profer es que el método de gradiente de gradiente malo es que es un
algoritmo determinístico o no para lanzar un descenso de gradiente siendo un algoritmo sarcástico, lo que significa que
es aleatorio y con el mejor gradiente y método siempre y cuando tengas el mismos pesos iniciales para su red neuronal.
La principal ventaja
Cada vez que ejecute el método de gradiente de gradiente por lotes obtendrá las mismas iteraciones, los mismos resultados para usted
en todo momento en que se actualicen sus pesos para que tengamos el método de gradiente sarcástico
decente.
No lo conseguirás porque es un método estocástico elegir tus roles posiblemente al azar y estás
actualizando tu red neuronal de una manera sarcástica y por lo tanto solo vas a cada
vez que ejecutas la categoría un método decente incluso si tiene
los mismos pesos al principio, tendrá un proceso diferente y diferentes iteraciones para llegar allí.
Así que eso es en pocas palabras lo que es criticar y disentir, también hay un método entre los dos llamado el
método de descenso de gradiente Mini batch donde se combinan los dos y se ejecuta básicamente en lugar de
ejecutar un lote completo de ejecución de uno en uno.
Ejecutas lotes de filas, tal vez 5 10 100, sin embargo, muchas filas que decidas establecer ejecutas esas tantas filas a la
vez, luego actualizas tu camino de un solo dígito y así sucesivamente.
Y eso se llama el método de descenso de gradiente Mini Bache. Si desea obtener más
información sobre el descenso de gradiente, hay un excelente artículo que puede consultar.
y los enlaces a continuación son un buen artículo 12 15 muy bien redactado, términos muy simples.
Se llama una red neuronal en 13 líneas de Python, parte importante y desciende por Andrew Trask
Tiene interesantes reflexiones filosóficas o simplemente interesantes sobre cómo aplicar el agua verde y respetuosa, usted conoce las ventajas y
desventajas y cómo hacer las cosas en determinadas situaciones, por lo que tiene algunos
trucos y trucos muy interesantes.
Muy fácil de leer, así que definitivamente échale un vistazo.
Y otra lectura un poco más pesada.
Para aquellos de ustedes que están en las matemáticas que quieren llegar al fondo de las matemáticas, por qué.
El descenso de gradiente es específico.
¿Cuáles son las fórmulas que impulsan las clasificaciones? ¿Cómo se calculan y demás?
Mira el artículo o en realidad el libro.
Es un libro gratuito en línea llamado redes neuronales y aprendizaje profundo del libro Michael Nielsen 2015.
Básicamente, todo está en línea, puedes seguir y verificarlo allí.
Y una vez más, una introducción muy suave a las matemáticas.
Pero para una madre las matemáticas, pero las matemáticas son bastante pesadas a medida que avanzas mientras lees
el artículo.
en el que primero calientas las matemáticas y luego entraste. Estoy tan interesado en las matemáticas que este es el artículo al que debes dirigirte.
Pero al mismo tiempo te hace entrar en ese estado de ánimo, creo que te refieres a que tiene un
capítulo de calentamiento
Y ahí vamos, esa es en pocas palabras la diferencia entre el sentido de Graney
para lanzar el descenso de gradiente y cómo trabajar.
Y sobre esa nota, vamos a concluir hoy, dijo Tauriel.
Espero verte en la próxima.
Y hasta entonces disfruta de un aprendizaje profundo.