Hola y bienvenidos a este tutorial de Python.
Así que hagamos esto, hagamos esto para el bucle empezando desde la derecha e yendo a la izquierda y
para hacer esto vamos a agregar cuatro.
Así que este es un VAR iterativo que iba a ser nuestro paso porque vamos a pasar del último
paso al primer paso de una serie de transiciones y demás.
Y luego, el truco para ir de derecha a izquierda es usar el paso invertido invertido.
Y ahora solo necesitamos ingresar una secuencia y esta secuencia va a ser, por supuesto, nuestra serie.
Así que podemos poner nuestra serie, pero como puede ver en el documento vamos de T menos 1 para comenzar.
Así que no pasamos del último paso, que es el estadio terminal, sino que es el paso anterior al
menos uno, pero comenzar es el primer paso.
Y aquí vamos para no dar ese paso antes de agregar una columna de corchetes menos uno.
Estoy seguro de que para aquellos de ustedes que siguieron el aprendizaje automático en un curso
más profundo, saben que este truco Kollin menos uno significa que están subiendo al elemento antes del último elemento pero no hasta
el último elemento y, por lo tanto, obtenemos la secuencia que queremos.
Eso es lo que vamos a pasar del elemento anterior al último elemento al primer elemento y que hacemos
las cosas al revés para ir de derecha a izquierda.
Muy bien, así que estamos listos para ingresar al bucle for.
Y así dentro de este ciclo, ¿qué vamos a hacer?
¿Dónde vamos a hacer exactamente como en el papel?
Vamos a actualizar la recompensa acumulada multiplicándola por Ghana y agregando la palabra obtenida en el paso
actual que está en el paso del seguimiento.
Está bien, así que hagámoslo volviendo a Python.
Y entonces queremos actualizar nuestro acumulado, trabajamos de la siguiente manera multiplicando primero por gamma.
Aquí vamos.
Aquí lo multiplicamos por gamma y luego queremos agregar la recompensa de aquello a lo que podemos acceder de esta manera con
la estructura especial.
Recuerde que la palabra es un atributo del objeto.
Y aquí, por supuesto, agregamos un plus.
Está bien, es una recompensa acumulativa.
Iguales queremos este paso.
Ahora estamos en el bucle más Gahanna veces la recompensa acumulativa anterior antes de que sea a.
Perfecto.
Entonces ahora creo que estamos bien.
Estamos siguiendo a fondo el algoritmo.
Y ahora es hora de los próximos pasos.
Bueno, ahora va a ser bastante fácil.
Volvemos al primer seguimiento porque este ciclo for solo es para calcular la recompensa acumulativa que no va de
la derecha a la izquierda al actualizar de esta manera.
Siguiendo el algoritmo y ahora, como recordarán, el objetivo de hacer esto es preparar nuestras entradas y nuestros objetivos listos
para que podamos minimizar la diferencia al cuadrado entre los dos para el entrenamiento.
Y ahora mismo, lo único que tenemos que hacer es obtener estas entradas y el inodoro listo.
Así que hagamos esto primero, lo que tenemos que hacer es agregar la primera fecha de la serie en nuestra lista de partes.
Hasta ahora, este estado se encuentra en esto en parte de nuestro objetivo.
Eso fue solo para calcular la salida.
Así que vamos a obtener este estado de entrada del primer paso por separado porque eso es exactamente lo
que tenemos que pasar en nuestra lista.
Entonces, consigamos esto por separado.
Por lo tanto, vamos a llamarlo estado.
Y exactamente lo mismo que aquí, podemos obtenerlo de esta manera tomando el primer índice de la serie que contiene
la primera transición y luego agregando ese estado para obtener el estado de esta primera transición.
Entonces ese es el sitio que necesitamos para decir que obtendremos por separado los objetivos asociados a esta
etapa de entrada de la transición.
Y entonces una nueva variable interesante aquí objetivo que será igual al valor del primer paso.
Y dado que el valor Q es devuelto por la red neuronal y su contenido y salida y
dado que outputs es la salida asociada a esta entrada que contiene el primero del pozo de transición, podemos obtener este
valor q de la primera fecha simplemente tomando la salida aquí y tomando el índice cero.
Y luego agregamos esos datos que simplemente nos darán el valor Q del estado de entrada de la primera transición y ese
es exactamente el momento.
P Entonces, de esa forma lo tomamos, vamos a actualizar esta variable objetivo pero solo para la acción que se seleccionó en
el primer paso de la serie y para acceder a este primer paso de la serie.
Bueno, tenemos que tomar la primera serie 0 porque este es exactamente el primer paso en una serie de 3 0.
Y para acceder a la acción correspondiente a este primer paso de la serie, necesitamos agregar aquí esa acción nuevamente
que es esta estructura de atributos que estamos usando. Usted sabe que la acción es un atributo del primer
paso de la serie.
Esa es la primera transición de la serie porque cada transición de la serie tiene la siguiente
palabra de acción de estado de estructura y lo hace acción aquí esta acción de atributo aquí significa que simplemente
estamos obteniendo la acción de esta primera fecha.
Y entonces el objetivo para esa acción específica del primer paso es exactamente lo que necesita ser actualizado por
la comunidad del mundo.
Entonces, básicamente, aquí vamos a escribir ese objetivo asociado a la acción que se jugó.
El primer paso de la serie es esta recompensa acumulativa que acabamos de calcular.
estamos listos para actualizar nuestra información agregando esta primera estadía aquí y esta primera está aquí durante la primera hora.
Está bien y ahora finalmente
Solo necesitamos actualizar el primer paso de la serie porque sabes que entrenamos a la IA en 10 pasos y, por lo
tanto, la entrada es el primer paso de los diez pasos.
Y también obtenemos el objetivo en este primer paso, pero luego no obtenemos ningún insumo ni ningún inodoro
en los siguientes pasos de los 10 pasos porque básicamente el aprendizaje ocurre 10 pasos después.
Es por eso que en este momento solo obtenemos el estado y el objetivo del primer paso de la serie.
Entonces, es importante entender eso y, por lo tanto, si entendemos que ahora entendemos que tenemos
que ingresarlos en nuestra lista de entradas y nuestra lista de objetivos.
Entonces, hagamos esto.
Primero, agreguemos los estados a nuestras entradas.
Entonces tomamos nuestra lista de entradas y usamos la función de agregar para agregar el estado que remembranca el estado de entrada del
primer paso de la serie y luego vamos a agregar el objetivo en el primer paso a nuestra lista de
objetivos y para hacer esto tomamos nuestra lista de objetivos y decimos que usamos la función de
agregar para agregar este primer objetivo.
Aquí vamos.
que necesitábamos ya que dijimos al comienzo de este tutorial las entradas y los objetivos que ahora se actualizan.
Casi terminado y ahora tenemos que devolver las últimas cosas que son por supuesto lo
Así que vamos a agregar aquí cada turno y vamos a obtener nuestras entradas primero,
pero eso es lo que necesitamos para convertirlas primero en un conjunto de números y luego hacer una conversión de
tipo para asegurarnos de tener un solo tipo con el tipo usted es igual y eso flota 32 lo mismo.
Y luego convertimos esto en un tensor de antorcha porque por supuesto estamos trabajando con una antorcha que es
totalmente obligatoria.
Y entonces estoy usando la antorcha de la función no tailandesa de nuevo.
Y eso nos da nuestras aportaciones.
Perfecto.
Y ahora hagamos lo mismo para los objetivos.
Ahora podemos usar este truco que es más rápido.
Vamos a apilar los objetivos juntos y para hacer esto debemos tomar primero nuestra biblioteca
de antorchas porque vamos a usar la función de pila por soplete para apilar los objetivos.
Todo bien.
Y así, esta línea de código básicamente devuelve las entradas y los inodoros que se actualizaron recientemente a
través de este algoritmo Sarsour de seguimiento de elegibilidad.
O podemos llamarlo, intervenir y enviar nuestras felicitaciones.
Estábamos listos para hacer el entrenamiento final porque básicamente el entrenamiento consiste en minimizar las
diferencias cuadradas entre las predicciones de nuestras entradas y los inodoros.
Entonces, hagamos que nuestros ojos sean inteligentes.
Se volverá inteligente y el próximo será.
Y así hasta entonces disfruta de la IA.