Hola y bienvenidos a este tutorial, este juguete especial va a ser súper emocionante porque nos estamos acercando
al A. S. DO. algoritmo.
Vas a ver que lo que estamos a punto de implementar y que se llama seguimiento de elegibilidad
o Sarsour es en realidad un algoritmo de los algoritmos de agentes de críticos activos sincrónicos que no podemos
considerar.
tener un agente, pero aún así verá que lo que estamos por implementar se
toma en realidad del siguiente documento, que es este documento como el método Synchronoss para el aprendizaje de refuerzo
profundo y es en este documento encontrará algoritmos A-3 que implementaremos como la bonificación final de este curso.
Y lo vemos porque aún vamos a
Pero como dije, nos estamos acercando porque el modelo que se implementará en este momento es este
sincrónico y secularizado, que es casi el A3 C que está haciendo después de eso, pero con un
agente y lo más poderoso de esto es esto y el paso Cunanan vamos a aprender a acumular recompensas y
aprender el objetivo acumulativo en los pasos finales en lugar de un paso como Priestley.
Y eso es lo que hará que el entrenamiento tenga mucho más rendimiento y, por lo tanto, será mucho más poderoso.
Entonces realmente tenemos el pseudo código para este algoritmo, este es el algoritmo aquí.
Hagamos clic en él y ahí vamos.
Ese es el algoritmo que vamos a implementar.
Pero recuerde que con un solo agente la diferencia es que aquí toman una acción.
80 según el presidente Greely política basada en los valores q para el estado actual y la
acción jugada.
Pero en nuestro caso no implementamos una excelente política ecológica.
Implementamos un Max.
Pero el resto es lo mismo que puedes ver.
Vamos a calcular el acumulado en el que trabajamos y los pasos en realidad 10 pasos.
Recuerde que los pasos son iguales a 10.
Y entonces implementaremos esta línea de código en nuestro algoritmo que estamos a punto de implementar en este momento.
Vamos a obtener esto.
Y sobre todo, vamos a implementar esto también.
Verá que obtendremos el máximo de los valores q para el estado actual y la acción
actual en este theta.
Aquí hay solo un parámetro objetivo.
Entonces, hagamos esto, ataquemos este algoritmo.
Este se llama el aprendizaje sincrónico y stick.
Pero no tenemos derecho a decir sincrónico en lo que a nosotros respecta porque solo tenemos un motor.
Pero, por lo tanto, podemos llamarlo y aprender el rastro de elegibilidad o incluso Sarsour.
Está bien, así que hagámoslo.
Va a ser muy divertido.
Básicamente, podemos seguir el código aquí y eso es lo que vamos a hacer.
Y, como puede ver, un parámetro que necesitaremos es nuevamente el parámetro que es el parámetro
de decaimiento y, por lo tanto, comenzaremos introduciendo una variable para este parámetro de Gahanna y seleccionándolos.
Entonces, hagamos esto.
En realidad, no necesitamos un aula tremenda Podemos simplemente implementar esto con una función porque sabes que
realmente no necesitamos crear objetos para que esto sea para rastrear el modelo de una función
será suficiente porque básicamente lo que queremos hacer es devuelve las entradas y el objetivo para que luego, al entrenar
a la IA, estemos listos para minimizar la distancia entre las predicciones y el objetivo y para obtener las
predicciones necesitamos las entradas porque vamos a aplicar nuestro cerebro en la entrada para obtener la salida señales
que serán nuestras predicciones.
para entrenar a la IA tratando de minimizar esta gran distancia entre las predicciones y los sanitarios.
Y una vez que tengamos nuestras predicciones y nuestros objetivos, estaremos listos
Entonces ese es el punto de hacer esto ahora mismo.
Estamos implementando esta función para poder devolver estas entradas en los soviéticos, de modo que podamos estar
listos para el entrenamiento a fin de minimizar las predicciones de distancias cuadradas para administrar inodoros.
De acuerdo, hagamos esto, ya que dijimos que queremos implementar funciones.
Comenzamos con esto.
Esto lo llamaremos rastro subrayado de elegibilidad.
También puedes llamarlo Sarsour.
También puede llamarlo para sonar lo que quiera, pero vamos a llamarlo "rasgo de elegibilidad" y esta
función va a tomar un argumento que va a ser un lote y por qué es porque vamos
a obtener algunas entradas y algunos objetivos porque vamos a entrenar a la IA en lotes.
Y entonces las entradas y los objetivos entrarán en algunos lotes y, por lo tanto, el argumento
de entrada aquí es este lote que contendrá varias entradas y luego varios objetivos que se computarán.
Entonces ahí vamos
Ese es el único argumento que necesitamos.
Ahora entremos en una función y definamos lo que necesitamos hacer.
Entonces, como vimos en la Basílica del papel, necesitamos de nuevo los parámetros, así que dijimos que comenzamos
introduciendo este parámetro gamma semicerrado y ya podemos descifrar el valor.
Y vamos a elegir cuatro puntos noventa y nueve, que es un buen valor clásico para Ghana y Norreys.
Comprobé que este es un buen valor para nuestra IA.
Muy bien, el siguiente paso El siguiente paso es preparar nuestra contribución y nuestros objetivos porque eso es exactamente lo
que queremos devolver.
Queremos devolver las entradas a los objetivos para preparar la capacitación.
lista y eso es cuando inicializamos las entradas como una lista, así como los objetivos a los que vamos.
Y entonces ya podemos inicializarlos con una lista vacía porque, por supuesto, estas entradas Dentro
de lo mejor vamos a tener varias entradas en una
Entonces, inicializamos y colocamos nuestros objetivos y, al final, esta función de rastreo de elegibilidad
devolverá exactamente estas entradas.
Y estos sí fueron por supuesto Filton.
Tenemos varias entradas y varios objetivos asociados en lo que será devuelto por la función.
Bien, el siguiente paso es comenzar un ciclo y eso es exactamente porque estamos siguiendo el
código lento del documento.
Este tipo de código.
Y como pueden ver, está esta sección de código de repetición y repite exactamente un ciclo completo en el código.
Vamos a calcular la recompensa acumulada aquí acumulada en los 10 pasos.
¿Y cómo se calcula?
Bueno, en cada paso que no es el último paso vamos a obtener el máximo de los valores básicos de la moneda
en la que estamos durante esto y los pasos se ejecutan.
Y si alcanzamos bien el último estado de los 10 pasos, esto será igual a cero.
Es decir que no queremos hacerlo más.
Y luego tenemos esto para el ciclo que va a ser otro.
No dicen que se repita aquí, pero es lo mismo que será el segundo ciclo completo en nuestro algoritmo.
Bien, tendremos que ser así, multiplicándolo por el parámetro de degradación gamma y agregando
la palabra.
Así que hagámoslo, volvamos a Python y comencemos nuestro pleno, así.
Y cuál va a ser la variable iterativa.
Bueno, esa va a ser nuestra serie de 10 pasos.
a llamar a esta serie de variables que representan una serie de 10 transiciones, como una secuencia de 10 transiciones.
Conoces nuestra serie de 10 transiciones, así que vamos
Entonces para series en.
Y entonces, ¿qué piensas?
Bueno, nuestra serie se reducirá a nuestro lote.
Existen los lotes en los que se entrenarán las series de AI y demás en lotes que son para todas las series
de 10 transiciones en nuestro lote de entrada.
Bien, ¿dónde vamos a hacer bien para obtener una recompensa acumulativa, verá en la sílice que necesitamos el estado
de la primera transición de la serie y también el estado de la última transición de la serie.
Entonces, lo que tenemos que hacer ahora es obtener estos estados de entrada y, por lo tanto, vamos a
poner estos dos estados en un estado viable que llamaría entrada y obtendremos estos dos estados de entrada.
La primera de la serie y la última que vamos a poner en una matriz no piloto, pero no te preocupes, no
se quedará con esto y Ampyra, por supuesto, convertirá eso en un horrible, pero el
primer paso es poner estos dos declara el primero en el último en un imperio.
serie, que es Series, y luego, para tomar una transición, tomamos el índice cero de la serie, esa es
la primera transición y luego podemos acceder tomando sus atributos que es el estado y eso es porque en nuestra
experiencia el archivo de reproducción encontramos una estructura especial para cada una de las transiciones y usted conoce la estructura.
Y aquí en este arreglo agregamos la primera entrada, que es la etapa de entrada de la
primera transición de la
Cada transición se compone de un estado y una palabra de acción.
Pero luego, el último elemento que se hace, por lo que esta estructura especial que estamos autorizados a usar en este
momento proviene de la forma en que definimos la transición y la repetición de la experiencia.
Está bien, así que con esto obtenemos el estado de entrada de la primera transición y ahora también podemos obtener
la etapa de entrada de la última transición de la serie.
acceder con este truco menos una serie menos una que el estado obtendrá el estado de entrada de la última transición de la serie.
Y para hacer eso es para decir que podemos simplemente copiar esto y pegarlo y reemplazarlo como está aquí por
el último índice de la serie al que podemos
Está bien, entonces tenemos que poner estos dos elementos dentro de corchetes porque eso es lo que el árbitro espera que
sea una función y luego algo importante que hacer ya que vamos a convertir eso en una respuesta
de antorcha en una variable de antorcha.
Bueno, recuerda que un tensor de antorcha es, por definición, una matriz especial que contiene un solo tipo.
Y entonces necesitamos forzar tener un solo tipo.
elegir el tipo de flotante, y así sucesivamente, agregando este parámetro aquí, D type equals y P que flotan.
Y, como de costumbre, vamos a
Para que pueda tomar este y ahora podemos convertirlo en un tensor de antorcha en un voivoda de antorcha.
Así que hagamos esto, hagamos esto.
Bueno, primero vamos a convertir eso en un sensor de antorcha.
Y recuerde que podemos usar torche que desde el no primo que vamos y ponemos toda la matriz de los dos estados de
entrada dentro de esta antorcha con la antorcha de ellos por una función perfecta que convertirá estas matrices de los dos
estados de entrada en una antorcha sensor.
la respuesta en una antorcha muy bien usando la clase de variable para que la entrada sea un objeto de la valiosa clase.
Y ahora ponemos esta antorcha
Y, de hecho, como usted entendió, esta clase variable toma todo esto como argumento y eso
crea el objeto.
Está bien, ahora deberíamos estar bien.
Tenemos nuestras dos entradas que necesitamos.
Ese es el estado de entrada de la primera transición y luego ingresa decir que es la última transición.
Y ahora que tenemos las entradas Bueno, ¿qué podemos obtener? Podemos obtener la señal de salida del cerebro de
la IA.
Esa es la predicción de que vamos a llamarlo salidas.
Esa es la señal de salida.
Y para obtener los resultados.
Bueno, ahora eso es muy fácil porque ya tenemos un cerebro creado que es nuestra red
neuronal convolucional.
Y entonces podemos simplemente tomar nuestra CNN del cerebro aplicada a las entradas que devolverá la predicción de que el
resultado es tan simple como eso.
Y ahora ya estamos listos para pasar al siguiente paso.
Y el siguiente paso es comenzar a calcular esta comunidad si lo desea.
Así que ahora vamos a hacer exactamente lo mismo que en algoritmo Sarsour o deberíamos llamarlo
así como pasos para aprender.
Vamos a presentar la variable de recompensa acumulativa, que será la recompensa acumulativa, regresemos al documento, como puede ver ahora mismo,
lo que tenemos que hacer para obtener la recompensa de esta comunidad, que es
nuestra aquí.
agregando un cero a esta comunidad si lo fuésemos si alcanzáramos la última etapa de la serie o el máximo de los valores
centrales si no hubiésemos llegado a la última etapa de la serie. la serie que es para todas las estáticas que duró.
Bueno, y cada paso de los 10 pasos ejecutados necesitamos actualizarlo
Entonces eso es simplemente una bonanza.
Regresemos a Piscean.
Entonces, esta recompensa de comunidad como acabamos de ver va a ser igual a cero punto cero si alcanzamos el último
estado y podemos escribir esta condición de esta manera si series de índice menos 1.
Esa es la última transición de la serie.
que definimos en la experiencia. Jugamos que nuestra experiencia se repite y esto viene de las estructuras
de apertura porque si vamos al sitio web abierto de Allergan que es realmente correcto aquí lo preparé.
Luego agregamos que hecho porque hecho en realidad es un atributo de usted que conoce esta estructura
de transición
Eso es hacer el bien o Visir.
Y si vamos a la documentación y luego si nosotros.
Ese es el tutorial que realmente te animo a echarle un vistazo.
Puede ejecutar un entorno que Knowsley puede ver que nuestras observaciones de que estas
son transiciones están definidas por una observación.
Queremos que esto se haga aquí y esto significa exactamente que una transición o un paso ha terminado.
Y entonces vamos a usar esto aquí para nuestra condición IF.
Por lo tanto, la locura de iSeries cuando eso se hace significa que se ha completado la última transición de la serie.
Entonces, esta recompensa acumulativa va a ser igual a cero si se realiza la última transición de la serie.
De lo contrario, si no hemos llegado a la última transición, la recompensa acumulativa se actualizará
con el máximo de los valores clave.
Y dado que esta salida aquí es la salida del cerebro que son las predicciones de la red neuronal.
Y como saben, las predicciones de la red neuronal son los valores predichos Bueno, esta salida
contiene los valores.
Y dado que necesitamos tomar bien el máximo de los valores q, necesitamos agregar primero este índice
porque esta estructura contiene dos valores clave y el siguiente.
Y luego tenemos que agregar datos para acceder a los datos.
Esta estructura de salida que usted conoce tiene la estructura especial de un voivoda de antorcha.
Así que con esto obtenemos nuestros valores centrales y luego queremos tomar el máximo de nuestros valores
de cue y por eso agregamos que Max.
Y ahora obtenemos exactamente lo que queremos, como en el documento este máximo de los valores de cubo para
los estados no terminales como perfecto.
Y entonces, lo que vamos a hacer es hacer el segundo doblez.
Es decir, para los 10 pasos de la serie, vamos a actualizar el acumulado de esta manera, multiplicando primero
por Gamma el parámetro de disminución que ya tenemos y luego agregamos la palabra B.
Entonces, hagamos esto.
De hecho, vamos a hacer exactamente lo mismo que en el pseudocódigo, ya que puede notar que comienzan
desde la derecha.
Entonces no están comenzando con el primer paso y van a la última prueba que comienzan con el último paso.
T-menos 1 al primer paso para comenzar.
Eso es exactamente lo que vamos a hacer y es porque queremos
obtener al final la recompensa acumulada igual a nuestros iguales o cero más gamma o 1 más gamma cuadrado o dos más esa gamma agregada más
a la potencia de 10 o 10 donde son 1 o 2 que son 10 son la palabra obtenida en cada uno de los
pasos de la serie.
Tomemos un descanso rápido antes de tomar el segundo ciclo completo y nos vemos en el siguiente tutorial.
Hasta entonces, disfruta de la IA.