Hola y bienvenido a este tutorial.
Ahora que tenemos nuestra IA, está lista para ser entrenada.
Y el primer paso del entrenamiento es establecer nuestra experiencia de reproducción.
Así que lentamente estamos llegando allí.
La capacitación y las buenas noticias son que tenemos una versión implementada de la repetición de experiencia.
Además de eso, está adaptado a la trazabilidad de elegibilidad, que recuerdo es una técnica que, en lugar de
aprender los valores q, cada transición la aprende cada 10 transiciones.
Básicamente, eso es exactamente lo mismo que antes.
Pero en lugar de tener un solo objetivo una sola palabra para cada paso, vamos a tener un objetivo
acumulativo de diez pasos y una recompensa acumulada de 10 pasos y cada vez aprenderemos los 10 pasos.
Así que estamos aprendiendo sobre transiciones de 10 pasos en lugar de uno como antes.
Y con esto haré maravillas y eso hará algunas maravillas para el proceso de capacitación.
Usted sabe que el entrenamiento tomará mucho menos tiempo.
Gracias a esta técnica, pero tenemos que especificar la repetición de inexperiencia que estamos aprendiendo cada 10 pasos.
Por eso, esta repetición de experiencia no es una implementación clásica de la repetición de experiencia.
Como hacer uno para el auto sin conductor.
Es una implementación de la experiencia de reproducción teniendo en cuenta estos 10 pasos de aprendizaje y por lo tanto
encontrará en esta experiencia el archivo de dos clases de una clase que hace que su progreso de AI haga diez
pasos para que pueda sumar las recompensas que se observan en estos 10 pasos.
Esa es la primera clase y necesitamos esta clase porque necesitamos incluir estos 10 pasos en la clase de memoria
de repetición, que es la implementación en el aula para la experiencia que jugamos y así es como nos aseguramos
de que la memoria también tenga en cuenta el hecho de que estamos aprendiendo en 10 pasos.
Es por eso que encontrarás dos clases en esta implementación de la repetición de experiencia, pero
eso solo es para tener en cuenta que estamos aprendiendo en 10 pasos y eso debe tenerse en cuenta también en la memoria.
Entonces, hablando de nuestra memoria, vamos a crearlo.
Vamos a llamar a nuestra memoria y la memoria va a ser un objeto del molde de memoria de reproducción y la clase de memoria
de reproducción es una clase de esta experiencia de reproducción en este momento.
Y entonces me llevo primero esta experiencia sentida de la conducta de la repetición y es ahí donde tomo la clase de memoria
de repetición.
Perfecto.
Y ahora puede ver que tenemos que poner dos argumentos en el primer argumento y pasos que corresponden exactamente al
número de pasos en los que vamos a aprender los valores clave.
Entonces sabes la cantidad de pasos en los que acumulamos el objetivo y queremos.
Vamos a tener un objetivo acumulativo y la recompensa acumulada y luego el segundo argumento es la
capacidad que tiene el tamaño de la memoria.
Entonces, por ejemplo, aquí podemos ver diez mil.
Entonces, si la capacidad es igual a 10000 eso significa que tendremos un tamaño de 10000
y, por lo tanto, eso significa que obtendremos un recuerdo de los 10000 pasos realizados por el ojo.
Pero nuevamente no vamos a aprender cada transición.
pasos de la memoria y esa es exactamente la nueva característica que presentamos aquí en comparación con la anterior.
Vamos a aprender cada diez pasos a lo largo de estos últimos 10000
Antes solo teníamos este truco de memoria de repetición y aquí tenemos este truco de memoria de repetición más este truco
que aprendí cada diez pasos y vamos a aprender cada diez pasos y vamos
a hacerlo en la memoria compuesta por últimos 10000 pasos.
Y esto es una repetición experimentada combinada con rasgos de inelegibilidad con 10 pasos que mejorarán considerablemente el
rendimiento del entrenamiento.
Entonces terminemos con estos dos argumentos.
El primero es y los pasos y eso será igual a.
Pero, por ahora, digamos y los pasos especificarán qué paso es justo después de que realmente será un abyecto de
la otra clase de este archivo de reproducción de experiencia que es la clase de progreso
final y que permite avanzar durante diez pasos.
Y recuerde que durante los 10 pasos haremos sonar las palabras en los diez pasos para obtener las
recompensas acumuladas en 10 pasos.
Y esa es exactamente la prueba de elegibilidad.
Entonces, lo que tenemos que hacer es crear estos pasos aquí y lo creamos con la segunda clase que tenemos en este
archivo de reproducción de experiencia, que es el progreso del paso.
Así que ahora vamos a crear pasos de este y este será un objeto de la clase de progreso
paso que tomamos de nuevo de nuestra experiencia que jugamos.
Aquí vamos.
Así que esa es la clase anti-progreso y ahora tenemos que poner tres argumentos, ya que puedes ver
que tenemos que poner el entorno, que es el entorno que importamos aquí.
Entonces, el segundo argumento es nuestra IA y esta será, por supuesto, la IA que
construimos aquí mismo en la U. S. y el último argumento es un paso en este punto, donde especificaremos que
queremos 10 pasos que usted sepa que debe aprender cada 10 pasos, es decir, cada 10 transiciones.
Así que ayudemos con estos argumentos.
El primero es el medio ambiente y eso es fatalidad y está bien.
Entonces, el segundo es nuestra AI AI y que contamos ai ai.
Esa es la de aquí.
Así que este es solo el nombre del argumento de la clase de progreso paso y este ai ai.
Aquí está nuestro ai ai.
El que construimos y luego el último argumento es y apila y eso es igual a 10.
Todo bien.
Entonces, en este momento solo estamos teniendo en cuenta en la memoria que hay un aprendizaje en 10 pasos
y este aprendizaje en 10 pasos se denomina seguimiento de elegibilidad.
Así que realmente estamos trabajando en lo avanzado aquí.
Pero recuerda que es porque estamos tratando de ser Dume que no es nada como hacer un pedazo de la torta.
Entonces, necesitamos estas técnicas avanzadas para que funcione.
Entonces ahora estamos casi listos.
capacidad, por supuesto, digamos 10000 hombres, tendremos un tamaño de 10000, lo que significa
que la memoria contendrá la última 10000 pasos realizados por la IA y eso nos permitirá generar muchos.
Antes de pasar al siguiente paso, que en realidad consistirá en implementar bandejas LGBT, lo único que
tenemos que incluir es la
Como recuerdo, fue una función simple.
Usted sabe que la memoria contiene 10000 transiciones, pero para entrenar el ojo, vamos a muestrear tantos lotes de
diez transiciones, no una en comparación con las 10 transiciones anteriores, y vamos a probar estos
mini lotes de 10 transiciones en la memoria compuesta por los 10000 pasos .
Muy bien, así que ahora creo que estamos listos para pasar al próximo paso, que consiste en implementar el
seguimiento de elegibilidad.
Así que vamos a tener algo de aventura aquí.
Esto no será una implementación simple.
Así que tómate un buen descanso y cuando estés listo podremos atacar esto.
Y entonces, disfruta.