Hola y bienvenido de nuevo.
En la última lección terminamos de terminar o finalizar la definición actual de nuestro entorno, la
representación de nuestros valores, nuestro castigo en recompensas y nuestras acciones en el entorno.
En esta conferencia, lo que quiero hacer es presentar la capacitación, la idea detrás de cómo entrenar
el modelo y ayudarlo a comenzar.
Y luego, en la siguiente lección, brinde la solución y más desglose de los pasos involucrados.
Entonces necesitamos entrenar al modelo lo que se requeriría de entrenamiento.
Este es un enfoque que podemos usar para los siguientes pasos para entrenar el modelo.
Queremos elegir un estado no terminal aleatorio, que sería el cuadrado blanco de nuestro agente, y así es
como queremos comenzar en nuestro episodio de entrenamiento.
Entonces, por supuesto, queremos elegir una acción para el estado actual.
Necesitamos que nuestro agente pueda moverse por el entorno.
Entonces, las acciones para nosotros y nuestro agente en este desafío se elegirán usando Epsilon Greek.
Este algoritmo generalmente elegirá la acción más prometedora para el agente, pero ocasionalmente elegirá una
opción menos prometedora.
Para alentar al agente a explorar el entorno, realmente queremos encontrar la política óptima.
Luego queremos realizar la acción elegida y pasar al siguiente estado.
Mover a la siguiente ubicación.
Y por qué digo esto es porque quiero que piensen en cómo pueden dividir esto en
funciones para resolver este problema.
Luego, necesitamos recibir una recompensa por ir a un nuevo estado y luego calcular la diferencia temporal.
Tenemos que actualizar el valor Q para el estado anterior y el par de acción, y si la nueva moneda es un
estado terminal, entonces pasaríamos a uno.
De lo contrario iríamos al paso número dos.
Entonces, durante todo el proceso, vamos a tratar de ejecutar mil episodios para entrenar.
Esto nos dará suficiente oportunidad o a nuestro agente suficiente oportunidad para calcular el camino más corto entre el área
de empaque del artículo y otras ubicaciones en nuestra ciudad de ejemplo.
Impresionante.
Entonces, piense en cómo aborda esto y quiero ayudarlo a darle una idea para tratar de resolverlo.
Así que estaríamos viendo en nuestra solución, vamos a usar las siguientes funciones.
De hecho, puedo comentar esto ya que es un código, así que mis disculpas.
No queremos un signo de dólar.
Queremos comentarlos y te ayudaré a comenzar con el primero.
En general, vamos a tener estas funciones definiendo nuestros pasos para entrenar el modelo y ayudarlo a
comenzar.
Echemos un vistazo a cómo abordaríamos el estado terminal al crear una función dentro de Python para
esto.
Lo primero es lo primero, por supuesto, querríamos definir nuestra función tal como es.
Estado terminal.
Y estos son los nombres de las funciones que verás para darte una idea que podría ayudarte a
desglosarlo.
Lo que queremos hacer es tomar el índice de fila actual y el índice de columna actual.
Esto nos ayudará a darnos la posición de nuestro agente, y podemos agregar aquí para nuestras recompensas un verdadero o
falso.
Así que lo necesitamos.
Así que establezcamos nuestras recompensas.
De nuestra corriente.
Índice de fila.
y actual
Índice de columna igual a uno negativo si están en ese estado.
Devolveríamos falso o de lo contrario o de lo contrario.
Volveríamos.
Verdadero.
Bastante sencillo.
Y así es como vamos a obtener nuestra idea de nuestro estado terminal después de saber si existe en el
estado terminal, luego queremos obtener la ubicación inicial.
Como sugerencia, puede echar un vistazo al uso del índice de fila actual en el índice de columna actual
y configurar numpy con random.
Queremos inicializar eso aleatoriamente en las columnas de entorno de las filas de entorno.
Pero en la próxima lección verás un desglose.
Verás el resto de funciones con algunas notas para ayudarte a darte una idea.
Realmente espero que aprovechen la oportunidad de experimentar con esto porque es una forma increíble de aprender,
ayudarlos a tener una idea y esto es para ayudarlos a comenzar.
Así que no te preocupes, obtendrás la solución en la próxima lección.
Y luego vamos a concluir asignando un excelente factor de descuento para el aprendizaje, ese tipo de cosas para la capacitación,
la ejecución de la capacitación y la visualización de los resultados.
Impresionante.
Detengámonos aquí de nuevo.
Intenta resolver esto.
Pero si no, si solo quiere avanzar, vaya a la próxima lección y obtendrá la
solución para el entrenamiento para definir estas funciones.
Muy bien, los veré en la próxima lección.