Hola y bienvenidos a este tutorial de Python.
Muy bien, así que hoy vamos a hacer la función de actualización que actualizará todo lo que hay hasta la
fecha tan pronto como el ojo llegue a un nuevo estado.
Entonces, cuando llega a una nueva etapa, sabes que debemos actualizar la acción.
El último en realidad es la nueva acción que acaba de jugarse.
Pero también la última fecha que se convierte en el nuevo estado.
Y finalmente, la última palabra que se convierte en la nueva palabra que obtenemos cuando jugamos la acción.
Entonces esa es la ruta lógica que ocurre justo después de seleccionar una acción.
Necesitamos actualizar todos los elementos de las transiciones.
Y, por supuesto, obtendrás una nueva transición.
Entonces, tendremos que agregar esta nueva transición a la memoria.
Y finalmente también actualizaremos o recompensaremos la ventana que usted conoce para estar atentos a la evolución
de cómo va la capacitación y cómo va la exploración.
entre la inteligencia artificial que estamos implementando en este momento en nuestro mapa, porque si regresamos a
nuestro mapa, recuerda que hay una función de actualización de Beiji en la clase de juego y ahí
es donde estábamos haciendo el juego con el auto y definiendo cómo el auto debería ser castigado cuando comete un error.
Pero lo más importante para ti es que ahora podamos establecer una conexión
Pero en esta clase de juego notamos esta función de actualización y en esta función de
actualización notamos esta acción de línea porque la última actualización del cerebro funcionó menos.
Y en realidad esto es exactamente lo que estamos a punto de hacer.
Estamos a punto de hacer esta función de actualización que tomará la última palabra y la última señal para obtener la
siguiente acción para jugar.
Entonces, no solo actualizará todos los diferentes elementos de la transición.
que estamos a punto de hacer para seleccionar la dirección para jugar además de hacer todas las actualizaciones.
Pero más que nada jugaremos la acción que deberíamos jugar cuando recibamos la última palabra y la última señal y,
por supuesto, en esta función de actualización utilizaremos la función de selección de acción que acabamos de
implementar antes de integrar la función de acción seleccionada en función de actualización futura
Entonces eso es realmente importante para hacer esta conexión con el mapa en este momento.
Lo que estamos a punto de hacer es, finalmente, la conexión entre nuestro ojo y el juego, el juego que
hacemos en esta clase.
Y entonces, lo que podemos hacer ahora es tomar esta actualización directamente.
último, estábamos menos señal porque esa es en realidad la función que haremos con estos dos argumentos aquí.
Por
Y al igual que un cerebro de recordatorio rápido es nuestro objeto AI, es el objeto de la clase Dejuan.
Entonces, lo que vamos a hacer ahora es copiar esta señal de actualización con menos palabras y esa
será nuestra próxima función que estamos haciendo.
Y por lo tanto y pegar eso aquí, solo para tener cuidado, me gustaría dar algunos nombres diferentes
a los nombres que tenemos aquí.
Sabes que tenemos la última palabra aquí y no quiero confundir esta última palabra con esta.
Eso puede ser peligroso.
Así que voy a reemplazar la última palabra aquí por palabra.
Y por cierto, para menos señal, simplemente pongamos señal o incluso nueva señal para especificar que sabes que queremos medir
eso cuando alcances un nuevo estado y, por lo tanto, obtener una nueva señal.
Pero luego, por supuesto, esta palabra aquí va a ser la última recompensa que tenemos aquí.
Sabes que cuando te acercas a un poco de arena o peor te acercas demasiado a un borde del mapa, ahí es
donde definimos la última palabra.
Esta última palabra va a ser la entrada de la función de actualización, por eso tenemos la última palabra aquí.
Pero justo aquí estoy dando otro nombre para la discusión.
Queremos no confundirlo con la última palabra aquí.
De acuerdo, esta es la función de actualización.
Y ahora vamos a entrar y hagamos estas dos cosas.
Esa es la información de todos los elementos de nuestra transición y, por supuesto, seleccione la acción.
OK, entonces, ¿qué necesitamos actualizar primero?
Bueno, como has entendido, queremos establecer una fecha para alcanzar cualquier estado.
Entonces, lo primero que actualizaremos es, obviamente, esta noticia de que esa es la noticia a la que estamos llegando.
Así que voy a llamar a este nuevo estado estado nuevo y luego lo hará.
Entonces, ¿cómo podemos obtener este nuevo estado?
Bueno, por supuesto, eso depende de la señal de la nueva señal que los sensores acaban de detectar.
Y como recordatorio, el estado es la señal en sí misma compuesta de las tres señales que los
sensores señalan una señal para señalar tres más orientación y menos orientación.
Ese es nuestro estado.
Así que asegúrese de entender que la señal es el estado.
Pero ahora mismo es una lista simple de cinco elementos.
esta será la entrada para hacer todo ese trabajo, recuerde que debemos convertirlo en un sensor de antorcha.
Y como
Así que eso es exactamente lo que vamos a hacer en este momento.
Vamos a tomar nuestra biblioteca de antorchas y luego tomar la clase de tensor allí donde vamos, que convertirá nuestra nueva
señal en una antorcha más densa, entonces es mejor asegurarse de que todos los elementos de la antorcha para
responder sean flotantes, así que voy a hacer una conversión de tipo para convertirlos en carrozas como esta.
Y finalmente, intenta obtener un reflejo de lo que tenemos que hacer a continuación.
Por supuesto, crear ese motor falso para agregar diamantes y corresponder al lote y
lo hacemos, por supuesto, con la función de compresión a la que tenemos que poner el índice de este gran diamante.
Y queremos para el lote que es cero.
Todo bien.
Y ahora tenemos nuestros nuevos estados compuestos por las tres señales de los tres sensores más la
orientación menos la orientación y, por supuesto, eso dependerá de la nueva señal que recibamos con esta función de actualización.
Justo en este momento, la última señal, recibimos las tres señales.
Entonces, además, menos o además y como recordatorio, las tres señales son la densidad del sensor detectado
alrededor de los sensores.
Todo bien.
Así que obtuvimos una nueva etapa, lo que significa que llegamos a la nueva etapa y ahora tenemos que hacer la próxima actualización.
Entonces, según usted, ¿qué necesitamos actualizar ahora?
Cuál sería la cosa lógica para salir ahora mismo después de alcanzar este nuevo estado.
Bueno, lo que necesitamos para salir ahora es la memoria.
Porqué es eso.
Es porque en cada momento t una transición se compone del estado actual Estey al día siguiente como tipis
cuando la recompensa es arti y la acción 80.
y ya tenemos 80 y acabamos de obtener el último elemento de la transición Estep más uno.
Y ahora mismo ya tenemos S-T, ya tenemos nuestro equipo
Entonces, al obtener este nuevo estado tan profundo como uno, estamos obteniendo una nueva transición de la memoria y, por lo tanto,
tenemos que agregar esta nueva transición a la memoria porque esa es simplemente nuestra próxima transición.
Entonces es por eso que tenemos que recordar eso ahora.
Y, por lo tanto, lo que voy a hacer es tomar mi objeto de memoria creado a partir de la
clase de memoria de reproducción y, por lo tanto, tomaré la memoria propia para referirme al objeto.
Pero dado que estoy usando el yo, tengo que incluir el yo en el de esa función.
Entonces ahora puedes ver para qué es este yo.
Siempre que usa una variable que creó e inicializó en la función init a esa memoria.
Y ahora lo hicimos
Y de acuerdo a usted, cómo vamos a actualizar eso.
Bueno, la buena noticia es que ya hicimos una función para hacer eso.
Es la función de inserción que prohibe un evento o una transición a la memoria.
Entonces eso es exactamente lo que vamos a usar ahora.
inserción para escribir nuestra nueva transición que acabamos de hacer a la memoria y, por lo tanto, aquí no estoy
tomando la misma medida porque vamos a usar el método y, por lo tanto, podemos usar ese impulso directamente.
Vamos a usar la función de
Y primero voy a agregar la transición a esta nueva transición que acabamos de recibir y que es la
primera fecha.
Así que auto esa última fecha.
Así que eso es S-T. Eso es exactamente lo que ya existe.
Entonces, el siguiente elemento de esta transición es, por supuesto, el nuevo estado que acabamos de alcanzar.
Y por lo tanto, dado que no es viable del objeto que hemos creado e inicializado en esta función
init, no nos situamos aquí.
Colocamos directamente el Newstead, entonces el siguiente elemento de la transición es la acción y decimos que ya tenemos la última
sección, que es este yo, la última acción aquí.
Entonces, por supuesto, es igual a cero.
Pero luego, por supuesto, se actualizará con la función de selección de acción.
Pero ese es este.
Entonces, es el yo la última acción.
Pero ahora ten cuidado
Los elementos que se incluyeron en esta transición deberían ser respuestas quemadas.
Como puede ver, ese es el caso de la última fecha.
Es un sensor de antorcha
El nuevo estado también es una respuesta incendiada.
Y así debe ser lo mismo para la acción y luego la recompensa, por supuesto.
Pero ahora vas a pensar cómo puede ser una respuesta incendiada, considerando que es simplemente un número.
Usted sabe que la acción es 0 1 o 2.
Pero de hecho eso no es un problema.
Todavía podemos convertir esta variable 0 1 o 2 en un sensor de antorcha.
Esto será lo que llamamos un tensor largo.
El largo es un tipo y ese es el tensor que contendrá un entero porque la última
acción es un entero, es 0 1 o 2.
Entonces, lo que vamos a tomar ahora es nuestra biblioteca antorcha, entonces vamos a tomar la larga clase de
tensor largo que creará un objeto que será la no tenencia misma.
Y al tomar esta última función de acción como entrada, creará este objeto tensor largo pero aún contendrá
0 1 o 2 en un objeto tensor largo y eso es solo para ser consistente con la transición que solo contiene
tensores porque estamos trabajando con PI torch y estamos trabajando con una red neuronal.
Entonces tenemos que trabajar con sensores para que podamos esperar mucho tiempo para responder.
Y una última conversión para hacer.
Debemos estar seguros de que lo que hay dentro de esta respuesta larga es un número entero y para asegurarnos
de que incluso si ya sabemos que la última acción es 0 1 o 2 para asegurarnos de que vamos
a hacer esta conversión de tipo int nuevamente, convertimos nuestro la última acción en un entero.
Ahí vamos y luego debemos poner esa acción desinteresada entera entre paréntesis aquí, de modo que ahora tenemos
un tensor largo de un elemento que será esta última acción 0 o 1 o 2.
El punto clave es que así es como convierte un número simple de cero uno o dos en un tensor con torche.
Todo bien.
Y finalmente, el último elemento de la transición y esa es, por supuesto, la última palabra que recibimos.
Esa es exactamente la última palabra de voleibol que creamos en cualquier función que se inicializó a cero.
Pero luego, por supuesto, se actualiza aquí en este código cuando pasamos a algún sentido que es una palabra negativa o
si nos alejamos más de la meta que es nuevamente una recompensa negativa.
Si nos acercamos a la meta, esa es una recompensa positiva y el peor castigo si nos acercamos demasiado a
una orilla del mapa. Bueno, esa es una terrible palabra negativa menos una.
Y eso es a.
Así que agreguemos este último elemento de la transición autodirigir la palabra.
Así que estoy copiando este pegado aquí y ahora tenemos que hacer otra conversión que, por supuesto, será
exactamente la misma ya que la palabra no es un número entero sino un número flotante.
Simplemente haremos una antorcha que tensor la conversión, pero sin eso mantendrá los paréntesis aquí porque primero sabremos que tenemos que
poner el número en una lista y luego esta lista irá y se pondrá la antorcha en la clase,
pero no tenemos para hacer eso en la conversión porque la última palabra es un número flotante.
Entonces, lo que vamos a hacer es simplemente agregar aquí que el tensor de punto de la antorcha ha quemado un tensor y luego paréntesis entre paréntesis.
Y vamos a cerrar los corchetes aquí y cerramos el paréntesis.
Aquí vamos.
Entonces, para resumir, ¿qué dijiste que acabamos de alcanzar y en la palabra que observamos un nuevo evento de transición
que agregamos a la memoria?
Y esta transición contiene la última fecha y ve el nuevo estado como tipis cuando la última
acción reproduce 80 y la última palabra Archie.
Todo bien.
Y ahora vamos con nuestro recuerdo de las fechas.
Tomemos un descanso rápido y nos ocuparemos de la próxima actualización en el próximo tutorial.
Hasta entonces I.