Hola y bienvenidos al curso de inteligencia artificial.
Hoy estamos hablando de la diferencia temporal.
Ahora es muy importante probarlo porque la diferencia temporal es el corazón y el alma del algoritmo de
aprendizaje Q.
Así es como todo lo que hemos aprendido hasta ahora se combina en el aprendizaje clave.
Así que echemos un vistazo.
Recuerde el momento en que hablamos de búsqueda determinista versus no determinista.
Y recuerda cómo dijimos en este caso que es cuando el agente quiere subir sube y cuándo.
En este caso, él quiere ir, hay un 10 por ciento de posibilidades de que vaya a la temperatura más baja de la izquierda
y la posibilidad de ir a la derecha, y un 80 por ciento de posibilidades irá bien.
Ir hacia arriba.
Si bien estos números son, por supuesto, arbitrarios y pueden ser diferentes.
Y todo este concepto es que podría tratarse de problemas diferentes y diferentes, por lo que no tiene que preocuparse
de en qué dirección se está moviendo, solo que hay algo aleatorio que está fuera del
control del agente que ocurre dentro de este entorno.
en el ejemplo determinista fue muy fácil calcular los valores de la Wii, aunque no siempre fue muy fácil.
Y el efecto que tuvo es que, como recuerda,
Pero en nuestro caso podríamos simplemente calcularlos usando la ecuación de Belman y tenemos los
valores exactos.
Y luego, al recordar, mencioné muy cuidadosamente que estos valores para el ejemplo de búsqueda no
determinista están fuera de mi cabeza.
No son Kalka, lo sabemos.
La última vez que dije que no, tuvimos que calcularlos porque es muy complejo.
la computadora puede hacerlo y nosotros aceptamos estos valores que son solo valores que inventé.
Pero
Pero lograron hacer el trabajo.
Nos ayudaron a entender el concepto.
Bueno, ahora vamos a volver a eso un poco y entender qué está pasando exactamente aquí.
¿Por qué es mucho más difícil calcular estos valores en el ejemplo no determinista o, en términos generales, en
estos problemas en estos entornos y el agente que los atraviesa?
Porque es
¿Por qué puede ser tan difícil calcular estos valores?
Bueno, cuando lo piensas porque cuando el agente se mueve, por ejemplo, de aquí a la derecha,
no necesariamente siempre se mueve de esa manera, a veces como una posibilidad de que vaya a ganar
en lugar de ir derecho, así que vamos a llamarlos del noreste al suroeste. tipo de ir al oeste.
El agente a veces puede ir al sur y, por ejemplo, desde aquí es como ir hacia el norte.
A veces podría ir hacia el este.
Lo siento mucho.
Así que aquí, en lugar de ir al este, a veces puede ir hacia el sur y está yendo hacia el norte.
este o al oeste y, en lugar de ir hacia el norte, a veces podía ir al oeste, al este o al oeste, y así sucesivamente.
A veces, podía ir al
Entonces, y por lo tanto, para calcular este valor necesitarás saber cuál es este valor, pero lo interesante
es que para calcular este valor necesitas saber cuál es este valor.
De modo que aquí se producen muchas recursiones y, por lo tanto, no puede decidir definir cuáles son
estos valores.
Y además de eso, esta recursión no es determinista.
A veces sucede de esta manera, a veces es cuesta arriba irse bien a veces en lugar de
levantarse e irse a veces a la izquierda.
Cuando él quiere subir.
Él subirá.
Por lo tanto, está sujeto a la posibilidad, por lo que es posible que muchas veces el agente siga este camino y
subirá de nivel y usted pensará que desde aquí siempre sube y el valor del
estado lo alcanzará. será bueno y luego, de repente, caerá en el pozo y este valor disminuirá.
Y entonces, por lo tanto, pueden ver cómo hay algo de aleatoriedad estocástica en todo este cálculo en estos
valores porque todos están interrelacionados.
aleatoriedad inherente al entorno porque hay una marca de proceso de decisión.
Además, tienes esa
Así que ahí es donde todo esto se une y es allí donde vamos a
introducir el concepto de la diferencia temporal que permitirá al agente calcular estos valores.
Y aquí estábamos lidiando con los valores.
Y desde entonces ya nos hemos movido a los valores Q, así que eso es lo que vamos a trabajar.
Vamos a ver grandes valores.
Entonces, según recuerdo, esta es nuestra ecuación de Belman para los valores q.
acciones inmediatamente después de realizar una acción y si obtienes el máximo obtienes la gamma de la suma de todas las posibles .
Entonces, el valor de AQ o el valor de realizar un tipo de acción A en el estado s es
igual a la recompensa que obtienes después de realizar esas
Entonces obtendrás el valor esperado del estado en el que terminarás.
Entonces, como recuerdan, había una fórmula para la ecuación de Beldon y ahora, por simplicidad, digamos que vamos a
reescribirla a la manera antigua y de una manera en la que solíamos hablar sobre la ecuación de botones
antes de saber sobre el secuestro.
Así que recuerda que esta fue nuestra ecuación de Belman en el sentido de un ejemplo de búsqueda determinista porque aquí
no tienes ese valor esperado, no tienes el mismo en todas las probabilidades.
Solo tienes eso como si estuvieras decidido a terminar con el estado en el que terminarás y
luego le dices Max en ese estado.
Y la razón por la que estamos reescribiéndolo es simplemente que la única razón es porque es más fácil escribirlo y
será más fácil caer con la fórmula.
Así que vamos a recordar que reemplazamos esta parte de esta barra.
Y también encontrarás esta notación en mucha literatura por lo que será más fácil para ti seguir
junto con otras fuentes si estás estudiando esas.
enfoque probabilístico aquí en lugar de esta notación es simplemente más fácil para nosotros para operar esto y entender lo que está sucediendo.
Pero recuerde que, de hecho, lo que queremos decir es que este
Simplemente me gusta mirar las ecuaciones para que no sean demasiado abarrotadas, pero una vez más solo
recordar que, de hecho, lo que queremos decir es este enfoque probabilístico aquí.
Y entonces estamos en conocimiento de que Tom Silis echa un vistazo a lo que está pasando.
Así que aquí está nuestro estado en blanco del laberinto no tenemos ningún valor q veamos o cuando podamos, pero vamos a mantenerlo en
blanco por ahora solo miremos uno de los estados o una de las celdas.
Este específicamente.
Y aquí tenemos respuestas para la acción de subir.
Tenemos un valor de q que calculamos.
Entonces, no es que no tengamos ningún valor q, sin embargo lo tenemos.
Pero no estamos ilustrando nada.
Simplemente mantenemos un espacio en blanco por simplicidad.
Pero tenemos que la edad ha estado dando vueltas durante un tiempo y supongamos hipotéticamente que de algún
modo ha calculado el valor en cubos de subir o Norf desde este estado a partir de esta celda específica y los valores.
Q S y A y ahora lo que tenemos.
Entonces él está actualmente con su punto de flecha azul y el agente está sentado en esta celda.
Y ahora tiene que elegir dónde irá.
Y sabe que el valor de esta acción va hacia el norte y eso es q Senay y aquí estoy diciendo antes y la razón es
porque él es antes de tomar Realmente no ha tomado acción todavía así que
todavía está en la celda y antes de que él haya tomado la acción, el valor aquí es q y SNH y ahora él realmente toma
la acción.
Entonces, digamos que él decide que es el mejor.
Él toma la acción y se mueve hacia la celda.
por tomar esa acción más gamma multiplicado por el máximo de este nuevo estado en el que acaba de ingresar. principal.
Bueno, ahora lo que sucede ahora viene después, así que después de que haya tomado medidas, podemos
medir cuál es este valor, calculemos este valor como el valor de la recompensa
Y así el máximo en todas las acciones posibles y aspirinas.
Y entonces, lo que tenemos aquí es el valor anterior a esa acción.
Y luego calculamos esta métrica después.
Pero como puede recordar de los cuatro meses anteriores, si volvemos muy rápido de la fórmula anterior en la que acabamos de calcular es realmente
el valor que es cómo Q de s. a. a se calcula.
Entonces, esta parte de Arite solo se calcula por separado, pero después de que hayamos tomado medidas.
Entonces, como antes sabíamos una Q de una S y un valor algo que hemos calculado a través de nuestras
iteraciones, Preuss es algo.
Entonces un valor que está almacenado en nuestra memoria.
Entonces, al igual que un número que conocemos y ahora, después de que se realiza la acción, sabemos qué recompensa obtuvo
en realidad la recompensa que obtuvo realmente el agente.
Y podemos calcular este nuevo valor.
En esencia, estamos recalculando este valor, pero ahora con nueva información, la nueva información es la
recompensa que recibimos.
Y además de lo que quedó, terminamos y cuál es el máximo en ese estado de lo
que puede ser este nuevo valor para esos datos específicos.
Entonces, ¿cuál es el valor de ese ser en ese estado?
Así que, básicamente, la Cura Vanessa-Mae, pero se le ha dado nueva información y ahora la diferencia temporal se define
como una limpieza de una y dos de estas dos diferencias entre estos dos.
Entonces, aquí el primer elemento es su valor fuera de Terra.
Así que el tipo de Q de Esson un poco calculado después.
Y el quvenzhanĂŠ anterior que guardaste en tu memoria.
Y entonces la pregunta es si son diferentes.
Entonces, idealmente, deberían ser lo mismo.
Idealmente, esto debería ser igual a esto simplemente porque esta es la fórmula para calcular esto.
Pero la cuestión es que esto no es algo que Kalka es algo que tenemos a partir de la evidencia empírica, algo
que tenemos al pasar muchas veces por el laberinto y calcular.
Así que esto es algo que se nos ocurre hasta ahora.
No está relacionado con la iteración actual.
surgió hace mucho tiempo, pero en una de nuestras iteraciones anteriores atravesando el laberinto.
Es algo que
Mientras que esto es algo que hemos calculado en este momento y no hay
garantía de que vayan a ser iguales o debido a la aleatoriedad que existe en el laberinto porque esto podría haberse calculado
y se han desencadenado algunos eventos aleatorios de CRN y esto se puede llamar a diferentes eventos aleatorios
que se activaron.
Y entonces, ahora que escribimos nuestros héroes, simplemente muévete hacia arriba.
Entonces, ¿cómo usamos esto?
La pregunta está bien, así que tenemos esta diferencia temporal.
¿Cómo usamos esto?
Y por qué se llama diferencia temporal.
Bueno, la razón se llama diferencia temporal porque básicamente se está calculando lo mismo que se está
calculando Q de S y A, por lo que el valor Q de esa acción.
Su Calcott aquí y lo está calculando aquí.
Pero la diferencia es el tiempo.
Esta es la Q de S y anteriormente esto es yo Q de S y A.
Ahora su nueva cura es innata y la pregunta es si ha habido alguna diferencia.
Ha habido un cambio entre ellos a tiempo.
Y cómo podemos usar esto para nuestro beneficio si efectivamente ha habido un cambio en el tiempo.
Bueno, una cosa que podríamos hacer es decir bien, ya sabes nuestra Q de s. a. a no.
Este nuevo valor no es igual a viejo, así que nos deshaceremos de lo viejo o nos olvidaremos de lo
viejo, y solo usaremos este es un nuevo valor.
Pero eso no sería inteligente.
Y la razón de esto es que en nuestros entornos los eventos aleatorios a veces pueden suceder.
Y qué pasa si nuestro antiguo QSA de s. a. a era algo que siempre sucede como el 80 por ciento del tiempo.
Y luego, como fue representado por lo que sucede el 80 por ciento del tiempo.
Y luego este nuevo justo lo que sucedió debido a la aleatoriedad.
En ese caso vamos a descartar el que es responsable de la mayor parte de la situación y vamos a reemplazarlo
con algo que ocurre solo el 10 o 20 por ciento de las veces.
Ese no sería el mejor enfoque para seguir y es por eso que no queremos cambiar completamente los
valores de Opu.
Queremos utilizar como cambiarlos paso por paso un poco por un poco.
una manera específica, así que vamos a decir: "Aquí hay una fórmula, vamos a seguir nuestro ejemplo de SNH".
Y es por eso que vamos a usar esta diferencia temporal de
Y vamos a actualizarlo de esa manera.
Vamos a tomar el viejo valor de curar a Senay y vamos a agregar las cinco veces
la diferencia temporal.
Entonces Alpha estará aprendiendo bien.
Ese es un nuevo parámetro que estamos presentando.
Así de rápido es el aprendizaje de algoritmos.
tomando esta diferencia y sea lo que sea, la estamos agregando a nuestra serpiente KJo anterior.
Básicamente, estamos
Ahora bien, esta fórmula probablemente no tiene ningún sentido o simplemente con solo mirarla no tiene sentido porque usted recibió
Covisint aquí y nos dio una A aquí.
Es lo mismo, por lo que probablemente deberían negarse entre sí, pero tuvimos que reescribir esto de una
manera diferente.
Así que te mostraré nuevamente, así que solo estoy agregando tiempo a estas fórmulas.
Así que aquí está q menos uno los años anteriores.
Q T menos 1 en años anteriores.
Q T The New Esto también debería ser un círculo aquí en el círculo aquí, pero no importa, y aquí obtenemos la diferencia
alfa temporal.
Entonces tú la diferencia temporal actual.
Para que pueda ver lo que estamos haciendo, estamos diciendo.
OK, tomemos nuestra corriente.
Q va a ser igual a todas las Q anteriores más cualquier diferencia temporal que encontremos Times Alpha.
Esta fórmula aquí es el corazón y el alma del algoritmo de aprendizaje del cubo.
Así es como está el cubo o actualización.
Y es bueno que ya hayamos aprendido qué valores q son qué gamma es qué es y qué
es todo esto.
Y ahora todo lo que necesitamos ver es que tienes un valor de Q anterior Sí, eso es bueno.
Y luego, lo que puede suceder es que cuando te das cuenta de que realmente actúas cuando
el agente actúa, sabrás que obtendrá una recompensa y terminará en un estado.
Y así, basado en eso, él puede calcular Aha.
OK entonces, ¿qué es lo que tendría lo que debería haber sido el valor Q de ese movimiento que hice?
Y ahora esa es esta parte de la ecuación.
Restar el antiguo valor de Q le da una diferencia temporal y ahora necesita tomar una diferencia de muestra de
tiempo Alpher y así es como se ajusta.
P Te entendí a eso es a lo que te refieres.
Solo creo que pasas y ahora solo para terminar esto.
Esto es como que esto es suficiente para entender lo que está sucediendo, pero solo para
aclarar las cosas aún más o quizás confundir las cosas aún más.
¿Qué tenemos que hacer para tomar esta diferencia temporal o esta simple diferencia o aquí una forma de conectarla
a este formato?
Así que vamos a tomar toda esta parte y conectarla a esta fórmula y terminar con una gran ecuación.
Así que, aquí vamos.
Hay nuestra ecuación.
Entonces esta es la ecuación completa con la diferencia temporal escrita por completo.
Y la razón por la que lo escribí también, en primer lugar, es probable que encuentre esto
en otra literatura si lo estudia.
Y lo segundo es que hace que algunas cosas sean un poco más complejas tiene fórmulas más largas, pero también hace
que algunas cosas sean más claras.
Entonces, por ejemplo, puedes ver aquí el papel que juega Alpha.
Puedes verlo mejor porque mira esto.
Aquí.
Q T menos uno y aquí tienes.
Q T menos uno con un signo negativo.
Entonces, si conecta Alpha es igual a 1 si pone un 1 aquí, esto negará esto.
Entonces se destruirán mutuamente y todo lo que te quedará es esta parte.
es exactamente esa situación en la que dijimos "Muy bien", por lo que tiene un nuevo valor que debería haber sido.
Y lo que eso significa
Actualicemos nuestro valor Q con el nuevo valor y olvidemos lo que teníamos anteriormente.
Y como discutimos no es el mejor enfoque porque aquí hay eventos aleatorios y queremos actualizar los
pasos paso a paso.
Y por otro lado, si dijiste que Alpher es igual a cero, lo que sucede entonces es que te olvidas
por completo de esta parte y eres lindo, el nuevo o el actual siempre será igual al anterior,
así que estás no va a estar aprendiendo nada.
en el laberinto no importa porque has decidido sobre ti el valor de Kuchi hace mucho tiempo y lo vas a mantener.
Y eso significa que lo que sea que esté sucediendo
Entonces, por eso Alfas no debería ser 0 o debería ser uno, debería estar en algún punto intermedio.
Y le permitirá aprender lentamente, paso a paso, le permitirá a usted como su agente o como lo hace
a través del laberinto va a obtener la diferencia temporal.
Y de forma lenta pero segura, este valor va a recibir actualizaciones y actualizaciones, y
lo que eventualmente ocurra es que en algún punto, con suerte, el algoritmo convergerá.
más a cero y eventualmente estará muy cerca de cero o incluso de 0 0
0 0 y lo que eso significa es que cada vez tu nuevo valor de cutesie o tu nuevo valor calculado.
Y lo que eso significa es que esta diferencia temporal comenzará a acercarse cada vez
Lo que debería haber sido
Así que no esta, pero lo que hipotéticamente debería ser suficiente para dar el paso será igual a
su valor anterior Q2.
Y luego uno que es cero y eso significa que cuando su diferencia de
temperatura es cero significa que su algoritmo ha convergido y no es realmente necesario continuar actualizando lo que está sucediendo.
Realiza esta búsqueda para continuar actualizando sus valores de cubo.
desee continuar realizando este todo, usted sabrá la actualización de los valores de la cola si el entorno cambia constantemente.
La advertencia aquí es que la única vez, probablemente, sea una de las únicas ocasiones en las que aún
Si no solo no está allí, solo tiene algunos randoms para eventos Kostic.
Pero el medio ambiente en sí mismo está modificando, ya que la transformación está cambiando con el tiempo.
Por lo tanto, debe aprender continuamente porque no es posible que aprenda todo y proponga
la política óptima porque las políticas óptimas también cambian con el entorno todo el tiempo.
En ese caso, deberá continuar CALKIN y la diferencia temporal y calcular los valores Q.
Pero aparte de eso, eso es como una complicación extra.
sus valores y encuentra exactamente lo que está sucediendo en ese entorno para que pueda proponer la política óptima.
Aparte de eso, así es como se actualizan los valores de Q, esta es la fórmula
principal del algoritmo de aprendizaje de Q, y esto es como la versión expandida de eso y
ahora todo debe unirse y tener sentido por qué tenemos la ecuación de Belman y no solo lo que representa los chistes, pero
también cómo el agente actualiza
Sé mucho de lo que aprender, pero espero que hayas disfrutado este tutorial y, con un poco
de suerte, puedas deshacerte de los conceptos subyacentes y la intuición detrás de tus valores y cuál es
la noción de diferencia temporal y por qué es importante ayudarnos a entrenar lentamente. agentes y lograr que comprendan sus entornos
en los que están operando.
Y si desea aprender un poco más acerca de las diferencias temporales, un documento muy popular está
aprendiendo a predecir con los métodos de las diferencias temporales de Richard Sutton de mil novecientos ochenta y ocho.
Ya hemos tenido una referencia de Richard Sutton, pero esta es otra y en
realidad tiene un libro, así que si entiendes sabes su estilo de escritura y su estilo de comunicación, entonces echa un vistazo a
su libro también.
Es como una versión más expandida de todas estas cosas.
No he leído el libro, pero eso es lo que estoy imaginando al mismo tiempo.
agregar al documento y puede aprender un poco más sobre o probablemente mucho más sobre las diferencias temporales allí.
Esto se va a
Y espero que lo hayas disfrutado también.
Nos vemos la próxima vez.
Hasta entonces, disfruta de la IA.