Hola y bienvenidos al curso de inteligencia artificial.
Hoy finalmente estamos hablando del aprendizaje de Kule.
Está bien, entonces ya tenemos esta ecuación, la ecuación de botones, a la que le hemos agregado muchos
componentes.
Aquí tenemos la recompensa que puede ser no solo al final sino que puede ser en cualquier paso dado.
Tenemos el factor de descuento.
Tenemos la probabilidad porque ahora estamos mirando la marca de un proceso de decisión.
de terminar en diferentes estados, independientemente de las acciones que tomemos o de las medidas que tomemos.
Y aquí tenemos la posibilidad
Puede haber múltiples estados en los que podamos terminar y luego obtengamos el valor de los
estados siguientes porque a él le gusta una función recursiva, etc., pero probablemente todavía tenga una pregunta.
La pregunta es dónde en todo esto no hay letra Q ¿Por qué se llama todo q?
Aprendizaje.
Entonces, ¿dónde está la señal?
Y esa es la pregunta que vamos a responder hoy.
el valor de estar en un estado determinado y ahora vamos a ver cómo Q encaja en todo eso también.
Hasta ahora hemos estado tratando con los valores
Así que aquí tenemos dos ejemplos a la izquierda: ¿qué haríamos hasta ahora que nuestro agente ha estado analizando?
Ok, estoy aquí.
Esta es una marca de proceso de decisión, así que no importa cómo llegue aquí.
Al resto del entorno no le importan los pasos que me llevó llegar aquí a partir de ahora.
Tengo que tomar la decisión óptima a dónde ir aquí aquí o aquí.
Basado en el estado actual y todos los estados futuros que provienen de aquí pero no del pasado.
Y para que pueda ver que hay tres opciones, hay un estado estatal para declarar tres.
Y en base a su experiencia, él ha calculado los valores en estos estados y ahora va a usar la ecuación
de los botones.
Entonces, aunque este es un Proceso clásico, él sabe que irá aquí, pero hay una posibilidad de que
vaya a la izquierda y así sucesivamente.
Entonces, basándonos en estos valores vamos a tomar una decisión que es lo que hacemos hasta ahora y ese es un enfoque
totalmente legítimo aquí.
Pero ahora nos modifican un poco.
estado en el que puede terminar, vamos a ver los valores o el valor de cada acción.
Vamos a tomar el mismo concepto exactamente el mismo problema pero aquí, en lugar de ver los valores de cada
Así que ya no vamos a usar la letra V porque para el valor
del estado vamos a usar una Q y la pregunta podría ser por qué la letra Q Bueno.
P Algunas personas especulan eso.
P ¿Leeré esto?
Pienso en Quora.
referencia a eso, así que podría no ser porque podría ser solo porque esa es la letra que se usó en ese momento
y ahora se volvió muy popular porque es todo se llama aprendizaje clave debido a eso.
Alguien mencionó que Q es debido a la calidad, pero al mismo tiempo no pude encontrar ninguna otra
Así que no se mantuvo una razón exacta.
P Sin embargo, al menos nos ayuda a distinguir entre V y Q Entonces Q aquí.
Hubo regalos más que el valor del estado que representa, deja ir la calidad.
Representa la calidad de la acción que representa.
OK, entonces tengo cuatro acciones.
¿Cuáles son las diferentes cualidades de estas acciones?
me diga cómo puedo cuantificar esta acción y luego puedo compararlas y eso es exactamente lo que Q es.
¿Cuál es el valor de la acción o la calidad de la acción que la acción es más
lucrativa, entonces necesito una métrica que
Y entonces él tiene cuatro acciones posibles.
Como siempre sube hacia la derecha o hacia la izquierda.
Y en función de la acción, va a haber una fórmula que nos diga el valor cuantificable de esa acción
que llamamos el valor Q q de esa acción.
Así que echemos un vistazo a cómo vamos a derivar esta fórmula.
P ¿Qué relación tiene con estos?
Porque como puedes imaginar porque las acciones conducen a estados, tiene que haber algún tipo de vínculo entre
los dos.
Bien, tenemos que ya hemos determinado cómo calcular esto y somos bastante buenos en eso.
Sabemos cómo usar la ecuación de Belman en entornos muy diferentes con muchas complicaciones diferentes.
Bueno, aprovechemos ese conocimiento para comprender cómo podemos calcular ahora.
P Para hacer las mismas predicciones porque, como puedes imaginar, el entorno no cambia, dependiendo de
qué enfoque usemos, el entorno va a ser el mismo independientemente.
deben dar el mismo resultado y, por lo tanto, esa es otra razón por la cual estos dos deberían estar vinculados.
Por lo tanto, este enfoque y este enfoque siempre
Así que echemos un vistazo.
Así que aquí está nuestro enfoque de vista donde solo podemos ver el valor de cualquier estado dado, este estado
o cualquier otro estado.
Y aquí entramos, solo estamos usando la iniciativa aquí porque ese es el estado actual.
Y entonces, por lo tanto, la terminología será la misma en ambas ecuaciones y aquí usamos q como Q es
el estado y la acción.
A porque la acción está activa pero en qué estado realizamos esa acción realizamos esa acción en el Estado.
De acuerdo, ahora vamos a usar la ecuación de Belman para el primer
acercamiento, como puede ver aquí, tenemos el valor de s o el valor de cualquier estado dado, es el máximo de la recompensa que obtiene una apuesta máxima basada
en las acciones tienes tres.
En este caso, en realidad tienes cuatro acciones, así que maximas de todas las acciones posibles de esta
parte que hemos escuchado discutido muchas veces, así que esta es nuestra recompensa que obtenemos al realizar esa acción
en ese descuento estatal de plaza, de hecho multiplicado por el esperado valor del nuevo estado que vamos a tener en un
valor esperado porque es un proceso estocástico.
vamos a terminar aquí, podríamos terminar con el tipo de probabilidad de izquierda o derecha.
No sabemos con certeza si
Es por eso que estas probabilidades están en ti.
Está bien, así que ese es nuestro valor.
Y ahora veamos.
Q Entonces, Q se va a definir.
Vamos a usar esto para definir Q Entonces, digamos que el agente desde esta ubicación desde este estado realiza
la acción hacia arriba.
¿A qué se llamará el valor de q?
Bueno, antes que nada, veamos qué obtendrá a cambio de realizar esta acción.
Lo primero que obtendrás es una recompensa correcta.
No tiene dudas al respecto.
Habrá algún tipo de regla o podría ser cero, pero sabemos que el conjunto es la forma en que funciona este
proceso de aprendizaje de refuerzo, es que algunas ciudades están llevando a cabo ciertas acciones desde un estado dado o dos.
Así que voy a agregar eso aquí.
Y luego vamos a agregar lo que vamos a agregar.
Bien, pensemos en eso.
¿Qué es lo siguiente que sucede después de ir allí?
Bueno, lo siguiente que sucede es que ahora que el agente se encuentra en un cierto estado, podría terminar aquí con un 80
por ciento de probabilidad o alguna probabilidad.
Pero en realidad aquí arriba aquí.
Pero donde sea que termine ahora, ya tenemos una métrica cuantificada para ese estado en el que se encuentra.
Y ese es realmente el valor de ese estado.
Pero como apareció en muchos estados diferentes y en tres de los posibles estados diferentes, tenemos que
mirar el valor esperado del estado en el que se encontrará.
Y entonces vamos a agregar eso en vamos a agregar.
Por supuesto, el factor de descuento que teníamos anteriormente porque está en algún lugar en el futuro.
Y luego vamos a agregar algunos de todos los posibles estados en todos los estados posibles que podría
terminar tomando esta acción.
Términos de probabilidad.
Entonces, lo que estamos diciendo aquí es que está bien así que al realizar una acción obtendrás una recompensa Plus
que es una métrica cuantificada que además obtendrás.
Terminas en un estado en el que no sabemos cuál podría ser aquí.
Podría estar aquí, podría estar aquí.
Pero aquí está el valor esperado del estado en el que terminarás.
Y ahora vamos a multiplicar por el factor de descuento porque es un movimiento de distancia.
Así que ese es nuestro valor Q para esta sección de rendimiento y lo que notará aquí de inmediato es
eso.
Q El valor de Q es exactamente idéntico a lo que está dentro de estos corchetes aquí.
Y por qué es eso.
en todas las acciones posibles del resultado que obtendremos tomando cada una de esas acciones. y enqueue estamos definiendo.
Bueno, si lo piensas aquí, aprovechamos al máximo los resultados que obtendremos al
máximo en todas las acciones posibles, así que tomamos medidas para tomar el máximo
Interesante.
¿Qué obtendremos al tomar una determinada acción?
Entonces, si lo piensas, tiene sentido el valor de un estado.
Entonces, por ejemplo, este estado es el máximo de todos los posibles valores Q.
Correcto, entonces aquí en los Estados al estar en el estado, el agente tiene un valor clave para mantener el valor 3Q para el
valor q.
Entonces, sí, es positivo para los posibles valores de Q mientras que el valor de la suspensión
tiene sentido que el valor del estado sea el máximo de todos esos cuatro valores clave.
Eso es exactamente lo que podemos ver aquí.
Esa es una buena confirmación de esta nueva fórmula que derivamos.
Si ese no fuera el caso, si eso no coincide, entonces tendríamos preguntas.
Entonces, ¿por qué no coincide?
¿Por qué no coincide si?
El valor Q es una medida cuantificada de realizar una acción y V depende del piso.
Es como que el máximo de los posibles resultados de las cuatro acciones que puede realizar tiene
sentido.
Y eso confirma la fórmula que acabamos de derivar y ahora vamos a hacerlo aún más interesante.
Vamos a deshacernos completamente de la Wii porque puedes ver que aquí tienes Wii es una función recursiva.
Entonces y luego me tienes a mí y luego a B y luego a B y luego a B, y así sucesivamente.
Para que pueda expresar esta vista a través de todas las siguientes Vee, estas serán las más óptimas que
aparecerán aquí.
recursiva del quirófano en función de la siguiente V y luego tendría que conectar esta V y luego volver a la B.
Esperamos que Q Funk sea una función
Entonces, ¿qué vamos a hacer es tomar esta V y vamos a reemplazarla con Q
Right? Así que echemos un vistazo a eso.
Vamos a tomar esta V del siguiente estado y vamos a conectar esto a esa fórmula aquí.
Y como puede ver ahora, así que esta parte no cambia, esta probabilidad no cambia.
Pero como acabamos de discutir, el de s es el máximo por todas las acciones de q de S y un derecho aquí.
Así que eso es lo que vamos a reemplazar aquí.
por supuesto, la nueva acción, la acción que vamos a tomar, porque aquí tenemos la Wii de primo.
Así que vamos a decir un máximo de,
Así que aquí ahora tenemos la consola máxima en el mejor momento.
Entonces las acciones que vamos a tomar desde este estado son desde
cualquier otro estado en el que terminemos pero la acción que vamos a tomar desde allí y Maxima a través de
todos esos y el máximo es de todos los valores de cubo que que están disponibles para nosotros en ese nuevo estado como coma principal a primo.
Y eso es acción.
Entonces ese es el.
Entonces habrá otros cuatro.
Q valores allí.
Entonces, como pueden ver, vamos a pasar de nuevo.
Entonces, de lo que derivamos esta palabra sería solo causa a través de la lógica y la intuición, de modo
que podamos ver que las VNS son realmente vistas de AS y de y están relacionadas.
El de S es el máximo en todas las acciones de Cuba S y puedes verlo aquí, así que esta
parte es idéntica a esta parte.
Y luego vamos a aprovechar eso y vamos a reemplazar este bit con VNS desde aquí, pero este embudo
no exactamente vamos a tomar esta parte interna y reemplazarla con matar a los inocentes.
Así que vamos a conectar eso aquí y esta parte va a ser de un máximo de primo de cube
por Crucell a Priam de Q como Prime un primo.
Y ahora tenemos nuestra fórmula.
Entonces, ahora tenemos una fórmula recursiva para el valor q, de modo que ahora el agente puede pensar cuál es el valor de la sección, cuál
es la calidad de esta sección, el nuevo valor de esta acción.
Bueno, depende de la recompensa que obtenga en el paso inmediato después de eso, además depende del
factor de descuento multiplicado por el máximo de todas las posibles acciones Q en ese estado.
tenemos este valor esperado aquí, así que tenemos una probabilidad multiplicada por el valor máximo esperado.
Pero no sé si voy a tener que ver con su lado que también mire ese estado en ese estado y es por
eso que
Entonces, una fórmula muy similar a la que puede ver, pero esta vez estamos expresando
cosas a través de los valores q y es por eso que todo este algoritmo se llama Kill Learning porque esto es lo que se busca. Esto es lo
que realmente usan los agentes. en los estados miren sus posibles acciones y luego, basándose en
las acciones sobre el valor q de las acciones, decidirán qué acción tomar.
Entonces solo mirarán el valor máximo de Q en este estado dado, tiene cuatro acciones.
y luego comprometerse? va a repetir ese proceso, repite ese proceso y así sucesivamente.
¿Cuál es la mejor acción para comparar y comparar los diferentes estados en los que puede terminar, comparar
las posibles acciones que tiene actualmente y luego encontrar el óptimo va a tomar
esa acción
Entonces ahora pueden ver cómo todo esto se une a cómo la recompensa, los hechos de descuento
o los procesos de decisión estocástica del mercado y los valores y los valores q se
unen para citar esta ecuación de Belman poderosa para los valores q que ahora podemos aplicar y deje que nuestros agentes
aprendan cómo vencer al medio ambiente.
Y esa es una explicación intuitiva de lo que está sucediendo.
Sé que pasamos por las fórmulas, pero es necesario porque es como nuestra fórmula.
Hemos pasado por todo este capítulo y creo que es una buena transición desde el Hasta.
P e ilustra cómo hay vínculos entre Yishun. Y si te gustaría aplicar un enfoque matemático de enfoque más riguroso y
ver las matemáticas detrás de él y aprender un poco más sobre los valores
de q y cómo funcionan.
Entonces tenemos algo de lectura adicional para ti.
Este documento se llama conceptos de procesos de decisión de Markov y algoritmos por martĂn von Autor low 2009.
este documento en orden si queremos obtener información adicional sobre esto con el fin de obtener una comprensión más profunda.
Así que cortó el enlace aquí como siempre y aquí puede leer con más detalle para
entender todo lo esencial detrás de los valores de Hugh, y así sucesivamente y ahora que hemos discutido todas
estas cosas relacionadas con la ecuación de Belman ahora estamos listos para ver algo más complejo como
Pero incluso si no lee el periódico o la radio, debe tener un buen conocimiento práctico sobre de qué se
trata el aprendizaje y cómo los agentes presentan las acciones que deben llevar a cabo en un entorno determinado.
Así que espero que disfrutes hoy de Statoil y espero ansioso tu próximo.
Hasta entonces disfruta.
YO.