Hola y bienvenidos al curso de inteligencia artificial.
Y hoy estamos hablando de Marcos de procesos de decisión o M. RE. Echemos un vistazo a lo que tenemos hoy.
Así que la última vez nos detuvimos en el concepto de un mapa.
Entonces, como hemos calculado los valores basados
​​en la ecuación de Belman, podemos derivar este mapa para nuestro agente en este laberinto.
Y, básicamente, lo que eso significa es que, donde sea que comience el agente ange, digamos que comienza allí.
Sabe exactamente qué pasos tomar para llegar a la línea de meta, así que simplemente sube a la derecha.
Correcto y hecho.
Y entonces la pregunta aquí es que sí.
¿Es así de simple?
Es el aprendizaje de refuerzo realmente conocido por la falta de una palabra aburrida.
Es es, sí.
Una vez que tienes las matemáticas, eso es todo lo que tienes que hacer es que lo hayas llenado.
Bueno, la realidad es que no es así de simple.
Y eso es algo bueno porque hace que este curso sea
más interesante para nosotros y en realidad podemos resolver problemas mucho más complejos.
Así que aquí es donde se acerca la marca de un proceso.
Pero primero hablaremos de dos cosas.
Nos interesa la búsqueda determinista versus la búsqueda no determinista.
Entonces, hablemos del concepto de búsqueda determinista.
Este es nuestro agente en el laberinto y la búsqueda determinística
significa que si el agente decide ir hacia arriba, entonces lo que sucederá es un 100 por ciento de probabilidad de que suba.
Eso es exactamente lo que sucederá.
No hay otras opciones
Una vez que dice subir o hacer clic en la flecha hacia arriba, subirá.
No hay otras opciones
Ahora, por otro lado, la búsqueda no determinista es cuando nuestro agente dice que quiere subir.
En realidad, son un par de opciones.
Por ejemplo, podría haber tres opciones y vamos
a ver un ejemplo donde hay tres opciones, pero no tiene que ser un límite
de tres antes de que pueda ser diferente, dependiendo de si el problema es que la
aleatoriedad podría ser diferente, pero en nuestro caso, podrían ser tres opciones con un 80 por ciento de posibilidades de que suba.
Pero luego, con un 10 por ciento de posibilidades de que cuando quiera ir, en realidad irá a la izquierda solo porque.
Porque así es como funciona el medio ambiente, ese es el mundo en el que vive.
Y con otro control con un 10 por ciento de probabilidades, realmente irá bien.
Y en este caso caerá en la hoguera.
Así que así es como funciona todo.
y de qué se trata es de hacer
un modelo más realista de lo que realmente podría suceder en un mundo real en un
tipo de problema del mundo real porque muy rara vez se producen situaciones como esta cuando haces algo y sucede exactamente de esa manera.
Ese es un ejemplo de una búsqueda segura no determinista de un proceso estocástico
E incluso si lo piensas en términos de juegos, digamos que tienes un agente jugando Pac-Man.
Bueno, no siempre es el caso que si está de pie en la plaza, sube.
Él obtendrá el mismo resultado exacto cada vez.
Bueno, de hecho subirá, pero puede ser que en un caso no sea comido por un fantasma en ninguno de los casos.
Él será comido por un fantasma.
Entonces, como pueden ver, hay algo de
azar porque depende de cómo se muevan los fantasmas y no siempre se mueven de la misma manera.
No siempre comienzan en las mismas ubicaciones.
Entonces, es muy lógico, es
muy justo que haya algo aleatorio que no esté bajo el control del agente y que es
solo una forma de presentarlo para que aprendamos cómo podemos manejarlo y cómo eso
afecta una ecuación de Belman cómo afecta el proceso de aprendizaje de refuerzo completo.
a la derecha o a la temperatura, y solo
ve a la izquierda o si bajas al 10 por ciento, a la derecha o a la izquierda, o Hay un 10 por ciento de
posibilidades de que un sub o un sutil se limite a dónde va a terminar, a veces puede tener un problema que sea exactamente.
Pero, al mismo tiempo, la aleatoriedad no está limitada, por supuesto, si subes, hay un 10 por ciento de posibilidades de que vayas
Algunas veces las posibilidades pueden ser diferentes.
A veces, la aleatoriedad puede reducirse a otra cosa, ya que podría reducirse como ese ejemplo.
Los fantasmas de Pacman que te comen no te están comiendo o podrían reducirse a algo diferente.
Por ejemplo, si hay algo así como si el agente está jugando Doom y luego
hay algo así como un monstruo que va a dispararle en un caso y en otros
casos hay una probabilidad de que todos nos disparen y no nos disparen.
Y tal y tal algo que está fuera del control de los agentes es algo que no puedo predecir.
Eso es lo que estamos modelando aquí en la búsqueda no determinista y
aquí es donde hemos abordado directamente dos nuevos conceptos, una marca de procesos o una
marca de proceso y una marca de proceso de decisión, así que echemos un vistazo a estos.
Y sabes cuánto no me gusta poner definiciones y mucho texto en el lateral.
Pero en este caso es necesario que nosotros atraviesemos eso.
Así que echemos un vistazo a un proceso estocástico que tiene una marca de propiedad.
Si la distribución de probabilidad condicional de los estados futuros del proceso condicional y
el estado pasado y presente depende solo del estado presente y no de la secuencia de eventos que lo precedieron.
Un proceso con esta propiedad se llama marcador.
La definición muy compleja y algo así
como que introduces un poco no solo se contradice a sí misma sino que se contradice a sí
misma, por lo que aquí es condicional para una presencia positiva que depende de tu punto.
Pero al mismo tiempo, solo depende del estado actual.
Así que no te empantes demasiado en eso.
Voy a desglosarlo en términos simples, por lo que una marca de propiedad es cuando tus futuros estados.
Entonces no solo tu elección, sino todo.
Su elección y el entorno en el que
solo le agradarán los resultados de todas las acciones que realice en ese entorno dependerán únicamente de dónde se encuentre ahora.
No dependerá de cómo llegaste allí.
Y eso es.
Entonces esa es una cuestión de público y un proceso que tiene esta propiedad se llama proceso de mercado.
Entonces para ponerlo en un ejemplo, entonces si
su agente está aquí y si se va si decide ir, podría irse.
En nuestro caso, en nuestro ejemplo de búsqueda no determinista, en realidad podría irse de izquierda a derecha.
Todo bien.
Eso es
porque tenemos que pegar esta ciudad dentro de nuestro entorno tenemos esa aleatoriedad dentro de nuestro entorno.
Entonces cualquiera de estas cosas podría suceder.
Pero la clave aquí es que esta es una marca de proceso porque no nos importa cómo llegaste aquí.
Pudo haber venido desde la parte superior hasta aquí, podría haber venido de la izquierda y de
que aquí arriba podrías venir desde abajo y terminar aquí.
Podría tener como jugar un movimiento por aquí como 100000 veces y luego llegar aquí.
No importa lo que sucedió antes, solo lo que importa es en qué estado se encuentra ahora.
Y entonces las probabilidades de ir hacia la izquierda o hacia
la derecha o hacia arriba siempre serán las mismas si él está en este estado ahora.
Y eso es básicamente solo decir que no importa lo que sucedió antes de que estemos aquí ahora.
Este es el estado en el que se encuentra.
Y no olvides que el estado no solo significa dónde está parado.
monstruos a la derecha o monstruos a la izquierda o
bien sabes que el fantasma viene de arriba o abajo en cualquier estado en el que te encuentres ahora .
El estado es el estado de todo el agente en el entorno, por lo que hay
No importa cómo llegues allí,
no importa cómo y cómo llegó a ser que estás allí en ese estado.
Ahora lo que sucederá en el futuro solo está determinado por el estado en el que se encuentra ahora.
Además de las acciones que tomará, además, por supuesto, la aleatoriedad que se superpone a eso.
Entonces esa es una marca de proceso y un proceso de decisión de marcador o un proceso de decisión de MVP o marcador.
Proporcionar un marco matemático para modelar la toma de decisiones en situaciones donde los
resultados son parcialmente aleatorios y parcialmente bajo control sobre la toma de decisiones.
Tan importante es entender que los procesos de marca
de proceso son diferentes y la marca de concepto completa diferente del proceso marca el proceso.
Hay como un marco matemático así.
Pero al mismo tiempo, pensé que era importante
para nosotros entender qué marca de proceso es porque creo que todavía ayuda
a comprender el proceso de marca de decisión y, por lo tanto, existe un proceso de marca de decisión.
tiene el control como
él anteriormente y tiene control total de lo que está sucediendo, pero ahora tiene un poco menos de control.
Esto es exactamente lo que hemos estado discutiendo hasta ahora, por lo que el agente vive en este entorno en el que
Puede decidir subir pero en realidad lo sabe.
De acuerdo, entonces, si subí, tengo la oportunidad de que
aparezcan los simios. Subiré estos intentos y las posibilidades se irán a la izquierda, y la posibilidad irá bien.
Entonces, no todo está completamente bajo su control.
Hay algo de aleatoriedad en este entorno y eso
es exactamente lo que marca el proceso de decisión y el proceso de
decisión de Markov es el marco que usará el agente para comprender qué hacer en este entorno.
Entonces tenemos un ambiente con algo de toxicidad y algo de azar.
Y ahora el agente tiene que elegir, por ejemplo, debe ir hacia la izquierda o hacia la derecha.
Él tiene que tomar esa decisión.
Él no sabe qué hacer.
Y para tomar esa decisión,
se aplicará un marco que utilizará un proceso de marca de decisión para tomar esa decisión de qué va a pasar a dónde va a llegar.
proceso de decisión, por lo que es el marco en el que el
agente utiliza al mismo tiempo que el agente está operando en un entorno de proceso de decisión de mercado.
Así que, básicamente, este entorno que plantea este problema se refiere a la marca del
Y así, básicamente, aquí tenemos dos conceptos que tenemos la marca
del proceso: la forma en que está diseñado este entorno para que el PA haga el trabajo.
Lo que sucede desde donde estás ahora no depende del pasado.
Y al mismo tiempo que tenemos el proceso de marca de
decisión es el marco que el agente va a utilizar para resolver este entorno.
Y la buena noticia es que la marca del proceso de decisión o el
marco del que estamos hablando es en realidad una adición a nuestra pregunta sobre la ecuación de Belman, es la ecuación de Belman pero un poco más sofisticada.
Así que echemos un vistazo a eso.
Esta es nuestra ecuación de Belman hasta el momento.
Es el máximo de todas las acciones posibles.
Entonces, el valor de estar en un
estado es el máximo de todas las acciones posibles que puede tomar desde ese estado.
El máximo se obtiene
de la recompensa que obtendría al tomar esa acción en ese estado más un factor de descuento multiplicado por el valor del siguiente estado que es el principal.
Entonces eso es lo que hemos tenido hasta ahora.
Ahora, debido a que tenemos algo
de azar en todo el proceso, esta parte cambiará porque no sabemos realmente qué estado va
a terminar y no sabemos cuál será el mejor momento si vamos a subir será arriba
o quedará será correcto, así que tenemos que colocar esto con el valor esperado de la próxima fecha.
Así que aquí vamos a reemplazar esto, así que hay tres estados posibles en los que podemos terminar.
Y entonces vamos a reemplazar eso con algún valor de que el estado tiene un valor de como uno principal.
Que tiene una vista de primo a primo.
Y este estado tiene un valor de nosotros tres Bryne.
Así que ahora vamos a multiplicar el estado en el que realmente tenemos
la intención de entrar en un 80 por ciento porque así es como la probabilidad de llegar a ese estado
más la probabilidad de llegar a este estado es 10 por ciento más personas que ingresan
al estado. solo nuestro valor esperado así que si de las estadísticas, si tomamos el valor esperado de entrar en
el estado en el que entramos, es como el promedio. ¿Cuál es el promedio de lo que obtendremos y luego lo reemplazamos aquí?
Entonces obtenemos esta agresión y salta muy rápido solo porque hay una grande, pero si
la miras cuidadosamente verás lo mismo que dice Max sobre Max aquí.
Entonces tienes r de S y A R de S y ellos tienen gamma tienes gamma.
Y finalmente, aquí tienes v.
Entonces sabías exactamente que era una búsqueda determinista que sabías en qué estados te involucrarías.
Ahora no sabes en qué estado entrarás desde el de tomar V.
Estás tomando el valor esperado del estado al
que te acercarás o del estado futuro o simplemente en términos más simples, solo estás tomando el promedio de lo que obtendrás.
Entonces sabes que era como para 30
más 3 por ciento de probabilidad de que esta sea la división de Plus por tres básicamente.
Pero en este caso no es así, no es exactamente como el promedio promedio.
Es un promedio ponderado debido a las probabilidades aquí.
Así que aquí tienes la probabilidad de que cuando estés
en esta etapa actúes para entrar en el estado de prime time, el valor de s prime
y algunos para cruzar todos estos números primos que puedas llegar a ser quienes somos.
Así que exactamente lo que teníamos tres aquí uno dos dos tres.
Sumalos multiplique estos sumenlos.
Igual que aquí.
Uno dos tres.
Multiplíquelos por las probabilidades y agréguelos.
Y esa es tu nueva ecuación de Belman.
Felicitaciones.
Esto es con lo que vamos a trabajar para seguir adelante.
Y ese es el marco que
se usa en los procesos de decisión, por lo que ese es el marco que lo resuelve.
Los agentes solían
resolver todo este problema de búsqueda no determinista estocástico donde hay eventos aleatorios que están sucediendo y que no pueden controlar.
Entonces es mucho más complejo.
Pero como pueden ver, lo hemos desarrollado lentamente.
Ahora ya sabemos sobre esto, lo sabemos.
Hay preocupación sobre esto.
Sabemos sobre esto
Sabemos lo que son.
Entonces, todo lo
que hicimos fue introducir esta parte aquí porque hay probabilidades involucradas en la acción o las consecuencias de su acción sobre no deterministas se basan en probabilidades.
Y ahí vamos.
Así es como funciona un marcador del proceso de decisión y la ecuación subyacente detrás de él.
Una vez más, es algo que se asemeja más a problemas del mundo real reales
o Sinatras o incluso escenarios de juegos porque no todo es sencillo.
Hay una aleatoriedad de todos los involucrados y no
siempre tomar una acción en un cierto estado siempre Nawal no siempre conducirá al mismo resultado.
Y entonces esto es lo que vamos a
tratar de seguir adelante y eso hará las cosas más interesantes.
Así que espero que estés emocionado y emocionado de ver lo que vendrá después.
Y mientras tanto, encontré un papel realmente genial para que lo eche un vistazo en este momento.
Es un papel muy aplicado.
Así que este es realmente realmente interesante de leer.
Se llama una encuesta de aplicaciones
de Marcos de procesos de decisión proces y fue escrita por blanco en 1993.
Ahí está el enlace
y les mostraré ejemplos de los procesos de decisión de Markov que en realidad se usan para modelar Sinatras en la vida real. Creo que estaba muy entusiasmado con esto.
Me impresionaron algunos ejemplos de cosecha de población, por ejemplo.
Entonces, digamos que tiene algunos peces y usted sabe cuál es la
población de peces que necesita para decidir cuántos peces podemos pescar este año y qué.
Entonces ese es tu estado actual.
Esa es la acción que estás tomando. ¿Cuántos podemos haber disparado este año?
Entonces, ¿cuáles son los posibles resultados de eso?
¿Cuántos peces tendremos el próximo año?
¿Cuántos peces tendremos el año posterior y el año posterior y así sucesivamente?
Y no es determinista porque no es como si lo tomaras a una hora
y el 90 por ciento de la población el próximo año lo harás saber al 100 por ciento que no es exactamente sermón.
Hay ciertos factores aleatorios involucrados que están fuera de nuestro control y, por lo
tanto, tenemos que entender qué es lo que va a suceder, tenemos que modelar lo que
va a suceder, que es donde una decisión de mercado procesa la agricultura.
Hay un ejemplo como algo así
como cosechar cosechas, cuántos cultivos cosechamos, cuánto dinero no cosechamos.
que él controla.
Otro que analicé las finanzas y la inversión como una compañía de seguros necesita decidir cuánto
de sus fondos invertirá en cualquier día o año o período de tiempo y existen ciertos factores
Por ejemplo, usted conoce los
movimientos del mercado, no sabe lo que puede pasar, por lo que necesita modelarlo de alguna manera.
Una marca de procesos de decisión utilizada para eso.
Entonces aquí puedes ver muchos y muchos ejemplos.
Y este es el número de ejemplos dados, creo, para cada uno.
y el mantenimiento y las reparaciones también es muy interesante.
Y para que sepa que incluso los ejemplos deportivos de deportes y epidemias y las inspecciones de reclamos de automóviles
Echa un vistazo a eso.
Solo para
darte una comprensión de oye, esto no es solo un asunto hipotético de The Matrix.
Este es en realidad
el escenario del mundo real, así que le daré una mejor comprensión y esto es de lo que hablamos en el video promocional de los
puntajes que o la descripción del curso que vamos a inspirarle y su intuición para darle ideas para saber cómo usar la IA en la vida real.
Esta es tu oportunidad.
Mire este papel para entender.
De acuerdo, vamos a tratar con el proceso de marca de decisión en el futuro.
Eso es realmente genial, ¿cómo se ven en la
vida real y esto posiblemente podría desencadenar algunas ideas para usted cómo podría
aplicar en el futuro para hacer del mundo un lugar mejor y estaríamos muy contentos con eso.
Nos complacería que pudieras utilizar lo que aprendas en este curso para hacer del mundo un lugar mejor.
Qué fantástico con eso.
Entonces, con esa nota, espero que hayan disfrutado el tutorial de hoy.
Espero verte la próxima vez.
Y hasta entonces, disfruta de la IA.