Hola y bienvenidos al curso de inteligencia artificial.
Anteriormente tuvimos un tutorial bastante extenuante y extenso sobre los procesos de decisión de Margrove y esperamos que se haya
llevado bien con eso.
Y con suerte podría explicar las cosas de una manera accesible y atractiva.
Y hoy vamos a hablar de políticas versus planes.
ahora estamos entrando en un nuevo mundo, estamos entrando en un mundo de búsqueda estocástico de búsqueda
no determinista cuando simplemente no estamos atravesando el laberinto, sino que también tenemos en cuenta los factores aleatorios que podrían afectarnos.
estás en la cabeza cuando atraviesas este laberinto y necesitas estar preparado para ello.
Habrá un tutorial rápido y divertido porque
Ese es el mundo.
Nuestro agente está viviendo y es más divertido, pero también es más peligroso, es más, es menos predecible.
Entonces, ¿cómo se comportará nuestro agente?
Echemos un vistazo.
Está nuestra marca de marco de proceso de decisión que una vez más es nuestra ecuación de favor de Belman.
Sin embargo, la versión más avanzada de la ecuación de Belman con la que estamos trabajando.
Entonces, de ahora en adelante, llamaremos a esto la ecuación de Beldon.
Y aquí tenemos nuestra acción máxima y Crucell por lo que el valor de un estado en cualquier estado es el máximo en
todas las acciones que un agente podría realizar en ese estado.
Y la máxima fue tomada de la recompensa que obtendrá el agente realizando la acción A instate como un factor
de descuento multiplicado por el valor esperado del nuevo estado en el que se encontrará.
Y espero que los tomen aquí porque no saben exactamente en qué terminan los saddle.
Son algunos efectos aleatorios que están presentes en el entorno y que podrían alterar el estado y no terminar
en el estado deseado.
Puede terminar en un estado diferente.
Es por eso que estamos tomando el valor esperado aquí en algún lugar aquí.
Así que echemos un vistazo a esto como nuestro ejemplo nuestro o en nuestro ejemplo del laberinto.
Así que esto es lo que teníamos anteriormente, así que estamos lidiando con una búsqueda determinística en vivo.
Entonces lo sabíamos.
Está bien, entonces si estoy aquí, definitivamente necesito ir aquí si estoy aquí.
Definitivamente necesito ir aquí si estoy aquí. Definitivamente necesito ir aquí si estoy aquí. Estoy aquí.
Entonces todo fue bastante sencillo.
Una vez que tienes este mapa y recuerdas haberlo llamado, lo llamamos plan.
Una vez que tienes el plan, es bastante sencillo de hacer.
Existen.
Entonces ese es el plan con flechas.
Y a partir de aquí, fue muy sencillo saber que estas son las rutas que tomarán cada vez que
comiences en esta línea azul.
Esa es exactamente la forma en que irías.
Sin embargo, ahora ya no tenemos un plan.
que planifiquemos podría no suceder, que no está bajo control o que el plan es cuando sabe exactamente lo que debe hacer a continuación.
No podemos tener un plan porque usted sabe que lo
Ya sabes los pasos.
Así que tienes un punto de partida, tienes un objetivo y conoces cada paso para que puedas planearlos, como
hago, voy a hacer esto. Haré esto como en la vida, como un plan. .
Pero al mismo tiempo hay mucho ahora que está pasando el azar.
Puede tener un plan porque, si llega aquí y luego, hace clic a la derecha y, de hecho, lo lleva
hacia abajo.
Entonces eso no es parte de tu plan.
Es por eso que se llama planificación más.
Y aquí vamos a calcular que los valores realmente solo van a mirar
los valores calculados para este mismo problema.
Pero basado en eso dado que tenemos esta aleatoriedad adentro.
Entonces estos son los nuevos valores.
Entonces, ¿por qué son diferentes estos valores, así que simplemente comparemos con lo que teníamos anteriormente?
Esto es lo que tuvimos anteriormente.
Estos son entonces tú.
Así que una vez más tuvimos anteriormente porque ganó 3. 9 por ciento
Él era realmente 366.
Y esto es lo que tenemos ahora a a menos de una vez en vigor y 1 6 3.
Y, por cierto, estos no son exactamente los mítines actuales de la parte superior de mi cabeza, pero si tuviéramos
que ejecutar un agente, algunos valores serían algo similar a esto y los valores podrían cambiar
porque dependiendo de la apuesta que elegiría 3. 9 u otro valor, pero a pesar del argumento, estos
son los valores con los que estamos tratando ahora y son aproximados, transmiten la noción completa de la manera correcta, así
que echemos un vistazo a ellos.
¿Por qué han cambiado?
Bueno, ¿por qué aquí con este aquí el valor fue uno.
¿Por qué de repente es 0? 26 ¿Por qué es menos de uno?
Solo ve desde aquí aquí.
Bueno, en realidad lo llamamos porque desde aquí si vamos bien, que es nuestra intención si vamos bien, podríamos, de hecho,
tendremos un 10 por ciento de posibilidades de que terminemos aquí.
Así que golpeamos la pared y estaríamos nuevamente en este estado.
Por lo tanto, el valor sería descontado o, nos pondríamos a 10 o menos y la posibilidad terminaría aquí en este estado.
Y recuerde que tenemos un Gamla.
Por lo tanto, no es 100% probable que llegue aquí, por lo tanto, el desvalorización ya no puede ser uno,
es algo menor y es 0. 26.
Entonces ese es un ejemplo de por qué es así.
Y podría obtener el valor exacto si calculó la ecuación de Belman al máximo, pero mi pregunta es la
que tenemos ahora.
alguna recursión porque necesitarás saber el valor para esto y entonces necesitas saber el valor de
esto que es bastante complejo y es por eso que no estamos haciendo los cálculos aquí manualmente.
El único problema es que va a haber
Es por eso que puedo hacerlo, ya que está pasando por todo esto, es como si no fuera demasiado complejo
para una.
No puedes jugar estas cosas.
Entonces ese es nuestro valor aquí.
Pero de esto es diferente.
Entonces aquí solo tiene que ser 0. de descuento, recuerde de aquí hasta aquí ahora, desde
aquí las universidades saltan de aquí hasta aquí simplemente porque incluso si saltamos si vamos así, podríamos terminar aquí de nuevo.
9 solo por el factor
En este 20 por ciento de posibilidades, seguirá en la casilla porque chocaremos contra una pared.
Y otra vez y así sucesivamente.
Entonces, el valor de estar aquí es cero punto setenta y uno.
Nuevamente esto y el factor de descuento.
Sabes que esto puede parecer extraño para ti, incluso si el factor de descuento es demasiado alto.
Quizás el factor de descuento en este ejemplo no sea 0. 9 tal vez son siete puntos noventa y nueve o
algo así que no te preocupes por eso.
Solo como enfocarse en eso.
Los valores han cambiado de hecho que los valores ahora son menores.
Principalmente porque no es una probabilidad del cien por ciento de llegar al estado que desea obtener
y lo que encontrará.
Uno interesante aquí está aquí para ser 0. 9 en realidad ha disminuido mucho ha disminuido sustancialmente.
Porqué es eso.
ciento de posibilidades de golpear una pared, pero hay un 10 por ciento de posibilidades de
terminar en la hoguera y perder menos uno para recompensar, y básicamente eso significa para el agente que es eso. del juego.
Bueno, si vas desde aquí, que es nuestra intención, hay un 10 por
Y este es un estado muy malo en el que estar.
Entonces, de repente, recuerdan que teníamos un punto cero con nueve años de diferencia, por lo que eran equivalentes.
No importa si escuchas que son bastante iguales en términos de valor de ser en cada uno de estos estados.
Pero ahora, de repente, esta fecha es casi dos veces mejor que esta, simplemente porque aquí, si vas directamente
hacia allí, vas justo donde quieres ir.
El que conoces las consecuencias de la aleatoriedad que ocurre es que te quedas aquí.
Aquí una de las consecuencias es un 10 por ciento de posibilidades de que termines en el pozo.
Entonces, como pueden ver, esto ya no es un estado tan bueno simplemente por la fluctuación
que podría suceder.
Como puedes ver, este también es muy malo porque es tan malo como este en términos de que sabes que solo hay un 10 por ciento de probabilidades
de terminar en el pozo y un 10 por ciento de posibilidades de terminar en la pared.
Pero al mismo tiempo hay un factor de descuento Entonces, antes que nada, el factor de descuento y también después
de este tendrías que ir aquí.
E incluso si hipotéticamente fuiste aquí, podrías terminar en el pozo nuevamente.
que estos valores se derivan de este valor y este valor se deriva de este valor.
Entonces esa posibilidad también se tendría en cuenta porque recuerde
Derecha.
Y, por lo tanto, es pequeño, pero en realidad en realidad lo que dije fue incorrecto.
Este valor no se deriva de la Reserva Federal.
Entonces, si solo lo mira, notará que este valor aquí es mayor que
este.
Notarás que para el agente es mejor hacer todo este camino que de esta manera y tiene sentido.
Porque de esta manera no lo pierde, no hay posibilidad de entrar en el pozo.
Sí, es un poco más largo y, por lo tanto, el factor de descuento tiene un efecto mayor.
Pero al mismo tiempo, simplemente porque hay una posibilidad de entrar en el hoyo aquí, si
va directo, habrá una posibilidad de saltar.
Por lo tanto, tomará un sorteo para tomarse su tiempo y simplemente dar la vuelta porque de esa manera hay muchas menos posibilidades de
que llegue, pero aún lo hay.
Así que desde aquí va allí desde aquí va allí.
Podría potencialmente entrar al pozo porque podría terminar allí y eso podría terminar en la factura.
Pero, sin embargo, es una posibilidad menor, así que continuará así.
Así que es muy interesante ver cómo cambian todos los recuerdos. Recuerda que desde aquí irías así.
Desde aquí irías así y desde aquí vamos así.
Y ahora, de repente, puedes ver su cambio.
Vamos a rodar las flechas y ver cómo se ve ahora y voila.
Ves incluso una cosa más aleatoria correcta.
Entonces sí, esto es verdad
Pero mira lo que sucedió aquí.
Mira este.
Estabas esperando eso.
Eso es algo que definitivamente me gusta cuando vi esta primera vez que estaba muy impresionado.
No era súper, no estaba sorprendido y no esperaba esto en absoluto.
Y este es un ejemplo de que sabes cuándo puedo burlar a un humano.
Parece que algo que atrapaste incluso tú pudieras predecir pero el yo a través del aprendizaje de la aplicación de la ley recuerda
que el ejemplo de los perros a veces puede funcionar mejor que la vida real normal.
perros robot preprogramados que pueden jugar fútbol simplemente porque presentan estas ideas que incluso nosotros no podemos ver.
Los perros son
Y como un gran ejemplo, probablemente tampoco esperabas que los asiáticos en
lugar de subir fueran como yo.
Como si subiera entonces hay un 10 por ciento de posibilidades de que salte al pozo.
Pero, ¿qué logra al entrar en la guerra?
Bueno, el 80 por ciento del tiempo se recuperará y permanecerá en el estado.
Pero el 10 por ciento de las veces irá aquí y el 10 por ciento del tiempo iré aquí.
Entonces, de repente, puedes ver que ahora está en este nuevo enfoque de saltar a la pared.
Hay un cero por ciento de posibilidades de que entre al fuego, pero desde este lugar.
Y es como si realmente no quisiera ir a la hoguera, por lo que un par de veces drogado
bonbon en la pared y luego irá a la derecha o a la izquierda en algún momento porque esa aleatoriedad va a suceder.
Y así aprendió que a través de la experimentación aprendió que OK cuando avanzo los resultados no son tan buenos como
cuando voy a la pared.
Y si lo piensas, es así.
Este robot, si lo piensas, es una hoguera, es un lugar muy parecido a un cuadrado, es como
un saliente muy pequeño y luego es como una montaña como un acantilado.
Y este robot solo está abrazando el acantilado y solo trata de esperar hasta que lo empuje a la derecha o
a la izquierda, porque así como un ser humano probablemente hagas lo mismo, no estarías mirando
hacia allí o estarías abrazado al acantilado.
O algo así.
Y con suerte sabes que tenemos que terminar nunca en situaciones como esa.
Pero como visualmente solo visualmente si piensas en algo aquí.
Y eso es bastante intenso, ¿verdad?
lo haga voy a ir aquí y algo va a pasar y terminaré aquí y estaré a salvo, y luego solo lo haré. sigue así.
Así que a la IA se le ocurrió esta idea y la misma aquí que está yendo a la izquierda
y Riskin se pelea, pero voy a probar las pelotas de la pared como si me abrazaras a una pared, intenta saltar a
la pared y al En cierto punto, sé que sabes que hay una probabilidad de un
10 por ciento de que cada vez que
Es un enfoque muy interesante que tomaron aquí y pueden ver que las rutas son así, por lo que desde aquí podría irse a la
derecha y luego ir a la derecha o a la izquierda o irse a la izquierda.
Y aquí en algún momento irás a la izquierda y seguirás así.
Esto es importante.
No soy una política así que incluso cuando salte de aquí irá aquí.
Quizás Y luego, desde aquí, podría llover directamente.
En realidad, podría volver a la derecha y luego a partir de aquí y voy a dejar que entienda bien.
Entonces hay muchas opciones diferentes para los chicos que quizás no sigan exactamente a
este ferretero.
Estas son solo las rutas deseadas que está diseñado para sí mismo.
Pero la forma en que funcionará en realidad podría ser diferente.
Depende del mundo real.
Entonces ahí vamos
Ese es el mundo de la inteligencia artificial.
Eso es lo que es una política versus un plan y con suerte te estás emocionando lentamente por lo
que la IA puede hacer especialmente dado lo que hemos visto aquí.
Estas son algunas decisiones de tipo muy virtuosas que las IA producirán.
Y como puedes ver cuando juegas con IA, incluso con este pequeño ejemplo, puedes ver que
incluso cuando juegas en un mundo real tal vez se te ocurran ideas y decisiones que incluso a veces los humanos pueden
pensar.
Y eso es exactamente como lo que sucedió en esos juegos donde el objetivo de Google Alpha
estaba jugando contra Lisa idole campeón de gol en Corea de nuevo en el campeón mundial de go.
Y estaban jugando en Corea back bakla en 2016, creo que es marzo de 2016.
Surgió con algunos movimientos que los humanos nunca habían jugado en 3000 años o los humanos no estaban acostumbrados a jugar.
Y este es este es exactamente un ejemplo de eso.
Así que, una vez más, espero que estés entusiasmado y entusiasmado con el discurso y sobre lo que podemos integrar.
Y lo busco
Hasta la próxima.
Hasta entonces disfruta.
YO.