大家好, 欢迎回到人工智能课程｡
之前我们有一个关于马尔可夫决策过程的很长很长的教程, 希望你们能沿着得很好,
也希望我能用一种平易近人和吸引人的方式来解释事情｡
今天我们要讨论的是政策与计划｡
这将是一个快速和有趣的教程, 因为现在我们进入了一个新的世界｡
我们正在进入随机搜索的世界, 非确定性搜索, 当它不仅仅是关于通过迷宫, 而且还考虑到随机因素,
当你通过迷宫时, 这些随机因素可能会击中你的头部,
你需要为它们做好准备｡
我们的探员就生活在这样的世界里｡
这样更有趣, 但也更危险｡
它的更多｡
这是不可预测的｡
那我们的探员会怎么做
我们来看看｡
这是我们的马尔可夫决策过程框架, 也是我们最喜欢的贝尔曼方程｡
然而, 我们正在研究的贝尔曼方程的更高级版本｡
所以从现在开始, 我们就把这个发展方程叫做｡
这里我们得到了所有操作的最大值｡
因此, 状态和状态的值是代理在该状态下可能执行的所有操作的最大值｡
而最大值取自代理在状态中执行动作a将获得的奖励, 加上折扣因子乘以新状态的期望值｡
它将在这里取预期值, 因为它不知道最终会处于什么状态｡
环境中存在一些随机效应, 可能会改变状态, 而不是你可能不会最终处于期望的状态｡
你可能会在一个不同的状态结束｡
这就是为什么我们要取这里的期望值, 这里的和｡
让我们来看看这个例子或者迷宫的例子.
这就是我们之前的结果｡
之前我们讨论的是确定性搜索, 所以我们知道｡
好吧, 既然我在这儿, 我肯定得去这儿｡
如果我在这里, 我一定要去这里｡
如果我在这里, 我就在这里｡
所以一切都很简单｡
一旦你有了这张地图, 记住我们称之为计划｡
一旦你有了计划, 你需要做的事情就很简单了｡
有错误｡
这就是箭的计划｡
从这里看, 这是非常简单的｡
这些是探员会采取的路线｡
无论你从这条蓝线上的哪一个地方开始, 那就是你要走的路.
不过, 现在我们再也没有计划了｡
我们不能有一个计划, 因为, 你知道, 无论我们计划可能不会发生｡
这不是我们能控制的｡
计划就是你确切地知道下一步要做什么｡
你知道舞步｡
所以你有你有一个起点, 你有一个目标, 你知道每一个步骤, 所以你可以计划出来｡
你会说, 我来做这个, 我来做这个, 我来做这个｡
就像你的生活, 就像一个计划｡
但同时, 也有太多的随机性｡
你不可能有一个计划, 因为如果你到了这里, 然后你点击右边, 实际上把你打倒了？
所以这不是你计划的一部分｡
所以现在不叫计划了｡
这里我们要计算出这些值, 或者我们只看一下这个问题的计算值｡
但基本上, 考虑到我们内部有这种随机性, 所以这些是新的值｡
那么, 为什么这些价值观是不同的呢？
让我们把它和之前的做个比较｡
这是我们以前的情况｡
这些是新值｡
所以再一次, 我们先前你们可以看到10｡ 九比零｡ 81, 73, 66这就是我们现在的86.
第一课, 第74课, 第71课, 第63课等等.
顺便说一下, 这些并不是我头脑中的正确值, 但如果我们要运行一个代理,
值应该是类似于这个的东西｡
这些值可能会改变, 因为取决于我们选择0的伽玛｡ 9或其它值｡
但不管怎样, 为了讨论的缘故, 这些是我们现在要讨论的价值观｡
它们是近似值｡
他们以正确的方式传达了整个概念｡
让我们来看看它们｡
他们为什么改变了？
好吧, 为什么在这里让我们从这个开始｡
这里的值是1｡
为什么一下子0｡ 八十六？
为什么小于1？
我们能从这里走吗？
在这里吗？
实际上我们称之为, 因为从这里开始, 如果我们向右走, 这是我们的意图,
如果我们是对的, 我们就有10%的可能性我们会在这里结束｡
所以我们会撞到墙, 然后回到这个状态, 记住, 我们有一个gamma,
所以价值会被打折, 或者有10%的几率会在这个状态下结束｡
所以我不是100%有可能会到这里｡
所以这个值不能再是1｡
它是一个更小的数, 假设是0. 86.
这就是为什么会这样的一个例子
如果你计算贝尔蒙特方程, 你就能得到确切的值, 就是我们现在得到的完整的贝尔蒙特方程｡
唯一的问题是会有一些递归, 因为你需要知道这个的值, 然后你需要知道这个的值｡
这是相当复杂的, 这就是为什么我们在这里没有手动进行计算｡
这就是为什么一但｡
我可以做他们, 因为它正在经历这一切｡
就好像人工智能计算这些东西并不复杂｡
这就是我们这里的值｡
但让我们来看看不同的｡
所以这里它曾经是0｡ 9只是因为贴现因素｡
记住, 从这里再到这里, 现在从这里, 我们不能从这里跳到这里,
因为即使我们这样跳, 我们也可能回到这里｡
在后面, 对｡
我们有20%的可能会继续待在广场上, 因为我们会撞到墙, 如此反复.
所以在这里的价值是0｡ 71.
同样, 这是贴现因子, 你可能会觉得奇怪, 这与贴现因子是相等的, 这太高了｡
在这个例子中, 贴现因子可能不是0｡ 9, 也许是0｡ 99或类似的东西｡
所以不用担心这个｡
就像专注于那个｡
数值确实发生了变化, 数值变小了, 主要是因为你不是100%有可能达到你想要的状态.
你会发现一个有趣的结果, 它曾经是0｡ 9, 实际上已经下降了很多｡
已经大幅下降了｡
为什么会这样呢？
因为如果你从这里往上走,
这也是我们的意图, 有10%的机会撞到墙上, 但也有10%的机会真正结束在火坑和失去负一的奖励｡
基本上, 这意味着对经纪人来说, 这就是游戏的结束｡
所以这是一个非常糟糕的状态｡
所以突然之间, 记住, 我们有0｡ 9这里一分｡
所以它们是等价的｡
不管你在这里还是在这里, 它们在这两种状态下的价值几乎是相等的｡
但现在突然之间, 砰, 这个状态就像是这个的两倍好｡
只是因为在这里, 如果你直接去你, 去你想去的地方｡
随机性发生的后果就是你呆在这里｡
给你
其中一个后果, 10%的机会是你最终在坑｡
正如你所看到的, 这不再是一个好的状态了, 仅仅是因为一些可能发生的波动｡
正如你所看到的, 这个也很糟糕, 因为它和这个一样糟糕, 因为它最后只有10%的机会,
10%的机会被堵在墙上.
但与此同时, 还有一个折扣因素｡
首先是贴现系数, 然后是这里｡
即使你假设去了这里, 你也可能再次陷入困境｡
所以这个概率也会被考虑进去, 因为记住, 这个值是从这个值推导出来的,
这个值也是从这个值推导出来的, 对吗？
因此它很小｡
但在现实中, 其实我说的有错｡
此值不是从此值派生的｡
如果你现在看一下, 你会注意到这个值V0实际上大于这个值｡
你会注意到, 对于代理来说, 这样走比这样走更好｡
这是有道理的, 对吧？
因为这样它就不会输｡
没有机会得到坑｡
是的, 有点长｡
因此, 贴现因子的影响更大｡
但与此同时, 仅仅因为这里有一个进入坑的机会, 如果它是直的,
它就有一个超过跳跃的机会｡
所以它会花时间, 而不是花时间, 它只会到处走, 因为这样的话, 得到它的机会就小得多了｡
现在还有｡
所以从这里到那里｡
从这里到那里｡
它有可能会掉进坑里, 因为它可能会在那里结束, 然后可能会在坑里结束, 但尽管如此,
这是一个较小的机会｡
所以它会像这样转来转去｡
所以很有意思的是看它们是如何变化的｡
记住以前从这里你会这样去｡
从这里开始, 你要像这样, 从这里开始, 你要像这样｡
现在突然之间你可以看到它的变化｡
我们来画箭头看看现在的样子｡
瞧, 你甚至看到了一个更随机的东西, 对吧？
所以, 是的, 这是真的｡
但看看这里发生了什么｡
看看这个｡
你希望这样吗？
这绝对是我第一次看到这个的时候, 我印象深刻｡
我一点也不惊讶｡
我不是我很惊讶｡
我完全没想到会这样｡
这是我能智胜人类的一个例子｡
这不是你无法预测的事｡
但A. 一､
, 通过强化学习, 记住那些狗的例子, 它们有时实际上比正常真实的生活中的狗或预先编程的机器狗工作得更好,
或者可以踢足球, 仅仅是因为它们想出了这些连我们都看不到的想法｡
这是一个很好的例子｡
好吧, 我知道了
所以你可能也没想到, 经纪人, 而不是去了, 就像,
为什么我喜欢如果我去了, 那么有10%的机会, 我会跳进坑｡
但是, 通过进入墙壁, 它实现了什么？
80%的情况下它会反弹并保持在这个状态, 但10%的情况下它会在这里, 10%的情况下它会在这里.
所以突然之间你可以看到现在它实际上是在这种新的方法跳到墙上｡
有0%的几率会从这个位置进入火坑｡
所以, 它好像真的不想进入火坑｡
所以它吸引了债券反弹到墙上几次, 然后它就会｡
在某个点向左或向右, 因为随机性会发生｡
所以它通过实验学到了这一点｡
它了解到, 当我往前走的时候, 结果还不如我往墙上走的时候｡
如果你想一想, 它就像这个机器人, 如果你想一想,
它就像一个火坑, 它是一个非常这个是这个就像一个这个正方形就像一个非常小的突出部分｡
然后这就像一座山, 像一座悬崖｡
而这个机器人只是紧紧地抱着悬崖, 就像在等待, 直到它, 像, 把它推向右边或左边, 因为,
嗯, 作为一个人类, 你可能也会这样做｡
你就不会站在那边了｡
这样你就能抱着悬崖了, 对吧｡
或者类似的东西｡
希望你永远不需要结束你永远不会结束在这样的情况下｡
但是就像视觉上, 视觉上, 如果你仔细想想, 这里也是一样的｡
所以这是相当激烈的, 对不对？
所以我想出了这个主意和这里一样, 我不想往左走, 冒着打架的危险, 我只是想从墙上弹开,
就像拥抱墙一样, 在某个时候跳进墙里.
我只知道有10%的可能性｡
每次我这样做, 我会去这里, 有时它会发生, 我会结束在这里, 我会很安全,
然后我会继续这样做｡
非常非常有趣的方法, 我在这里采用了, 正如你所看到的, 根是这样的｡
所以从这里它可能向右然后向右到出口,
或者在这里它会像这样向左, 然后在这里它会在某个点它会向左, 然后再像这样｡
了解这一点很重要｡
这不是规定
所以即使它从这里跳出来, 它也可能会跳到这里｡
然后从这里它可能实际上, 而不是直行, 它可能实际上回到右边, 然后从这里可能去左边,
它去｡
好吧, 我会的
所以有很多不同的选择｡
所以它可能不会完全遵循这个｡
我可能会走另一条路｡
这只是它为自己设计的理想路线｡
但解决问题的方式实际上可能会有所不同｡
这取决于真实的世界｡
好了, 我们走吧｡
这就是人工智能的世界｡
这就是政策和计划的区别
希望你慢慢地对人工智能的能力感到兴奋, 特别是考虑到我们在这里看到的｡
这些都是人工智能正在做出的一些非常大师级的决定｡
正如你所看到的, 当你应用人工智能的时候,
即使从这个小例子中, 你也可以看到当你在现实世界中玩人工智能的时候, 也许你会想出一些甚至有时候人类都无法想出的想法和决定｡
这和谷歌AlphaGo对阵韩国围棋冠军李世石时的情形一模一样, 当时的世界围棋冠军是李世石｡
他们在韩国比赛, 回到2016年, 我想是2016年3月｡
它想出了一些人类3000年来从未玩过或者人类不习惯玩的招式｡
这就是一个例子｡
所以我再次希望你们对这门课和我们将要创造的东西感到兴奋和兴奋｡
我期待着下次见到你｡
在那之前, 好好享受吧｡
一､