大家好, 欢迎回到人工智能课程｡
今天我们要讲的是贝尔蒙特方程｡
这是一个相当复杂的话题, 我们将在这节课中, 一步一步地介绍它｡
所以我们不会马上直接跳到最复杂的贝尔蒙特方程｡
但是, 我们将慢慢地介绍它, 以便逐渐了解它是如何工作的｡
我希望你能接受这个方法｡
如果你是如果你是, 让我们直接进入它｡
因此, 我们将有几个关键的概念, 我们将与操作｡
这些概念是SSE代表State｡
所以我们的代理所处的状态, 或者任何其他可能的状态, 代表了代理可以采取的行动.
因此, 代理可以访问特定的操作列表｡
当把行动放在一个状态组合中看时, 行动是非常重要的｡
因此, 当你处于某种状态, 然后你看行动, 然后它开始有意义｡
这些行动的结果会是什么？
因为如果你只看一个动作本身而不看状态, 那就没有意义了, 因为你不知道你在哪里,
你可能会在哪里结束｡
然后我们有我们有我们的, 代表奖励, 这是一个特工进入某个状态所得到的奖励｡
Gamma是折扣系数｡
我们一会儿再讨论折扣系数｡
现在都说得通了, 但是记下来, 记下来我们会有这个字母, Gamma,
我们稍后会用它来操作｡
因此, 行李员等式背后的人是理查德·欧内斯特·贝尔曼｡
他是一位应用数学家, 提出了动态规划的概念, 我们现在称之为强化学习,
或者称之为贝尔蒙特方程｡
现在在井里, 这就是我们所说的现在｡
在1953年, 他提出了这个概念, 也就是在那时, 贝尔蒙特方程来到了我的脑海｡
让我们来看看这一切是如何运作的｡
左下角是我们可爱的经纪人, 他在迷宫｡
这是一个经典的迷宫, 你可以看到一些方块, 白色的方块是代理人可以进入的方块.
灰色区块是无法访问的区块｡
这就像是迷宫的一堵墙｡
绿色是特工应该瞄准的地方｡
我们要探员去那里｡
结束了｡
红色是火坑｡
所以如果引擎福尔斯到火坑里, 他就输了这场比赛｡
所以在火坑里, R的奖励是-1
所以这是我们告诉探员我们不想让你这么做的方式｡
就像, 还记得一个例子, 当我们训练狗, 我们想告诉他们像坏狗, 如果如果它没有做正确的事情,
我们想做的｡
这里也一样｡
我们想告诉代理, 这不是你应该做的事情｡
你不该被关在广场上｡
所以每次它不在正方形中你就会得到一个负一的奖励｡
所以它将受到一个负一奖励的惩罚｡
另一方面, 如果它最终在绿色广场, 它将得到一个加一的奖励,
这意味着这是我们希望它做的｡
这就是代理人可能得到的两种回报｡
它又是如何学会在这个迷宫中操作的呢？
就像机器狗学会走路的例子一样, 我们只是让它知道｡
我们只告诉它你可以做以下动作｡
你可以往上走, 向右, 向左或向下｡
这是您可以采取的四种可能的行动｡
就是这样｡
你可以试试看, 看看你能想出什么来｡
所以代理人可能会去右边, 然后他们可能会去更右边, 他们可能会回到左边｡
他们只是随机地按下这些按钮, 他们试图看看会发生什么｡
然后他们回到这里, 他们向上, 向上, 向下, 向上, 向右｡
所以现在, 他们还没有学到任何东西｡
他们只是到目前为止什么也没有发生｡
他们向右走, 然后砰的一声, 他们在绿色广场结束｡
所以他们意识到, 哇, 我刚刚得到了一个额外的奖励｡
所以他们一踏入绿色广场, 就得到了加一的奖励｡
这就触发了算法, 好吧, 这真的很酷｡
我因为在广场上结束而得到奖励, 所以我想在广场上结束｡
这对代理人意味着什么？
这意味着它开始问这个问题, 我是怎么到这个广场的？
我之前处于什么状态？我采取了什么行动进入广场？
然后它回头看了一下, 它说, 好的, 前一个状态是这个｡
结果证明, 在那个状态下, 它是有价值的, 就是那个引发红色箭头的状态｡
因为在那种状态下, 你我我只差一步就能得到我梦寐以求的最大奖励了,
再加上一个像狗饼干一样的奖励, 只要我知道我是否在那种状态下, 那个用红色箭头标记的方块｡
我只需要按右边就行了｡
那我该怎么告诉自己？
我怎么记得那个状态是有价值的呢？
那么对我来说, 没有区别, 实际上, 作为一个代理人,
我在绿色广场还是白色广场没有区别｡
就在绿色广场, 我得到了一个奖励｡
所以我要给自己做个记号, 白色方块是我的, 它的值是1,
因为它正好指向奖励1.
是这样｡
只要我一进入白色广场, 我就知道我会再采取一个行动｡
我会在绿色广场, 我会得到一个奖励｡
这就是为什么我会说这个平方的值等于1, 因为它直接导致没有任何形式的减法｡
只要我一进来, 我就知道我的奖励会是一个｡
所以我把这个正方形标记为等于1｡
这就是价值｡
这就是这种状态的感知价值｡
接下来, 代理人会说, 好吧, 我是怎么进入这个方块的？
他可能会再走一圈, 然后再回到广场上｡
我会想, 好吧, 在那之前我是怎么进入这个广场的？
而我进入这个广场的方式就是从这个广场｡
有意思｡
所以当我进入这个方块时, 我知道我要做的就是向右走｡
从这里开始, 我已经知道我会赢｡
我很清楚从这里开始一切会怎样｡
而且我知道处于这种状态的价值等于1｡
既然没有什么能阻止我从这里走到这里, 这里的价值就是感知价值｡
我也会把这里的值设为V等于1, 因为只要我在这里, 我就知道我会在这里,
而且我会很快在这里.
所以我会赢｡
在那之前我怎么才能进入这个广场？
我是从这个广场进入这个广场的
所以价值是相似的做法｡
在此的价值也等于1, 以此类推｡
所以在这里的价值等于一, 在这里的价值也等于一, 因为每一个都通向下一个,
通向终点线｡
所以在这个阶段, 这一切都是非常合乎逻辑的｡
这就是我们现在正在设计的贝尔蒙特方程｡
所以我们可以设计一个方程来帮助一个特工穿过迷宫｡
所以看看奖励｡
然后前一个状态给予它一个等于奖励前一个状态的值, 依此类推｡
所以这就形成了一条通路｡
这一切都很好, 但问题是, 如果我们的代理人出于某种原因,
从这个状态开始, 而不是从这里开始, 采取这些行动, 但它实际上是从这个状态开始的, 会发生什么？
它怎么知道的？
它如何记住要采取的操作？
应该向右还是向下？
还是应该往左？
还是应该涨？
如果它唯一的值就是等于1的值, 它怎么记得哪个是从这里开始的下一个延拓呢？
所以你看不到更远的地方｡
它只能看到, 好吧, 我这里有什么, 我这里有什么, 它怎么知道该走哪条路？
在这个阶段, 还没有｡
这是这是相当相同的代理人走哪条路｡
所以这就是为什么这种方法不起作用｡
这是一个非常非常简单的解释｡
当然, 还有更多, 但在一个直观的方式｡
这就是为什么我们要赋值, 就像这样, 把这个值往后推｡
因为其中一个原因是一旦代理处于这两个值之间, 它会去哪里？
它不会像那样被搞糊涂的｡
那么我们如何解决这个问题呢？
我们在这里干什么？
这就是我们要开始介绍贝尔蒙特方程的真正形式, 慢慢地, 一步一步地｡
所以贝尔蒙特方程看起来像这样｡
我们已经讨论过, V, 处于某种状态的价值, 就像你现在的状态或任何给定的状态一样｡
而且还有年代｡
因为质数是一个状态, 下一个状态, 在这个状态之后, 你将最终进入的状态,
并采取行动治疗癌症｡
但我们知道, 一个特工可以采取很多行动, 这就是为什么我们在这里设置了这个最大值｡
那么, 通过采取行动, 代理人会发生什么？
假设我们在状态s中采取行动, 我们就在状态s中采取行动｡
答：我们会立即进入一个新的状态, 从而获得奖励｡
记住, 如果是在游戏结束时, 奖励可以是1, 也可以是+1或-1, 如果是在整个游戏过程中,
奖励也可以是零.
在这种情况下, 我们整个游戏的奖励是零｡
这就是奖励｡
另外, 我们将进入一个新的状态, 它的值为素数｡
这就是新国家的价值｡
还有伽玛, 我们一会儿再谈伽玛｡
但我想说的是, 我们有很多不同的行动, 这就是为什么我们有最大值.
因此, 通过采取行动, 我们得到奖励, 加上我们最终在一个新的状态｡
因此, 对于每个, 我们有四种可能的操作｡
对于四种可能的行为中的每一种, 我们都有一个这样的方程.
所以这个值是4, 对于这四个动作中的每一个, 它们都有不同的值.
我们只看最大值, 因为代理当然想取最优状态.
所以如果他在状态s, 他会看这些值｡
他会根据动作寻找最大值｡
我将采取使这些值达到最大值的行动｡
希望这能解释为什么我们在这里取最大值｡
那么一旦我们得到了回报和状态的值, 为什么这里还有这个gamma参数呢？
它就是用来解决代理不知道该往哪走的问题, 因为它不能比较两边的两个状态值,
它们是一样的｡
这就是为什么伽玛被称为贴现因子｡
我们将在中看到它｡
只是为了更好地理解它｡
让我们来看看公式｡
我们把它放在上面｡
好吧, 我知道了
现在我们来分析这些不同状态的值是什么｡
这里的每个州都是一个正方形｡
所以这些白色方块中的一个是一个状态｡
我们要计算处于这种状态的价值｡
让我们从这个正方形开始｡
处于这种状态的价值是什么？
我们需要在所有操作中取这个值的最大值｡
我们知道这个值代表的是当我们接近终点线时最大化｡
这就是它的构造｡
通过观察你可以看到因为这里得到了奖励这里得到了一个贴现因子乘以下一个状态的价值｡
这就是我们如何构造这个方程的原因｡
所以如果我们向右移动, 这个值的最大值就是｡
这就是我们计算状态值的方法｡
此值等于此状态的最大值或等于此值｡
如果我们向右移动, 如果我们采取向右移动的行动｡
那么这个值是多少呢？
好吧, 向右移动的奖励等于1｡
不管gamma是多少, 我们在这个状态下没有一个值, 因为我们已经处于可能的最佳状态｡
这是最后的状态｡
它不会有值｡
我们只是在这里得到一个奖励, 这是游戏的结束｡
所以这个最大值的值将等于1｡
这就是为什么这里的状态值等于1｡
现在, 当我们向左移动时, 事情变得有趣了, 当我们向后移动一点时｡
现在让我们来计算一下, 处于这种状态的价值｡
为此我们需要伽马｡
假设我们的贴现因子为0｡ 一旦我们计算出这个值, 贴现因子就有意义了｡
所以从这里, 仅仅基于我们的直觉和基础, 因为我们知道这个迷宫是如何运作的, 这个迷宫是如何运作的,
我们知道最好的可能行动是向右走, 因为从这里我们走到这里｡
这就意味着在这种状态下, 当你向右移动时, 就会达到最大值｡
让我们看看如果我们把它插在这里会发生什么｡
所以如果你从这里走到这里, 你得不到任何奖励仍然会是零｡
但你会得到伽玛值｡
所以你得到0｡ 9乘以新状态的值, 即1｡
所以在这个例子中, 这个值, 整个结果是1乘以0, 0｡ 9乘1等于0｡ 9.
这就是我们的值, 0｡ 9.
所以如果我们现在计算这个, 你会从这里看到｡
我们只要看看迷宫就知道了, 因为我们是人类, 因为我们了解这个方程是如何工作的｡
当然, 一个人工智能, 代理人必须用这些东西来实验, 但因为我们有像水晶球一样的东西,
我们可以看到这整个迷宫｡
我们现在有鸟瞰图｡
我们知道, 最好的行动是向右走｡
所以如果我们把所有的都加进去, 就是零, 没有奖励, 加0｡ 9倍于此状态下的值0｡ 9等于0｡
81等等｡
所以这里它将是0｡ 73, 这里是0｡ 66.
所以你可以看到贴现因子的作用方式是随着你离得更远, 它会对州的价值进行贴现｡
如果你熟悉金融理论, 那么它类似于货币的时间价值｡
你会怎么想？
你希望今天有5美元, 还是10天后有5美元？
如果有人给予你一个选择, 我今天给你5美元, 或者我给你5美元｡ 十天后｡
你今天当然会选5美元｡
为什么会这样呢？
因为你可以把这5美元以一定的利率进行投资, 这和Gamma非常相似
而你的5美元在十天内实际上会增长到5美元｡ 73岁左右｡
这就是金钱的时间价值是如何运作的｡
和这里非常相似的概念｡
重要的是要理解, 这只是一个理论, 强化学习的一种工作方式.
所以理查德·贝尔曼提出了这个方程, 从那时起, 我们就这样使用它｡
所以你可以继续去想一个不同的方程｡
它不一定要有赌博｡
它可能有一些其他的因素, 甚至可能没有一个因素｡
但这种方法是有效的, 这就是我们使用它的原因｡
这就是它的视觉效果｡
所以你离得越远, 这种状态的价值就越小｡
就金钱的时间价值而言, 如果我能告诉你, 你更愿意在哪里？
你宁愿待在这里吗？
你会说我宁愿呆在这里｡
所以我们创造了与货币时间价值相同的现象｡
我们通过伽马人为地创造它, 以便激励特工或激励特工更接近终点线｡
所以如果一个代理人被问到, 你愿意在这里还是在这里, 因为这个等式的工作方式,
它会选择在这里｡
没有比这更重要的了, 没有比这更重要的了｡
这世界不是这样的｡
不, 这只是我们人为制造的东西, 为了让我们的特工明白这是｡
这是好事｡
他们都很好
但是这个比这个好｡
而且这个比这个好｡
这个更好｡
还有这个｡
这样你就可以看到老代理人可以看到需要往哪个方向走｡
所以如果我站在这里, 它就能看到, 还记得我们遇到的问题吗, 或者他站在这里？
所以如果你站在这里, 我是要下去呢还是我站在这里要上去还是下去？
好了, 现在它不再是一个问题了, 因为你可以看到它实际上是更好的上升,
因为这里的价值更大｡
然后从这里开始比较好, 因为这里的值比这里的大｡
然后从这里出发比较好, 对吧？
因为这里的值比这里的大｡
比这里｡
从这里, 他已经知道他需要去, 对吧｡
因为他会得到一个奖励｡
这就是整个方法的工作原理｡
现在, 让我们快速浏览一下广场的其他部分｡
那么我们如何计算这个平方的值呢？
好吧, 这就是事情变得有点棘手的地方｡
所以从这里, 你可能不会向左走, 对吧？
你可能会走右边｡
所以我们不能一直这样走, 因为这样走可能会更短｡
所以我们要做的是先计算这个正方形的值｡
而且因为显然从这里出发, 最好的办法就是再往上走｡
这是因为我们看到我们有水晶球, 我们可以看到的东西,
你会看到进一步在这一部分, 你会看到代理人实际上如何探索这一点, 了解这一点, 对他们喜欢通过实验｡
但对我们来说, 我们知道最好还是这样走｡
所以我们要计算这里的值, 这就是为什么我们要先计算这个正方形的值｡
所以这里我们有三种可能的行动｡
实际上, 我们有四个｡
我们也可以走左边｡
假设探员可以向左按撞到墙上, 然后留在这里｡
但是为了简单起见, 这将显示我们知道我们所知道的行为, 并且有水晶球,
我们知道哪些行为实际上导致了不同于相同状态的东西｡
所以在这里, 从这里, 我们再次知道, 只是因为我们有一个水晶球,
我们知道最好的方式去是这条路｡
当然, 代理人必须进行试验, 找到最好的方法｡
您将在本节后面看到这是如何发生的｡
你会看到一个代理是如何走动的, 以及你是如何尝试找到这些值的｡
但对我们来说, 我们知道是这样的｡
这里, 如果我们把所有的都插进去, 那么最大, 最好的输出是当你向上的时候, 这里是a10｡
90.
把它代入, 得到0｡ 9.
所以我们计算一下｡
让我们计算一下同样的方法｡
这是你有三种方法你可以去实际上四个代理, 但对我们来说, 我们可以看到它只有三个｡
所以0｡ 81从这里你有0｡ 73.
它实际上与这个值很好地联系在一起, 因为如果你再贴现, 你会得到0｡ 66, 这里是0｡
73因为这是最佳路线｡
所以你去那里｡
这就是价值观, 所有这些状态｡
现在你可以看到, 因为我们创造了这个等式,
我们综合地创造了这个概念, 你越接近终点线, 这个状态就越有价值｡
并不是因为我们现在已经创造了它, 对代理来说, 它应该走哪条路是很明显的｡
我们将在接下来的教程中详细讨论这一点｡
我希望大家喜欢今天的课程, 我知道在这个阶段听起来可能有点基础, 但在我们学习本节的过程中,
我们会增加一些复杂性｡
同时, 如果你等不及, 如果你想跳进去, 那么有一篇论文你可以看,
它是理查德·贝尔曼的原始论文｡
这本书叫《动态规划理论》, 出版于1954年, 你可以在这里找到它.
所以你可以直接跳进去读贝尔曼方程的作者｡
但请记住, 这是一个相当数学沉重的文件｡
说到这, 我期待着下次见到你｡
在那之前, 好好享受吧｡
一､