大家好, 欢迎回到人工智能课程｡
今天我们要谈的是活刑｡
好吧, 我会的
这里我们得到了贝尔曼方程｡
在我们学习这门课的过程中, 我们慢慢地让它变得越来越复杂｡
到目前为止, 我们已经把这些概率加在这里了｡
我们还增加了折扣因素｡
现在我们要更详细地看一下等式的这一边, 我们有奖励｡
还记得之前我们讨论过强化学习的工作原理吗, 我们说过, 我们有一个代理人,
它在环境中执行动作, 作为交换或结果, 它得到了一个新的状态, 它现在所处的状态,
以及对这个动作的奖励
在我们的例子中, 我们只在最后得到奖励, 如果我们到达终点线,
或者, 如果我们, 因为代理人最后在火坑里, 他得到的奖励是+1或-1
但这是一种非常简单的强化学习方法｡
在更现实的情况下, 你可能会在整个旅程中得到回报, 而不仅仅是在最后｡
你可能会在整个旅程中得到奖励｡
例如, 如果是一个人工智能在玩一个游戏, 如果,
例如, 它就像在末日中射击某人, 它可能会因为杀死那个敌人而得到积分, 或者它可能在另一个不同的游戏中, 如果它超过了另一辆车或类似的东西｡
仅仅是因为游戏规则, 而不是因为它分析游戏的方式｡
但实际上这个游戏的结构是这样的, 即使在游戏结束之前, 它也在加强它对某些动作的奖励｡
所以像这样的场景非常常见, 不仅在游戏中, 在现实生活中也是如此｡
这就是为什么我们要在我们的例子中引入类似的东西, 一个简化的版本,
但是在整个博弈中, 不只是在最后, 代理人会得到持续的奖励.
我们要做的就是看其他的瓷砖｡
所以现在我们只有最后一个牌的奖励加一而最后一个牌的奖励减一, 也就是火坑｡
但现在我们要在每一次增加一个很小的奖励, 它是-0. 04.
如你所见, 它是阴性的｡
所以特工每移动一次, 就会得到一个负奖励｡
这就是为什么它被称为“活罚”, 因为无论他走到哪里, 他总是会得到这个负奖励,
除了这些最后的瓷砖, 因为那是游戏的结束｡
所以你可以看到, 即使在这张牌上, 奖励也是-0｡ 04.
但这并不意味着他从奖励开始｡
他只得到这个奖励｡
记住这一点很重要｡
他只有在进入一个方块时才能得到这个奖励｡
所以每当他执行一个动作, 他就会到这里｡
那么他将得到这个奖励-0｡ 04.
如果他回到这张牌上, 他会得到另一个-0｡ 奖赏｡
所以他走动的时间越长, 他积累的负面奖励就越多｡
因此, 这对他来说是一种激励, 让他尽早结束比赛｡
现在, 让我们看看我们的策略或代理策略将如何根据我们为该奖励设置的值而变化｡
这里有四种环境, 在每一种环境中, 我们将探索不同的奖励｡
现在, 我们不进行计算, 我们只投影结果, 你们会直观地看到｡
他们说得通｡
这里我们得到了任何一步的奖励或者进入任何一个状态的奖励都等于零｡
就像我们之前看到的, 奖励是-0. 04.
我们刚才介绍的｡
现在这里, 奖励将是-0｡ 5, 否则生存惩罚为-0｡ 5.
这么高, 你看比这里, 大了十倍不止｡
这里的活罚是负二｡
所以甚至比你跳下去得到的奖励还要多, 甚至比你或特工最后进火坑得到的奖励还要少｡
让我们来看看通过这个环境的行动或最优策略会如何根据这个奖励而变化｡
所以这是我们原来的政策｡
你们应该还记得, 我们有两个非常有趣的, 甚至有点奇怪的代理人的决定, 但这完全是有道理的,
如果他可以活多久, 他喜欢｡
如果你可以在他想去的地方旅行, 而不会因为活得太久而受到惩罚, 他为什么不呢？
他为什么不直接从墙角钻进去, 钻到墙里然后一直这样做, 直到它发生？
碰巧他走这条路, 然后他会绕着走｡
这里也一样｡
对他来说,
跳墙希望其中一个最终会出现然后他会到达终点线要安全得多, 因为通过选择这两个动作, 他就不会冒着陷入火坑的风险.
现在让我们来看看如果我们加上一个奖励会发生什么, 一个仅仅是活着的负面奖励, 一个迈出一步的负面奖励｡
好吧, 我知道了
你动起来｡
所以在这里你可以看到这两个瞬间就改变了｡
现在, 特工不想跳进墙里｡
他更有可能冒险去火坑｡
有10%的机会跳进来｡
但他会继续前进, 因为每次他在这里跳墙, 如果他也要在这里跳墙的话｡
每次他跳到墙上, 他执行一个动作, 他最终进入这种状态有80%的机会｡
这意味着如果有80%的机会, 他将得到-0｡ 04的奖励, 这意味着很多时候他会得到这个,
积累这个负奖励｡
这里也一样｡
如果他跳到墙上等待他随机向右移动的那一刻, 如果他一直这样做,
他会累积这个负奖励,
如果你计算一下, 你会发现,
跳到墙上的期望值比冒险向前走, 最终掉进火坑的期望值要差.
所以他改变了在这两个街区的决定, 而是向前走, 这里向左走,
尽管有跳进火坑的风险, 因为他活得越久,
他在下一个环境中积累的活惩罚就越长｡
现在我们将生活惩罚增加到一个更大的数字, -0｡ 5, 让我们看看这里有什么变化｡
所以现在你可以看到, 与这个环境相比, 这里唯一的变化是这个箭头指向了右边｡
这意味着现在对经纪人来说这不再是一个好的选择｡
哦, 其实, 还有, 这个箭头是指向的, 本来是指向左边的, 现在是指向上面的｡
所以现在经纪人从这里绕过去, 绕过去就不再是个好主意了.
因为如果他一直绕着走, 是的, 他会更安全｡
有一个更小的机会, 没有机会得到火坑｡
但与此同时,
他进入火坑的机会也会减少, 但同时, 他在四处走动时也会积累相当可观的负面奖励｡
所以这条路太长了｡
所以这迫使他, 不管他是在这里还是在这里, 走更短的路来这里,
尽管他有更高的风险进入火坑, 因为一旦他结束了在广场上, 有10%的机会到达火坑,
根据他的计算｡
只是这种方法的期望值比绕圈的期望值要好, 因为我们增加了这种活的惩罚｡
最后, 我们来看看这个例子, 它的实际罚分是-2｡ 0.
所以在这里, 我鼓励你暂停视频,
现在你已经看到了政策是如何改变的, 因为我们增加了生活罚款, 我鼓励你暂停视频, 并为自己想想在这种情况下会发生什么？
你认为最优政策是什么, 生活惩罚是如此之高？
如果你们愿意, 我可以让你们暂停视频, 现在我将向你们展示解决方案｡
所以在这种情况下, 如果你把罚分增加到-2｡ 0, 太高了, 记住这里的罚分只有-1｡
0.
它是如此之高, 代理人只想以任何可能的方式退出游戏, 即使只是跳到火坑｡
他会做的｡
他会说, 每次我迈出一步, 每次我进入一个新的状态, 或者每次我做出一个动作,
我最终都会得到一个负二的奖励｡
如果从这里到终点要多走两步, 那我还想怎么走, 我就从这里走,
然后直接进火坑, 因为这样我的奖励就少了.
负奖励不会像只采取额外步骤的情况那样糟糕｡
因此, 您可以看到, 添加此生活奖励, 并根据我们添加的生活奖励的价值,
结果将是不同的, 代理人将选择不同的策略｡
这基本上就是贝尔曼方程所包含的奖励价值, 即使它不仅仅是在终点线或比赛结束时,
而是在整个比赛中｡
再说一次, 它不一定要在每一个状态的每一个上, 这取决于环境本身｡
它可以在特定的状态下给予行为人,
而不是在每一个状态下, 但在我们简单的例子中, 我们只是用每一个状态下的奖励来说明这个概念.
所以我希望你喜欢今天的教程｡
正如你所看到的, 我们已经使我们的行李员方程变得非常复杂, 现在它可以应用于许多不同的场景｡
我迫不及待地想在下一个教程中见到你｡
在那之前, 好好享受吧｡
一､