大家好, 欢迎回到人工智能课程｡
在今天的教程中, 我们将介绍一个相当复杂的教程, 称为资格跟踪或步骤Q学习｡
这是我们要在实际中实现的东西｡
所以我们才要掩盖｡
同时这也是一个相当复杂的话题｡
所以我有一个非常有趣的方法来让我们跟上它背后的直觉｡
所以我喜欢一种与我们习惯的不同的方法｡
让我们来看看它是如何运作的｡
我先给予你们举个例子｡
在本教程中, 我将给予你们一个例子, 它将展示资格选择的力量,
并给我们事物背后的直觉｡
然后, 如果你想深入研究资格特征, 我给予你一个最好的地方, 你可以读到它｡
我给予你一本书的参考资料, 但除此之外｡
所以这次会有所不同是因为我们先来｡
与其深入研究直觉, 我们不如看一个例子, 在我们讨论之后,
直觉会变得显而易见｡
这就是我对这门课的期望｡
让我们来看看｡
让我们看看, 让我们看看我们是否能做到这一点｡
这里我们有两个代理, 它们在同一个环境中导航, 我们将了解这两个代理的工作原理｡
第一个将与我们的资格托盘一起工作｡
第二个将与资格跟踪一起工作, 希望我们能看到为什么第二个比第一个强大得多｡
让我们来看看｡
我们先来看看这个代理｡
他的操作方式和我们之前讨论的深度学习完全一样｡
所以代理要采取一个步骤或者要移动, 采取一个行动, 移动到一个新的状态｡
它会得到一定的奖励｡
它会把这个奖励通过它的算法, 更新运行这个代理的神经网络,
或者在这个代理的头脑中运行的神经网络｡
这基本上就是它如何从环境中学习, 从而迈出新的一步｡
从这个新的状态开始, 它会根据神经网络的指示采取新的行动, 会得到奖励,
会更新等等, 并且会继续这样做｡
显然这个代理会做得很好,
正如我们在前面的实践评分教程中看到的, 我们会得到一些很好的结果, 但现在我们要添加一个新特性.
现在, 这个代理二号, 这个家伙在这里, 他将导航相同的环境, 但他将使用资格跟踪,
这是它的意思｡
他要做的是, 他要采取任何步骤, 他要采取在这个案件中, 文件四个步骤｡
他要走四步｡
然后只有在采取这些步骤之后, 他才能计算出他从这些步骤中得到的总回报｡
他会把它通过他的网络｡
他会把它通过控制决策过程的神经网络, 然后神经网络会从中学习｡
那么马上选哪一个呢？
你觉得哪一个更有力量？
一个一步一个脚印的家伙, 有点像在瞎子或黑暗中戳｡
他说, 好吧, 我就往前走一步, 看看会发生什么｡
我先走一步, 看看会发生什么｡
站在最上面的那个人或者说是非常勇敢地连续走了四步, 然后他决定这些步是否都是好的,
为什么你能看到这里,
或者为什么你能感觉到第二个人为什么更好, 或者更有力量, 因为第二个人知道最后是什么｡
第一个人, 当他评估这一步是否正确时, 他只看他得到的奖励.
所以他只会被环境给他的奖励所引导｡
这里也一样｡
他只是被环境给他的奖励所引导｡
所以每次这是他唯一的指南针, 他有奖励, 奖励, 奖励｡
而在这里, 他实际上可以在采取所有这些步骤后进行评估, 他可以评估｡
哦, 好吧｡
所以我确实到达了终点线｡
所以这些步骤的组合都很好, 所有的都很好, 或者哦不, 我最后进了火坑, 或者哦不,
我, 我没有赢, 我的车没有到达终点线, 或者我越过了沙墙, 或者我输掉了末日游戏,
或者类似的事情｡
然后他自己决定这整个步骤的组合是不好的, 因此对于前面的这些步骤,
他有更多的信息, 他有更多的见解, 就像在一个非常直观的方法｡
这又是一个比我们在这里描述的要复杂得多的话题, 但是是以一种直观的方式｡
例如, 如果我们采取这一步骤, 这一步骤只对您的信息进行更新｡
你只有从这个奖励中得到的信息｡
在这个例子中, 对于这一步, 第二步, 它有更多的信息｡
它的信息来自所有的方式｡
好吧, 那么四步或五步或其他什么之后的结果是什么？
是的, 我知道
这就是它的工作原理, 它之所以被称为资格跟踪,
是因为在此过程中, 他不仅要查看累积的奖励､ 正在发生的事情以及累积的损失, 然后所有这些都在那里传播｡
但实际上有资格的痕迹｡
这就是为什么它被称为资格跟踪｡
在算法中有一条轨迹, 如果我们得到了一个惩罚, 我们得到了一个负奖励,
那么哪一步最有可能得到那个惩罚呢？
所以我们不仅知道整个模式或者这些步骤的组合是什么, 而且我们还保留了资格的痕迹｡
如果我们获得奖励, 我们将更新哪些步骤？
例如, 如果它是一个负面的奖励,
我们可能会有一个资格跟踪, 告诉我们这是一个最重要的步骤, 我们最终得到了什么, 或者如果它是一个正面的奖励｡
同样, 我们可能知道算法可以帮助我们跟踪｡
这个资格跟踪算法帮助我们跟踪什么是什么步骤或什么行动需要是合格的, 合格的, 更新的基础上,
我们得到的奖励｡
这就是为什么它被称为资格跟踪｡
这就是资格跟踪背后的基本直觉｡
希望这两个例子能让我们很明显或很直观地了解为什么合格性特质如此强大｡
如果你想更深入地研究资格追踪或分步学习, 那么你可以找到一本很棒的书,
叫做强化学习和介绍, 作者是理查德·萨顿和安德鲁·巴托,
出版于1998年.
我想他们正在制作第二版,
或者他们已经制作了一个认可, 但这是最常见, 最受欢迎, 或者被引用最多的关于强化学习的书.
它被引用的次数太多了, 我想, 如果我没记错的话, 可能有几万次｡
你需要的章节是第七章｡
为了了解资格跟踪, 我们用了整整一章来介绍它｡
第七章, 你们可以读到它, 它详细介绍了向前, 向后的资格跟踪,
以及如何在时间上, 一方面和另一方面, 得到差异｡
你有蒙特卡罗方法｡
在这两者之间有资格跟踪｡
因此, 资格跟踪是从时间差异到蒙特卡罗方法的链接｡
很有意思｡
看了很多照片, 我真的真的很感激｡
非常直观的解释｡
所以你可以从这本书中学到很多关于人工智能和强化学习的东西｡
但具体来说, 资格跟踪就像一个非常好的地方去这本书是资格跟踪吗？
今天的第二个参考资料是Adlon将在实践材料中向你们展示的, 深度学习,
或者Google Deep Mind研究论文, 关于深度强化学习的异步方法｡
是的, 那是报纸｡
这是a3c论文中的一个, 我们在这门课后面会进一步讨论｡
我们离它越来越近了
正如你所看到的, 我们对此非常兴奋｡
因此, 在本文中, 我们将稍微介绍一下他们是如何实现资格跟踪的｡
所以我们会把它更多地用在实际的事情上｡
希望您喜欢今天的教程, 现在您对资格跟踪有了更好的了解, 我迫不及待地想下次再见到您｡
在那之前, 好好享受吧｡
一､