大家好, 欢迎回到人工智能课程｡
今天我们要讲的是a3c的第一部分, 演员评论部分｡
这里我们有一个同步的优势参与者评论算法我们将要讨论的是下划线的参与者｡
那就是我们要开始的地方
你可以从任何地方开始, 但从表演到评论会更有意义, 因为这样我们就可以对正在发生的事情有一个非常连续的解释或直观的理解｡
但如果我们从这个缩写的结尾开始｡
好了, 到目前为止, 我们已经学到了深度卷积学习, 这张幻灯片就演示了这一点｡
所以我们让电脑看到了像素｡
所以实际的图像和像素, 而不仅仅是矢量｡
所以这不是作弊｡
它实际上看到的和人类看到的一模一样｡
它看到了怪物, 看到了健康, 看到了底部的参数, 看到了走廊, 看到了枪｡
它看到的东西和人类玩这个游戏时看到的完全一样｡
然后图像通过一个卷积层, 然后通过一个池化层, 它被展平,
进入一个神经网络｡
然后在输出端, 我们有动作, 如你所记得的, 我们有那些提示值｡
然后, 我们对它们应用操作选择策略｡
例如, 我们应用一个软最大值, 找出我们想要采取的行动｡
因此, 那里正在进行一些勘探和开发, 两者的结合｡
这就是深度卷积学习的工作原理｡
但现在让我们来看看我们要怎么做｡
为了简单起见, 为了让我们更容易操作,
因为我们要调整这个图像, 移动它, 我们要用正方形代替圆圈,
用这些矩形框代替｡
我们还要去掉中间的那些线｡
只要把它们换成箭头就行了｡
所以这并不能改变本质｡
这只是图表上的表示｡
这仍然是甚至这个表象仍然是深刻的､ 卷积的｡
Q学习只会让我们更容易修改它, 并确切地展示三键是什么｡
这就是我们从这里表示事物的方法, 三键对这个特定部分的作用｡
所以我们要开始记住, 我们要一步一步开始｡
我们从积极的批评者开始｡
所以我们将看到如何从深度卷积学习, 一步一步地进行到三个关键步骤｡
我们将在这里介绍这个积极的批评者部分｡
所以我们要谈谈这个｡
首先发生的是最后一位, 输出实际上是我们要像这样重新绘制它｡
因此, 它是完全相同的输出, 完全相同的提示值或完全相同的动作｡
所以如果你有八种可能的行动, 你仍然有八种可能的行动｡
我们只是把它们放在最上面, 这样它们占用的空间就少了｡
目前为止什么都没有, 什么都没有改变｡
到目前为止, 这和这是完全一样的｡
但现在, 这就是积极的批评者的作用所在｡
我们将有第二个输出｡
所以第一个是一组输出｡
这里我们将有一个单独的输出｡
所以从技术上讲, 我们要用神经网络吗？
现在, 图像和所有的东西, 比如值, 从左到右通过网络｡
他们不只是吐出一套价值观｡
他们实际上分成了两组｡
我们已经知道最上面的那一组是什么了｡
而是可能采取的行动｡
但在这里我们实际上会有另一个额外的值｡
让我们来看看｡
那值多少钱？
我们开始吧｡
那是最上面的｡
所以我们只是缩小了这张图的尺寸｡
顶部输出是Q值, 正如我们之前讨论的操作｡
所以它们是一回事
一切都一样｡
但现在这个底部｡
哦, 最上面的部分实际上被称为演员｡
我们要给予它起个名字｡
这是演员因为这是代理人选择它想做的事情的部分, 这样就像是在演戏｡
这就像是在舞台上表演, 一旦我们把第二个名字也放在屏幕上, 它就会变得更有意义｡
然后第二个输出就像一个值, 就是SE的V, 这就是状态的值｡
所以如果S的Q是S的Q, A是某个作用的Q值｡
正如你所看到的, 这就是为什么有一个动作, 两个动作, 三个动作, 一直到六个动作,
或者在那个状态下有多少个动作.
所以在给定的状态下｡
SE采取行动的Q值是多少？
A动作到动作一, 动作二, 依此类推｡
然后我们也在预测我们也在用神经网络来预测我们实际所处的状态的值｡
而这一部分被称为批评家｡
这就是直觉, 或者说不是完全的直觉｡
这就像演员评论家背后的直觉的开始, 现在有两个来自神经网络的输出, 而不是一个,
但在我们只有一个输出之前, 我们现在称之为演员｡
但现在我们有两个输出, 演员和评论家｡
而且会有一个｡
它们之间的动态关系, 我们将进一步探讨｡
但现在, 重要的是要理解我们不仅预测了主体在特定状态下所能采取的行动的Q值｡
但它也预测了处于当前状态的价值, 使用的是同一个神经网络｡
这是真正的批评家的第一步｡
现在我们需要讨论同步, 我们会在下一节课中讨论, 以便理解,
作用量理论之间到底发生了什么｡
今天的最后一件事是, 所有这些关键价值观, 正如我们所知, 也被称为政策｡
所以在一些文献, 博客和一些讨论中你可能会发现, 在积极的评论家中,
你可能会发现作者在谈论演员这一边的Q值｡
在其他一些文献和博客的帖子和讨论中, 你会发现作者在谈论这项政策｡
所以通常使用用户来表示策略, 就像希腊字母P, 或者你可以直接说policy of state.
总之, 这些就是政府的政策,
因为我们记得, 政策是如果你把所有的行动放在一起, 可能的行动, 然后决定采取哪一个行动.
这些就是采取每一个行动的概率.
这就是政策｡
所以, 如果你看到其中一个或另一个, 不要被抛弃, 他们基本上意味着同样的事情｡
一方面, 这里有策略或Q值, 另一方面,
你有状态的实际值, 它们是通过神经网络预测的｡
这就是积极批评家的开始｡
我们将在下一个教程中讨论同步时继续讨论这一点, 我期待着在那里见到您｡
在那之前享受我｡