大家好, 欢迎回到人工智能课程｡
最后, 我们来看看有趣的东西｡
我们开始深入学习｡
好吧, 我会的
让我们来看看｡
之前, 我们谈到了关键学习及其意义｡
我们了解了年龄和环境, 以及代理人将如何看待这里或她所处的状态｡
采取行动, 获得奖励, 进入一个新的状态｡
基于这种反馈循环, 他们将继续采取行动, 并从中学习,
了解什么是更好的行动｡
所以我们看了这个迷宫的基本例子｡
我们知道, 当代理人探索环境时, 理解状态的价值是什么｡
然后, 我们从处理状态的值转移到处理动作的值或Q值｡
在此基础上, 我们了解了计划在非随机环境中是如何工作的, 以及政策在随机环境中是如何工作的｡
这是一个政策的例子｡
以上是我们在基础学习中讨论的内容的简要回顾｡
现在我们来看看如何通过深度学习, 通过添加深度学习, 将其提升到一个新的水平｡
这就是我们的环境, 我们现在要做的是加法, 而不是在这个矩阵中做基本的计算,
这很简单, 我们要做的是,
我们要对轴进行加法, 我们要对X轴和y轴进行加法, 或者我们称它们为x1和x2, 只是为了使事情更一般化｡
这里我们要给列编号｡
一, 二, 三, 四, 跟在这里, 我们来编号行｡
一, 二, 三, 一, 二, 三
所以现在每一个状态都可以用一对两个值来描述｡
所以代理人可能在的任何一个正方形都可以用x1x2来描述｡
比如说, 现在他在x1等于1, x2等于2的正方形里.
所以这是在求和中, 同样的, 我们可以摆脱任何平方, 也就是说, 我们可以描述任何状态｡
当然, 这是一个非常简化的描述状态的环境, 但不管怎样, 它在这种情况下是有效的｡
这意味着现在我们可以把这些状态输入到神经网络中｡
顺便说一句, 在这里我只想提一下, 在课程的最后, 我们有附件,
我们有附件一和附件二.
为了顺利地完成这一部分,
建议大家看一下附录一, 它是关于人工神经网络的, 这样你们就能了解它们是如何工作的, 这样我们就不必在这里深入研究了｡
我们可以利用人工神经网络的工作原理｡
所以我们把这个状态信息输入到神经网络, 然后它会处理这个信息｡
所以X, Y, x两个, 取决于神经网络的结构, 它可能有多个隐藏层等等｡
这是你在实践教程中会弄清楚的｡
但是在最后我们会以这样一种方式来构造, 它会吐出四个值, 这四个值实际上是我们的线索值｡
因此, 决定我们需要采取何种行动的价值观｡
在本教程的后面, 我们将详细了解如何使用这些Q值来决定采取哪种操作｡
但这里的重点是, 我们不再只是从学习的角度来看待这个迷宫｡
我们现在把迷宫的状态输入到一个深层神经网络中, 以获得这些线索值｡
在一天结束的时候, 我们仍然会想出一个行动｡
我们仍然要了解我们需要采取什么行动｡
我们会更详细地讨论这一切｡
但现在的问题是为什么？
我们为什么要这么做？
我们为什么要遵守？
为什么我们把事情弄得如此复杂, 而最初的学习方法已经奏效了？
原因是学习是在一个非常简单化的环境中进行的, 我们现在继续处理这个非常简单化的环境,
以便更好地理解这些概念｡
但与此同时, 这种简单的学习在更复杂的环境中将不再起作用｡
比如说,
当人工智能在玩厄运游戏时, 自动驾驶汽车会创造或玩厄运游戏, 或者其他雅达利游戏,
比如Breakout, 甚至是自动驾驶汽车, 还有更高级的强化学习, 比如机器人四处走动和执行动作｡
在所有那些情况下, 基础学习都是不足的, 都是不牢固的｡
它还不够强大, 无法应对这些挑战｡
就像我们在深度学习课程中看到的,
如果你参加过我们的部署课程, 或者你看过附录一和附录二,
你就会真正知道深度学习远远上级任何类型的机器学习, 更不用说简单学习了｡
这就是为什么我们在这里利用深度学习的力量｡
所以我们把环境的信息作为一个价值向量输入｡
所以在这种情况下, 才出手｡
值进入深层神经网络｡
然后我们用它来执行我们想要的动作, 以决定代理要采取哪些动作｡
以上就是我们为什么要这么做的一个高层次的概述｡
现在让我们更详细地看看当我们从简单学习转变为深度学习时, 关键学习的概念会发生什么变化｡
正如你们在前面的直觉教程中看到的, 我们有一张类似的幻灯片, 它是时间差学习的基础｡
这是时间差的公式, 基本上我们来看看.
所以基本上我们有一个处于这个状态的代理人, 用蓝色箭头表示, 我们正在理解时间差异是如何作用于这个线索值的,
比如, 上升｡
所以我们在这里看到的是在这之前的简单学习, 而不是深度学习｡
这在简单的学习中｡
我们所看到的是, 在代理人有一定的色调值之前, 他已经知道了这个上升的动作｡
所以他决定采取这个行动｡
在他做出这个动作之后, 他会因为在这种状态下做出这个动作而得到奖励, 这就是奖励.
另外, 现在他可以评估他所处的当前状态的价值, 这是所有新的线索价值, 所有线索价值,
新的行动的最大值｡
他可以把新状态下的质数取为质数, 然后我们把它乘以γ的衰变因子｡
所以这基本上就是线索, 新的线索价值, 或者类似于经验线索价值, 他刚刚收到的,
采取行动的线索价值｡
理想情况下, 这两个应该是相同的｡
所以实际上他记忆中关于这个动作的线索价值,
应该等于实际奖励, 加上伽马乘以, 他最终所处状态的价值
因此, 这就是我们计算时间差的方法｡
我们把他得到的减去他得到的, 他心里想的, 他期待的｡
你会从一个中减去另一个, 这就是你的时间差｡
然后你用学习率α来调整Q值, 你的新提示值, 通过时间差, 但是有一个系数α.
这就是简单线索学习的本质｡
现在让我们来看看它在深度学习中是如何变化的｡
所以我们还是要用这张幻灯片, 但我们要看看到底发生了什么｡
所以在深度学习中, 神经网络会预测四个值, 就像我们在上一张幻灯片中看到的｡
我们将在本教程后面看到, 神经网络将预测四个值, 或者如果在给定状态下有更多可能的动作,
它可能会预测更多的值｡
但在这个例子中, 我们知道只有四个动作, 向上, 向左, 向下.
所以神经网络会预测其中的四个值｡
所以不会有在处于深度学习的情况下｡
重要的是要明白, 没有之前或之后｡
这就是我们如何更好地了解这一点｡
所以神经网络会预测其中的四个值, 它不会和之后发生的情况进行比较,
而是和这个精确的值进行比较｡
但在上一步中计算的正是该值｡
所以在上一次当特工在这个方格的时候｡
假设, 我不知道, 一段时间前代理也在这个正方形中,
它之前计算过这个值｡
所以在很久以前, 代理人计算了这个值, 然后代理人存储了这个值, 以备将来使用,
现在未来已经到来｡
现在他又回到了正方形中, 现在他得到了这些Q值, 这是预测的,
其中一个是四个向上的｡
现在他要做的就是把预测的Q值和之前记录的值进行比较｡
我们现在就能明白为什么这很重要了｡
所以这里需要理解的是, 在一个军官之前,
在这个特定的方格里, 这个特定的时间, 我们取的Q值是他用神经网络预测的.
我们把它和他上次得到的这个值进行比较, 上次他在这个方格里评估所有的情况.
而且, 你知道, 就像上次他真的做了这个动作一样｡
好了, 我们走吧｡
现在, 让我们来看看这一切是如何在神经网络中工作的, 以及为什么｡
为什么会这样呢？
我知道现在听起来有点复杂, 但我们会把它分解成简单的术语, 好的, 马上就好｡
所以这个神经网络, 我们把环境的状态输入到神经网络中, 是通过隐藏层的｡
然后输出这些输出｡
第一季第二季第三季第四季
在特定的状态下, 这些是神经网络为可能的动作预测的提示值｡
这些是Q值｡
所以我们｡
与目标相比, 这些目标是完全相同的, 如果我们回到这里, 这就是目标｡
这就是预测的值｡
然后我们也知道我们有一个目标, 从上次我们在广场上｡
我们有一个目标, 例如, 这是向上的｡
这里我们有一个目标, 我们将进行比较｡
因此, 我们将第一季度与该目标进行比较｡
我们在比较Q2和之前的目标.
Q三号对目标｡
Q4对目标｡
这就是神经网络或智能体正在通过深度学习学习如何更好地穿越太空的部分｡
关键是我们还在申请中｡
Q学习, 但是在简单学习中的概念, 你通过时间差来学习, 这是非常简单的,
我们已经讨论过了, 我们现在已经很清楚了｡
但与此同时, 在深度学习中, 神经网络是如何学习的？
神经网络通过调整权重来学习｡
因此, 我们必须根据神经网络的实际工作方式来调整强化简单密钥学习的概念｡
这就是通过更新它们的权重｡
这就是我们要弄清楚的｡
我们如何将时间差异的概念应用到神经网络中, 以便充分利用神经网络的全部功能？
到目前为止, 我们已经得到了这个｡
所以我们在这里输入环境状态, 作为一个向量, 通过神经网络, 我们得到Q值的预测｡
然后从上一次代理处于该状态的时间开始, 我们有这些｡
Q目标｡
问：针对这些行动中的每一项行动, 确定目标1､ 2､ 3和4｡
现在我们来做个比较｡
从这里开始, 如果你能跟上神经网络的速度, 它就变得非常简单了｡
再说一次, 这些都在附件里｡
第一, 我们要计算损失, 这里是L, 我们会是.
Q瞄准这个减去Q减去这个｡
我们会解决的｡
所以每一个的平方差, 我们要把它们加起来｡
所以我们要取这些Q值和它们的目标值的平方差之和, 然后我们要把它们加起来, 这就是我们的损失｡
理想情况下, 就像我们在学习时间差时,
如果我们回到过去, 记得我们说过理想情况下我们希望这个等于这个, 所以我们希望时间差为零｡
所以这就意味着代理人准确地预测了代理人所预测的Q值｡
或者说他有一个对环境的确切描述的记忆｡
因此, 代理可以很好地在环境中导航｡
好吧, 我知道了
没什么好惊讶的｡
没有如果, 只要这个时间差是非常积极或非常消极的, 那么我们就会有一些惊喜｡
但如果时间差为零, 那么他对环境非常了解, 他可以预测正在发生的事情, 他可以｡
因此, 他的政策将是非常好的, 他将能够驾驭它｡
所以这里, 同样的事情｡
所以我们希望这个损失尽可能的接近于零｡
这就是为什么我们现在要做的这一部分我们要充分利用神经网络的真实的力量｡
所以我们将使用反向传播或随机梯度下降法来计算这个损失,
并将其传递到网络中, 通过网络和随机梯度下降法来传播｡
更新这些概要在网络中的权重, 这样下次我们遍历这个网络的时候, 权重已经能更好地描述环境了,
这就是它的工作原理.
如果您返回到这里, 则会计算此值和损耗, 并将其传播到网络中｡
将更新权重｡
然后下一次我们到这里, 这种情况再次发生, 我们到这里, 这种情况再次发生, 如此如此如此,
它继续发生｡
这就是这个特工的学习方式｡
或者说现在基本上是神经网络, 也就是智能体的大脑在学习, 对环境的描述越来越多,
因此智能体能够在环境中导航.
当我们说描述性环境时,
基本上意味着当我们输入主体所处环境的状态时, 我们更有可能越来越接近实际的线索值｡
这是因为我们想要的关键价值观和找到正确的行动｡
这是因为这些Q目标实际上是根据经验得出的｡
那么他是怎么找到这些可爱的目标的呢？
那是那是实际上是这样的｡
所以他实际上是在观察｡
那么, 一旦我迈出这一步, 我会得到什么回报呢？
那么这个状态的价值是什么呢？
和我们之前在Q学习中看到的一样, 在简单学习直觉中.
所以他通过反复试验来学习这个, 然后他构建他的网络或者更新权重网络, 以这样一种方式,
预测的线索值越来越接近｡
接近目标｡
Q值的概念非常类似于我们在这里讨论的简单时间差学习中的简单学习算法｡
好了, 我们走吧｡
这就是经纪人学习的方式.
所以我们到了这里｡
这是学习的一部分｡