大家好, 欢迎今天继续学习深度学习课程｡
最后我们用反向传播来结束｡
好吧, 我会的
所以我们已经知道了关于神经网络中发生了什么的几乎所有我们需要知道的事情｡
我们知道, 有一个过程称为正向传播, 在这个过程中, 信息被输入到输入层, 然后向前传播,
以获得y hats, 即输出值｡
然后我们将这些值与训练集中的实际值进行比较, 然后计算误差｡
然后, 误差通过网络以相反的方向反向传播, 这使得我们可以通过调整权重来训练网络｡
这里要记住的一个关键点是,
反向传播是一种由非常有趣和复杂的数学驱动的高级算法, 它允许我们同时调整所有权重, 所有权重都是同时调整的｡
所以如果我们手动计算, 或者我们使用不同的算法,
那么即使我们计算了误差,
然后我们试图了解每个权重对误差的影响, 我们也必须以某种方式将每个权重独立或单独地调整为｡
反向传播的巨大优势,
也是需要记住的一点, 就是在反向传播的过程中, 仅仅是因为算法的构造方式｡
您可以同时调整所有权重, 因此您基本上知道神经网络中的每个权重造成了哪部分误差｡
这就是反向传播的关键和基本原理, 这也是它在20世纪80年代迅速兴起的原因｡
这是一个重大的突破｡
如果你想了解更多关于这方面的知识,
以及数学到底是如何在后台工作的, 那么我们已经提到过的一篇好文章就是神经网络,
而深度学习实际上是迈克尔·尼尔森的一本书, 你会发现数学是写出来的, 它会帮助你理解这是如何可能的｡
但现在, 就我们的目的而言, 如果从直觉的角度来看,
重要的是要记住这就是反向传播的作用｡
它同时调整所有权重｡
现在, 我们将用一步一步的演练来总结一下, 在训练神经网络时会发生什么｡
好吧, 我会的
第一步, 我们随机初始化权重, 使其接近于零, 但不是零｡
在直觉教程中,
我们并没有真正关注权重的初始化, 但权重必须从某个地方开始, 并且它们是用接近零的随机值初始化的｡
从那里通过四个传播过程, 反向传播, 这些权重被调整,
直到误差最小化, 直到成本函数最小化｡
然后, 第二步输入数据集的第一个观测值｡
因此, 第一行进入输入层, 每个要素是一个输入节点｡
因此, 基本上取列并将其放入输入节点｡
第三步对于从左到右的传播, 神经元以这样的方式被激活, 即每个神经元激活的影响由权重限制｡
因此, 权重基本上决定了每个神经元激活的重要性, 然后传播激活,
直到获得预测结果y在这种情况下｡
所以基本上是从左向右传播｡
你一路走到最后, 你得到你的帽子｡
然后将预测结果与实际结果进行比较, 测量生成的误差, 然后从右向左进行反向传播,
误差将反向传播｡
根据权重对误差的影响程度来更新权重｡
同样, 你可以计算出, 因为通过扰动算法反向传播的结构,
学习率决定了我们更新权重的程度｡
学习率是你可以在你的神经网络中控制的参数｡
第六步重复第1步至第5步, 并在每次观察后更新权重｡
这被称为强化学习｡
在我们的情况下, 这是随机梯度下降或重复步骤1至5, 但更新权重后, 只有一批观察｡
所以批处理学习, 它要么是完全梯度下降, 要么是批处理梯度下降, 要么是小批处理梯度下降｡
第七步, 当整个训练集经过一个历元的人工神经网络后,
重做更多的历元｡
所以基本上你只要不断地这样做, 这样做, 这样做,
让你的神经网络训练得越来越好, 越来越好, 不断地自我调整, 当你最小化成本函数时｡
好了, 我们走吧｡
这些是你需要采取的步骤来建立你的人工神经网络和训练它｡
这些是你们将一起采取的步骤｡
你已经在实践教程中学到了东西, 祝你好运, 我期待着下次见到你｡
在此之前, 请尽情享受深度学习｡