大家好, 欢迎学习本教程｡
好了, 现在我们有了眼睛｡
它已准备好接受训练｡
而训练的第一步是设置体验回放｡
所以我们正在慢慢地达到目标｡
培训和好消息是, 我们有一个实现版本的经验重放｡
除此之外, 这是适应资格跟踪, 我提醒是一个技术, 而不是学习线索值,
每个过渡学习它, 每十个过渡｡
所以基本上和之前的完全一样｡
但是我们不再是一个单一的目标,
每一步都有一个单一的奖励, 我们将有一个十步的累积目标和十步的累积奖励, 我们将在每一次的十步中学习｡
所以我们学习十个转变, 十个步骤, 而不是像以前一样一个｡
有了这个, 我们的眼睛将创造奇迹, 这将为训练过程创造一些奇迹｡
你知道, 训练会花更少的时间感谢这种技术｡
但是我们必须指定一个经验, 每十步就重放一次我们正在学习的东西｡
所以这就是为什么这个体验回放不是像自动驾驶汽车那样的经典体验回放｡
这是一个经验重放实现考虑到这十个步骤的学习, 因此,
你会发现在这个经验重放文件两个类, 一个类, 使你的眼睛在十个步骤的进展,
以便它可以总结在这十个步骤观察到的奖励.
那是头等舱｡
我们需要这个类, 因为我们需要在replay memory类中包含这十个步骤, replay
memory类是我们为体验replay实现的类｡
这就是我们如何确保记忆也考虑到我们是在十步学习的事实｡
这就是为什么你会在体验回放的实现中发现两个类｡
但这只是考虑到我们在学习十步, 这也必须在记忆中考虑到｡
说到我们的记忆, 让我们来创造它｡
我们将把我们的记忆称为记忆｡
内存将成为重放内存类的一个对象｡
而replay memory类就是这个体验类的replay P文件｡
所以我先把这个文件重放一遍
那就这样吧
达特我在那里上了记忆回放课｡
好极了｡
现在, 正如你所看到的, 我们有两个输入, 两个参数｡
第一个参数是和steps, 它正好对应于我们要学习Q值的步数｡
所以, 你知道, 我们积累目标和奖励的步骤数｡
所以我们要有一个累积目标和累积奖励｡
第二个参数是容量, 也就是内存的大小｡
例如, 这里我们可以看到10, 000｡
因此, 如果容量等于10, 000, 则意味着存储器的大小为10, 000｡
因此, 这意味着我们将获得人工智能少执行的10,000步的记忆｡
但是, 我们也不会学习每一个转变｡
我们要学习记忆中最后一万步中的每十步.
这正是我们在这里介绍的与以前相比的新功能｡
以前, 我们只有这种记忆回放的技巧｡
这里我们有一个记忆回放的技巧, 再加上每十步学习一次的技巧｡
我们要每十步学习一次我们要在记忆中学习最后的一万步.
这是经验重放结合一个资格跟踪与十个步骤将大大提高训练性能｡
让我们输入这两个参数｡
第一个是steps, 它等于现在的, 比如说, steps｡
我们将指定什么和步骤是正确的,
在那之后它实际上将是这个体验重放文件的另一个类的对象, 这是MN步骤进度类, 它允许在十个步骤中进行AI进度｡
请记住, 在十个步骤中, 我们会将十个步骤以下的奖励相加,
以获得十个步骤以上的累积奖励, 这就是资格跟踪｡
现在我们要做的是在这里创建这个和步骤, 我们用这个体验重放文件中的第二个类来创建它,
这是在步骤进程中｡
现在我们要创建结束步骤｡
就像这样｡
这将是MN Step Progress类的一个对象, 我们再次从我们的经验中获取｡
重新执行档案｡
我们走吧｡
这就是最后一步｡
进步班｡
现在我们必须输入三个参数｡
正如您所看到的, 我们必须输入环境, 这是我们在这里导入的Doom环境｡
第二个论点是我们的人工智能, 当然, 这将是我们在预览部分构建的人工智能｡
最后一个参数是结束步骤｡
在这里, 我们会指定十步, 每十步学习一次.
也就是说, 每十个转换｡
让我们输入这些参数｡
第一个是环境, 这就是厄运｡
好的, 第二个是我们的人工智能, 我们称之为AI｡
就是这里的那个
所以这只是end step progress类的参数名称｡
这个人工智能是我们的人工智能, 我们自己造的｡
最后一个参数是end step, 它等于10｡
好吧, 我会的
所以现在, 我们只是在记忆中考虑到, 有一个十步学习.
这种十步学习叫做资格追踪｡
所以, 我们真的在这里工作的先进的东西｡
但请记住, 因为我们试图成为哑巴, 这一点也不像做一块蛋糕｡
所以我们需要这些先进的技术来使它工作｡
现在, 我们几乎已经准备就绪, 可以进入下一步了, 下一步实际上是实现资格跟踪｡
我们唯一需要考虑的是容量, 当然, 也就是说, 10000台｡
内存的大小为10, 000, 这意味着内存将包含AI执行的最后10, 000个步骤,
这将允许我们生成一些迷你批处理｡
大家还记得, 使用采样函数时, 内存包含10,
000个转换, 但为了训练人工智能, 我们将对一些包含10个转换的小批量进行采样, 而不是与之前的10个转换进行比较｡
我们将在由10, 000个最后步骤组成的存储器中对这些10个转换的小批进行采样｡
好吧, 我会的
现在, 我想我们已经准备好进入下一步, 即实现资格跟踪｡
所以我们要在这里进行一些冒险｡
这将不是一个简单的实现｡
所以好好休息吧｡
等你准备好了, 我们就开始行动｡
在那之前, 好好享受吧｡
一､