大家好, 欢迎来到第二部分, 通过深度卷积学习训练人工智能｡
没错, 我是说...
现在我们已经用神经网络的架构､
身体､ 动作的方式等等构建了人工智能, 现在是时候用深度卷积学习来训练这个人工智能了｡
因此, 从现在开始, 我们将实施经验回放,
处理线索值, 处理奖励, 甚至会有一个奖金, 这将大大改善训练过程,
这就是所谓的资格跟踪｡
资格追踪是一种强大的技术, 它包括在几个步骤中累积奖励, 并且在奖励的累积上学习线索值,
而不是以前, 在每次转换之后学习线索值,
因此, 在获得每个奖励之后,
这次我们将在获得几个奖励而不是仅仅一个奖励之后学习线索值｡
因此, 不是一个转换接一个转换, 每次都更新提示值,
而是每和步更新一次提示值, 因为资格跟踪被称为和步资格跟踪, MN是这个数字,
在此之后, 将更新提示值｡
在我们的模型中我们会得到一个等于10的数｡
这意味着我们将进行10步资格追踪, 因此, 在累积了这10步的奖励后,
我们将每10步更新和学习一次提示值｡
所以这是一个额外的好处, 它将使我们的模型更加强大｡
而且你会看到, 最终我们会取得出色的成绩｡
当我看到最后的结果时, 我真的很惊讶｡
我曾经研究过一些需要花费大量时间才能执行的模型｡
你知道, 人工智能花了很多时间来训练, 但你会看到这一点｡
再加上我们制作的神经网络, 也就是我们的大脑和我们的身体, 麦克斯, 我们将得到一个非常强大的道德,
因此非常强大的人工智能, 因为你会看到它会激进｡
你明白我在说什么吗？
正如您在第二部分中所看到的, 我们从获取Doom环境开始, 我实际上为您准备了代码行｡
我们只是使用工作目录文件夹中的图像预处理外部文件｡
所以基本上顺序是先取这行代码, 吉姆, 使厚皮动物的代码为零｡
所以毁灭代码0是我们所玩游戏的环境名称｡
首先, 我们用这个导入环境｡
你可以在开放的Jim教程中找到, 但是我们使用了这个预处理图像类, 它是一个从图像预处理到预处理图像的类, 这些图像将进入神经网络,
我们对它们进行预处理, 使它们具有80 ×
80的正方形格式｡
这是因为在我们的神经网络中, 我们将输入图像的维数设置为1 × 80 ×
80, 记住1是通道的数量｡
这意味着我们在处理白色图像｡
这就是这里的灰度｡
80 × 80意味着我们输入图像的尺寸是80 × 80, 这就是我们在神经网络中设置的｡
当然, 我们需要在输入图像时指定这一点, 这正是我们在这里对这个预处理图像类所做的｡
然后在我们导入环境与正确格式的输入图像, 好吧, 我们导入整个游戏与视频与这行代码.
记住, 最酷的一点是, 最后我们会看到我们的人工智能玩末日游戏的视频｡
所以我们将看看它将如何杀死怪物, 试图达到背心和一切｡
所以这将是超级令人兴奋的｡
请记住, 这些视频将进入此视频文件夹｡
好吧, 我会的
这是最后一行, 但我想给你们看一下, 因为这很重要｡
这与我们正在构建的人工智能有更大的关系｡
记住, 我们的神经网络把动作数作为输入｡
这是因为, 你知道, 我们想做一个人工智能, 我们可以很容易地测试在几个环境,
在几个厄运环境｡
因为不同的毁灭环境有不同的动作数量, 我们把这个动作数量变量指定为CNN的输入,
大脑｡
因此, 现在我们要做的是使用刚刚导入并创建到该变量中的末日环境来获得该number actions变量｡
稍后我们要创建的这个数字动作变量将成为大脑的输入｡
所以我们开始吧｡
我引入了这个真实的变量的动作｡
所以动作数等于｡
现在, 我们将采用厄运环境｡
这是我们创建的变量｡
所以在这个环境下, 我们在这里加上一个点, 然后我们开始｡
我们先在这里采取行动空间｡
这就是你的行动｡
我鼓励你去看看这个开场白｡
去看看它是如何工作的, 你知道, 去了解露天健身房的环境是如何工作的｡
但基本上这是一套动作｡
从这一组动作中, 我们可以访问环境中的动作数量｡
为了做到这一点, 我们在这里加上DN, 是动作的个数, 因此doom,
动作空间n会返回7｡
它将返回7, 因为有7个操作｡
我知道我们可以在第一页看到厄运环境中的六个动作, 但我认为我们也可以跑, 所以我们可以向前,
向左, 向右, 向左, 向右, 然后射击｡
而且我们还能跑｡
所以一共有七个动作｡
好吧, 我会的
这就是我们得到的末日环境, 末日环境中我们有行动的数量｡
所以到目前为止, 我们已经拥有了大脑所需要的一切｡
然后我们创建一个对象, 一个大脑对象, 我们称之为CNN和最小字母｡
由于init函数将许多操作作为参数, 因此,
我们将在将要创建的CNN对象中输入操作的数量｡
当然, 我们会创造身体, 最终死去｡
这就是为什么下一节, 我将称之为构建人工智能, 因为现在我们可以构建我们想要的任意多的眼睛｡
这就是面向对象编程的美妙之处｡
我们可以根据自己的需要构建任何眼睛, 所以我们要构建一个拥有复杂大脑的人工智能, 这正是我们在下一个教程中要做的｡
在那之前, 好好享受吧｡
一､