大家好, 欢迎学习本Python教程｡
好了, 现在我们要做一个转发函数,
它会把我们大脑的输出信号传播到人工智能的身体上, 这样它就能做出正确的动作, 到达背心｡
但是还没有正确的行动, 因为还没有训练｡
我们还没有训练眼睛,
但这正是我们在第二部分实现深度卷积学习所要做的, 顺便说一句, 我将把它重新命名为“用深度卷积学习训练人工智能”｡
但现在我们需要将信号从大脑的输出层转发到身体｡
这正是我们要做的, 这个向前的功能, 也就是我们身体的最后一个功能｡
所以我们开始吧｡
我们从杰夫·福特开始｡
根据你的说法, 你要用什么理由？
当然, 这需要第一个自我｡
然后还有另一个吗？
嗯, 是的, 有｡
那你打算怎么做？
很自然地, 我们想把大脑的输出信号传递给身体, 因此输入信号就是大脑的输出信号｡
现在我们需要给予这些输出信号命名｡
所以我要在这里加上这个论证｡
好吧, 我会的
这对应的是大脑的输出信号, 输入图像通过大脑传播, 到达输出层,
这里是X,
通过大脑的前向函数返回, 现在大脑的输出信号将通过新的前向函数转发到身体, 我们在下一个柔体类中做了这个函数｡
所以我们开始吧｡
让我们在这里添加一些颜色｡
现在, 正如你们所理解的, 我们将使用一个软max方法来播放这个动作｡
这意味着我们的眼睛的身体, 在接收到大脑的输出信号后, 将发挥与软最大技术的行动｡
所以现在我们要做的基本上和我们为自动驾驶汽车做的完全一样｡
我们将得到概率分布｡
这是第一步, 然后我们将根据概率分布对一个行为进行抽样.
所以我们现在能做的基本上就是得到我们的自动驾驶汽车文件, 然后复制粘贴我们在自动驾驶汽车中实现的选择动作功能｡
但我们再来一次｡
这将是一个很好的练习, 实际上你可以试着在我之前打出来｡
好吧, 我会的
所以首先我们要做的是得到概率｡
这是每个Q值的概率分布, 它取决于输入, 图像和每个动作｡
所以我们有一个Q值对应于6或7种可能的行为, 因此我们得到了7种概率的分布｡
我说七个是因为我认为有七个动作而不是六个, 因为除了向前､ 向左､ 向右或射击,
我们还可以跑｡
这就产生了七种可能的行为, 因此我们得到了七种概率的分布,
每个行为对应一个Q值｡
所以道具等于｡
现在记住我们要做什么｡
基本上, 我们必须使用函数模块中的set max函数｡
所以这很简单｡
我们先取函数模块, 然后是点, 最后是软最大函数｡
在这里｡
我们按下回车键, 现在我们输入max函数的参数, 我提醒你,
这些参数是你想要创建概率分布的元素｡
这当然就是Q值, 这是神经网络的输出, 这是神经网络的输出,
你要为它创建概率分布｡
我想提醒大家, 我们要创建这种概率分布, 以便能够探索不同的行为,
而不是直接选择Q值最大的行为｡
如果我们直接选择具有最大Q值的一个, 在那里我们没有探索太多的其他行为, 我们可能会错过一些东西,
但是使用自我最大化方法, 我们可以做更多的探索, 因此可能会在模式中找到一些隐藏的解决方案,
可能会更好｡
再次强调, 我强烈建议使用self max, 因此现在我们要做的是输入Q值｡
这是我们大脑的输出｡
输出, 我们开始｡
但是我们有这个温度参数, 我们可以使用它来配置, 以自定义探索｡
请记住, 我们设置的温度越高,
我们对其他行动的探索就越少, 因为最佳行动将以更高的概率被选择,
而其他行动将以更低的概率被选择｡
这与自动驾驶汽车完全一样, 因此我们必须将输出乘以温度参数自占空比｡
我们走吧｡
好极了｡
现在我们得到了一个小警告, 因为我们还没有使用道具, 但我们现在就要使用它｡
这就引出了我们接下来要做的事情｡
我们要如何使用这些概率呢？
我们将从这个概率分布中抽取最后一个行动.
因此, 我们现在要做的就是使用多重正态函数, 根据这个概率分布, 对动作进行抽样｡
现在我们可以开始行动了｡
所以我在这里创造了一个新的变量, 因为它将成为我们眼睛的动作｡
现在我们用概率的分布, 加上点的道具, 然后是多数字法｡
好吧, 我会的
现在我们开始最后的行动｡
他们是从我们的道具分发中取样的｡
好的, 很好｡
所以现在我们准备归还我们想要的东西｡
那就是要玩的动作｡
当然, 这些都是行动｡
现在警告应该消失了｡
我们想用什么就用什么｡
我们走吧｡
好极了｡
现在, 转发功能已经就绪｡
恭喜你｡
身体也准备好了｡
现在我们有了大脑｡
我们有我们的身体, 因此, 我们准备把它们组合起来, 使未来成为我们的未来｡
我将只由一个大脑和一个身体组成｡
所以它会有智慧和身体来进行动作, 这将是正确的动作, 因为它的智慧｡
但请记住, 在我们必须训练它的智能之前, 这也是我们在第二部分要做的,
用深度卷积学习来训练人工智能｡
好的, 让我们在下一个教程中制作人工智能｡
我想这也是一个两个函数的类｡
所以这需要我们两三个教程｡
所以我等不及了｡
这将是令人兴奋的｡
在那之前, 好好享受吧｡
一､