大家好, 欢迎来到第一个模块“自动驾驶汽车”的有趣教程｡
这将是史诗般的｡
我们将测试我们对环境的观察力, 我们将在四个不同的层面上进行测试｡
也就是说, 我们要玩一个游戏｡
游戏将有完整的难度级别, AI将必须通过这四个级别｡
那么这四个层次会是什么呢？
第一个阶段, 第一个阶段是到达机场, 然后在机场和市中心之间进行往返｡
所以当我们看到汽车做这些往返时, 我们通过第一级, 然后是第二级｡
第二个阶段仍然是做这些往返, 但是在我们自己画的一条特定的道路上｡
但这将是一个容易的道路, 因为它的二级, 当然, 汽车将不得不自己驾驶留在这条路上｡
因此, 这将是一条从机场到市中心, 然后另一条路｡
所以汽车必须在这条路上来回行驶｡
如果是的话, 我们会通过第二关, 然后是第三关｡
第三级将在地图上画一些障碍物, 看看汽车是否设法避开障碍物并仍然达到目标｡
所以不用担心｡
我们将画一些困难的障碍, 汽车将不得不避免,
我们将看到它是否设法到达机场和市中心｡
最后, 第四关, 对汽车来说最具挑战性的一关是画一条非常困难的路到达市中心｡
所以我不知道, 你知道, 这将是一个道路像一些锯齿形｡
我不是一个出色的建筑师, 但我会努力做出一条具有挑战性的道路｡
所以希望我们至少能通过第一关｡
那就太好了
那就希望我们也能通过第二关和第三关｡
如果我们通过了第四关, 那就太好了｡
所以我们开始吧｡
让我们接受挑战吧｡
实际上, 自动驾驶汽车将接受挑战, 但我们是这背后的大脑,
所以让我们仍然希望它能起作用｡
好吧, 我会的
首先我要给予你们一个关于地图的快速提示｡
这就是地图｡
首先, 我们要看一下地图｡
我们要看看没有人工智能的自动驾驶汽车｡
它只是一辆车, 具有本单元开始时看到的随机动作｡
我们该如何看待这个问题呢？
我们必须关闭人工智能, 而要激活人工智能, 我们只需要将温度设置为零｡
记住这里的参数是温度, 现在它等于7｡
所以这是低温｡
我们以后会增加的｡
但如果我们不想让汽车有大脑, 也就是说, 如果我们不想激活人工智能, 我们只需要把温度设置为零,
t等于零｡
这里也一样｡
当然, 这是代码中的真实的温度｡
好了, 我们走吧｡
然后, 我们一定不要忘记保存, 因为否则将不包括更改｡
现在我们没有人工智能了｡
AI被激活｡
让我们看一下地图, 给予我们快速复习一下, 快速提醒一下它的样子｡
我将选择所有内容, 然后按Enter键｡
好吧, 我会的
这是我们的地图和车｡
正如你所看到的, 汽车的行为完全是随机的, 你知道, 左转, 直行或右转｡
因此, 它没有到达机场, 这是我提醒在地图的左上角, 没有达到｡
好吧, 它刚刚做到了｡
但这完全是随机的｡
你看, 现在它在机场, 它没有达到另一个目标, 这是市中心的右下角的地图｡
所以我们就像在这里｡
但我们现在可以清楚地看到, 这些行为完全是随机的｡
它是无处可去的, 绝对没有人工智能｡
但别担心｡
我们现在就激活它｡
我要关闭地图｡
然后我要重新启动内核, 重新启动内核｡
您可以在这里单击此工具按钮, 然后｡
是的, 现在是表演时间｡
我们终于要把我们做的这个大脑放在车里, 激活人工智能｡
我超级兴奋地想看看会发生什么｡
我们现在要激活人工智能, 要做到这一点, 我们需要提高温度｡
所以要改变温度, 我们只需要把这个0替换成, 我们从之前的7开始｡
所以我们在这里指定7｡
好吧, 我会的
咱们别忘了保存｡
现在让我们回到我们的地图｡
现在我们可以再次重新执行, 因为我们重新启动了内核｡
我们开始执行吧｡
我们有车, 它在做什么？
嗯, 它正在努力寻找自己的路｡
它是探索, 它是理解它必须做什么｡
马上就要到机场了｡
好了
第一个目的已达成｡
好极了｡
现在下一个目标是到达市中心｡
它确实到达了市中心｡
而现在它正试图找回机场, 去机场｡
又来了｡
好极了｡
所以这是可行的｡
实际上, 从错误中探索和学习并不需要时间｡
你知道, 这里的错误是离目标更远｡
这就是我们惩罚汽车的地方, 给它一个轻微的负面奖励｡
是-0｡ 2.
所以它从那个错误中吸取了教训｡
通过从错误中吸取教训, 它成功地通过接近目标来获得积极的回报｡
而现在它终于明白了它要做什么｡
它肯定是到达机场, 然后到达市中心, 然后做这些往返旅行｡
那就完美了｡
我们有一辆自动驾驶汽车, 但我忍不住注意到它看起来像一只昆虫｡
这辆车看起来并不自信, 你知道, 它没有一个非常自信的运动｡
就像左拐右拐｡
这看起来不像是汽车运动｡
它看起来更像一只虫子｡
所以我们要解决这个问题｡
正如你可能已经猜到的, 解决这个问题的方法是提高温度｡
因为记住, 温度是软mac函数中的参数, 我们可以增加它,
以便更确定地返回操作｡
所以如果我们提高温度, 这是有道理的, 嗯,
我们最终可能会得到一辆对自己更有把握的车, 因为人工智能将更确定它应该采取什么行动｡
记住, 这是因为这个动作会以更高的概率进行｡
增加温度的唯一问题是, 请记住, AI较少探索其他动作,
因为通过增加温度, 其他动作的概率将较低｡
但现在这似乎不是一个问题, 因为汽车似乎没有问题, 达到它的目标,
机场在市中心｡
所以如果我们想的话, 完全可以提高温度｡
这东西看起来像昆虫, 看起来像汽车｡
所以我们开始吧｡
我现在要把它关上｡
我们走吧｡
再次重新启动内核｡
然后按｡
是的, 我知道
现在我们要提高温度｡
所以我们开始吧｡
我要回去看我的档案了｡
然后用100代替t等于7｡
我们走吧｡
那我们就保存｡
现在我们有了自动驾驶汽车｡
肯定的本身｡
所以我们可能会得到更好的结果, 我们可能会得到看起来更像汽车的东西｡
现在, 我们单击一个地图, 然后再次执行该操作｡
好吧, 我会的
发生了什么事？
噢, 它好像烧坏了｡
不知道为什么, 但不管怎样, 现在我们有了看起来更像汽车的东西｡
你可以看到它走得更直了｡
它不会做这些快速的左右移动｡
这是因为现在汽车更确定在每一次采取的方向｡
它想采取最好的方向去机场, 然后去市中心｡
很明显, 我们现在可以说我们通过了第一关｡
这辆车在机场和市区之间来回行驶｡
所以我们要保存它｡
这就是我将向你们展示如何保存大脑.
我们只需要点击这个保存按钮｡
而如果我们｡
看看这里发生了什么｡
我们在一开始就有奖励曲线｡
我们可以观察到它所犯的一些错误｡
所以这就是回报是负的地方｡
但后来它从错误中吸取了教训, 奖励一点一点地增加, 直到达到一个恒定的正奖励等于0｡
1.
但这是我们设定的最高奖励, 那是因为它最终进行了探索｡
这是探索阶段｡
然后它就知道该怎么做了｡
这就是它在机场和市中心之间往返的地方, 没有任何错误｡
好了, 我们走吧｡
我们通过了第一关｡
恭喜你啊
现在让我们来看看更有挑战性的东西｡
让我们进入下一个阶段｡
让我们试着通过第二关, 我提醒你, 第二关是在我们自己画的一条特定的道路上做往返旅行｡
让我们在下一个教程中了解一下｡
在那之前, 好好享受我｡