大家好, 欢迎回到人工智能课程｡
我们已经讨论了贝尔蒙特方程, 也分析了我们的小迷宫｡
我们来看看计划｡
计划是什么？
这是我们的迷宫分析｡
我们知道我们可以看到状态, 每个状态的值｡
我们可以看到处于每一种状态的价值｡
因此, 我可以或代理人可以通过这个迷宫｡
那么计划是什么呢？
嗯, 这个计划简直就像是人工智能的藏宝图｡
我们不去看这些值, 而是用箭头来代替它们, 箭头指示代理应该朝哪个方向走,
因为它知道这些值.
理想的情况是, 当它探索了这个环境之后, 它知道处于每种状态的值, 因此它可以得出这个地图｡
让我们来看看｡
同样, 我们知道这里的值是1｡
所以如果你在这里的两个, 更好的一个是这个｡
所以你就从这里走吧｡
这个更好｡
实际上, 从现在开始你有两个选择, 对吧？
所以这里有点像领带｡
所以你随便选一个, 不管是哪一个, 因为在这两种情况下的值都是一样的｡
更重要的是, 即使我们看下去, 也需要同样多的步骤, 同样多的步骤才能到达终点｡
从这里你有三个选择, 但这一个是更好的价值从这里｡
从这里看这个更值｡
显然, 这个值更高, 因为在这里, 你马上就会得到一个负一的奖励｡
从这里算起你有三个｡
所以这是最好的一个, 最有价值的国家｡
所以如果我们用箭头来代替它们, 这就说明了如果从这里开始,
或者由于某种原因, 它在这个正方形结束, 它知道如何离开这里, 从这个正方形开始.
它知道如何离开这里等等｡
所以这就是计划｡
不要把计划和政策混为一谈, 因为我们将在后面讨论政策｡
策略与计划非常相似, 但它们有一个小窍门,
因为环境会有一些不同, 它是随机的, 这就是我们在下一个教程中要讨论的.
所以我等不及要看你下一场了｡
在那之前, 好好享受吧｡
一､