大家好, 欢迎回到人工智能课程｡
在今天的教程中, 我们将向a3c的世界迈出第一步, 作为第一步,
我们将了解这个缩写代表什么｡
因此a3c代表同步优势因素评价算法｡
这是谷歌DeepMind于2016年由一组研究人员开发的一种算法, 是迄今为止人工智能的前沿算法｡
现在它有了很多修改, 我们会在课程中, 特别是在实践教程中, 更多地讨论这个问题｡
但尽管如此, 这个算法还是把其他所有的东西, 包括深度卷积学习网络, 都打得落花流水,
完全打得落花流水｡
而且速度更快｡
训练时间更短, 效果更好｡
所以在这部分课程中, 我们会参考,
我们已经参考过了, 但我们会参考更多的一篇论文, 或者是第一篇介绍a3c的论文｡
它被称为深度强化学习的异步方法, 由谷歌DeepMind的弗拉基米尔慕尼黑和其他人开发｡
我现在给你们看这篇论文, 你们可以先了解一下.
这是这张纸｡
我想给你们看一下, 这样你们就可以对它有一个感觉, 并准备好一点点了解它｡
当然, 强烈建议通读这篇论文, 了解他们到底在说什么｡
你们会看到, 在隆德的实践教程中,
会带你们浏览论文的某些部分, 浏览某些段落或章节, 这些段落或章节与我们在那个时间点上要编程的内容相关｡
我想指出的是, 正如你所看到的, 很多研究都是关于这个的,
但是也有很多参考文献, 但是我最喜欢的一部分是在结尾吗？
在最后, 他们比较了不同的算法, 比较了结果｡
这就是我想在这里指出的｡
让我们放大一点｡
所以在这里, 正如你所看到的, 甚至在谷歌DeepMind中, 他们正在训练或评估游戏中的算法,
就像我们在这门课上所做的那样｡
这是完全相同的原理, 因为游戏是一个模拟的环境, 或者说是一个小环境,
一个有一定规则的受限环境, 他们想了解这个人工智能在这些游戏中的表现｡
在这里, 我们有所有的游戏, 你可以找到很多, 你可以找到露天健身房和游戏,
我们一直在工作｡
例如, 在本节中, 我们将使用Breakout｡
所以它也在这里｡
所以你可以看到, 对于Breakout, 他们用粗体显示, 他们突出显示了最佳算法｡
DCN是我们一直在使用的算法, 还有一些其他的算法｡
这里有a3c, a3c有lshtm长短期记忆｡
这就是我们在这部分课程中要实现的｡
我们将有一个带LSHTM的a3c, 这使它更强大｡
所以如你所见, 突破是通过三个关键系统实现的最佳结果｡
这就是乐谱听起来是66. 8比其他人｡
你也可以看到他们中的大多数人｡
如果我们现在从更大的角度来看, 你可以看到大多数粗体字实际上都在最后一列｡
所以, 是的, 确实有一些游戏, 其他算法的表现更好｡
但正如你所看到的, DCN实际上在任何一场比赛中都没有表现得更好｡
但是你可以看到还有其他的算法｡
其他算法有时表现得更好, 但一个团队在大多数情况下表现得最好｡
所以你可以看到这是大胆的｡
这是粗体, 这一个, 这些, 这一个, 等等｡
所以你可以看到a3c系统是一个非常强大的算法｡
它确实处于人工智能的前沿, 而这正是我们将要实现的｡
接下来是非常精彩的部分｡
强烈建议您阅读本白皮书, 并对我们将要讨论的内容有一个初步的了解｡
在这一节中, 特别是实用的一面, 实用的吸管,
我们会详细讲解.
我们实际上要使用他们的伪代码, 这是可用的｡
我们会很巧妙地向你们展示如何实现这一点, 以及我们将如何处理这一点｡
在这一点上, 我希望你会喜欢这篇论文, 我期待着看到你的下一次｡
在那之前, 好好享受我｡