老师：大家好, 欢迎回来｡
在本视频中, 我们将讨论如何使用ChatGPT解决“Breakout”,
使用ChatGPT实现A3C｡
所以我已经用了很多疯狂的提示, 我们得到了惊人的结果,
我们马上就会看到它们｡
因此, 这个视频将基本上通过我的思想过程来了解我是如何得到结果的,
以及如何使用ChatGPT来创建A3C算法｡
好吧, 所以我开始类似于我们为“DOOM”所做的,
我说, 好吧, 你基本上是一个机器学习专家,
在机器人方面有多年的经验｡
我雇你来做“越狱”的A3C算法｡ 我们的目标是有一个功能齐全的SOTA,
A3C算法,
可以玩“突围”游戏｡
我已经实现了类､ 测试代码环境和Adam优化器的自定义版本,
Adam优化器用作A3C模型的共享权重优化器｡
所以这是给它更多的背景,
我做了什么, 我会提供这三件事给你｡
因此, 正如我在生成其余代码之前所提到的, 您的目标是使用Python,
Torch实现完整的解决方案, 类似于我们所做的, 并优化在Google
Colab中执行的代码, 与我们之前所做的相同｡
另外, 注释代码的每一行,
这样学生就能理解你在代码中做了什么｡
如果需要的话, 问清楚问题, 明白了｡
所以我们有一些重叠, 我们为“DOOM”的对话式Deep
Q所做的, 但我添加了很多我已经实现的内容, 我希望它们被使用｡
这就是我开始做的事情, 并且得到了证实｡
是的, 我明白, 我会问任何问题,
请提供代码的其余部分｡
然后我说, 这是亚当优化器,
粘贴亚当优化器的代码,
对于我们拥有的资源, 我给出了这个指令,
我说, 在实现之前等待其余的代码, 我只是,
在我得到任何好的结果之前, 我实际上只是粘贴,
它立即跳到实现A3C, 而不是等待其余的代码｡
所以我添加了这个作为一种系统代码,
系统提示, 它说, 好的, 请提供环境并测试代码｡
所以它实际上是指我们在第一个提示中给出的｡
我说, 酷, 这里是健身房环境的实现｡
我粘贴了主代码,
我在这里添加了上下文, 如果你看一下,
这是运行所有内容的主文件｡
然后我说, 好吧, 酷, 等待测试代码｡
它说, 是的, 我, 然而,
我仍然需要在实现A3C之前看到测试代码,
我说, 酷, 这里有一个测试代码｡
你看, 如果你有一个更大的项目,
你可以用它来改变它, 使用这段代码, 或者作为一个参考, 这样你就可以按照你的风格生成一些代码｡
太棒了, 当我这么做的时候,
它说, 太好了, 去吧｡
基本上我会使用这个主代码,
测试, 并实现它｡
然后它说, 创造模型｡ py, 实际上我们在这门课上也做过｡
他说, 这是演员评论家的模式,
我和我们的比较｡
这是python的新版本,
所以很多权重初始化之类的事情可以用更优雅的方式完成｡
所以它做到了, 它实际上使用得很好,
然后生成训练代码, 基本上是ActorCritic｡
如果你看一看, 这是一个相当简单的,
所以它肯定需要改进｡
所以你可以做的是, 你可以说,
好的, 我说继续,
它继续把它写下来｡
它造成了这种损失, 但是,
是的, 基本上我们需要的一切,
它优化了一切, 你可以看到优化器｡
在终点停下来｡
所以它基本上使用了我们到目前为止定义的所有内容,
以及适当的损失, 是的, 优化器, 一切｡
就这样了
通过几个简单的步骤,
我们成功地实现了一个最先进模型的整个代码,
这个模型恰好是2017年和2018年最好的模型之一｡
直到今天, 它实际上拥有大量的能力来解决复杂的环境,
如“突破｡ 所以你看到了, 现在我们有了ChatGPT,
你可以引导它实现代码的某些部分｡
如果你不知道代码的某些部分实际上是做什么的,
你可以去问它, 例如, 酷, 你能解释一下训练部分吗？
所以我在提示它解释自己, 这是另一种提示它的方式,
给你更多的理由来解释它的产生｡
你可以看到它实际上是在一步一步地解释｡
所以, 是的,
我们可以等待这个, 你可以做同样的提示,
你会得到和我非常相似的结果, 但一般来说, 现在它要做的是, 它会接受它在顶部定义的火车函数, 它基本上会经历每一步并实现它｡
所以是的, 就是这样｡
我绝对鼓励你在Google Colab中尝试这段代码,
这是可以做到的, 因为Goggle Colab环境的可视化和限制, 使它工作起来有点太棘手了｡
但是, 你绝对可以把错误粘贴到这里,
你可以, 你可以得到一些相当不错的结果来调试这个过程｡
是的, 我会让你成为, 现在你有了如何使用ChatGPT来获得A3C价值的方法｡
是的, 希望你喜欢到目前为止的课程,
再见｡