こんにちは､ 人工知能のコースにようこそ｡
今日のチュートリアルでは､ a3cの世界へ第一歩を踏み出します｡ その第一歩として､ この略語が何の略語なのかを調べてみましょう｡
つまりa3cは､ シンクロナス・アドバンテージ・アクター・クリティスト・アルゴリズムを表しているのです｡
これは2016年にGoogle DeepMindで研究者グループによって開発されたアルゴリズムで､
これまでの人工知能の最先端のアルゴリズムと言えるでしょう｡
現在では複数の改良が加えられていますが､ それについては講座の中で､ 特に実践的なチュートリアルで詳しく説明します｡
しかし､ それにもかかわらず､ このアルゴリズムは､ 深い畳み込み学習ネットワークを含む他のすべてを､ 完全に水面から吹き飛ばしてしまうのです｡
しかも､ より高速になりました｡
トレーニングにかかる時間が短く､ より良い結果を得ることができます｡
そこで､ この講座では､ a3cを初めて紹介した論文や発表された論文を参照することにします｡
Google DeepMindのVladimir Munich and OthersによるAsynchronous Methods of Deep Reinforcement Learningというものだそうです｡
そこで､ 今､ この紙をお見せして､ その紹介をさせていただきます｡
それで､ それで､ この論文なんですが｡
それをお見せすることで､ 少しでも雰囲気を掴んでいただき､ 導入の準備をしたいと思ったのです｡
もちろん､ 論文に目を通して､ 具体的に何を言っているのか理解することを強くお勧めします｡
また､ ルンド大学の実践的なチュートリアルでは､ 論文のある部分､ ある段落やセクションを通して､
その時点でプログラミングする内容に関連した内容を学ぶことができます｡
私がここで指摘したいのは､ ご覧の通り､ 多くの研究がなされたのですが､ 参考文献もたくさんありますし､
私がとても気に入っているのは､ 最後の部分です｡
最後に､ 異なるアルゴリズムを比較し､ 結果を比較するのです｡
そして､ ここで指摘したかったのは､ このことです｡
では､ 少しズームアップしてみましょう｡
このコースで行っているのと同じように､ Google DeepMindでも､ ゲームを使ってアルゴリズムをトレーニングしたり､
評価したりしています｡
つまり､ ゲームも全く同じ原理で､ 一定のルールがあるシミュレートされた環境､ 小さな環境､ 限定された環境で､
そのゲームの中で人工知能がどの程度うまく機能しているかを理解したいのです｡
そして､ ここで私たちは､ あなたがそれらの多くを見つけることができます正確にすべてのこれらのゲームを持っているオープンエアーのジムと私たちが働いてきたゲームを見つけることができます｡
例えば､ このセクションでは､ Breakoutを使用しています｡
だから､ ここにもあるんです｡
ブレイクアウトの場合､ 太字で表示され､ 最高のアルゴリズムが強調されているのがわかります｡
ですから､ DCNは私たちが使ってきたアルゴリズムであり､ その他にもいくつかのアルゴリズムがあります｡
そして､ A3C､ A3Cとlshtm long short term memoryがあります｡
ということで､ このパートで実装するのはこれです｡
LSHTMと一緒にa3cを持つことになり､ さらに強力になります｡
このように､ ブレイクアウトは3つのキーシステムによって最高の結果を得ることができるのです｡
だから､ そのスコアは66に聞こえる｡ 8を比較した｡
そしてまた､ そのほとんどに見ることができます｡
ですから､ 今､ 大きな絵のように見てみると､ 太字のものはほとんどこの最後の列にあることがわかります｡
そうですね､ 確かに他のアルゴリズムの方が性能が良いゲームもありますね｡
しかし､ ご覧の通り､ 実はどのゲームでもDCNはパフォーマンスが上がっていないのです｡
しかし､ 他のアルゴリズムがあることはおわかりいただけると思います｡
他のアルゴリズムの方が良い結果を出す場合もありますが､ ほとんどの場合､ チームが一番良い結果を出しています｡
だから､ 大胆なんだということがわかります｡
これは大胆に､ こっちは大胆に､ こっちは大胆に､ といった具合に｡
ですから､ a3cシステムは本当に強力なアルゴリズムであることがおわかりいただけると思います｡
まさに人工知能の最先端を行くものであり､ それを実装していくことになるのです｡
そのため､ 非常にエキサイティングなセクションが待っています｡
ぜひ､ このペーパーを読んで､ これからお話しすることを感じ取ってください｡
そして､ このセクションを通して､ また特に実用面､ ストローの実用的なセットを通して､ このことを詳しく説明していきます｡
ここでは､ 実際に彼らの疑似コードを使って作業します｡
そして､ それをどのように実装していくか､ 微妙なところですが､ その辺をご紹介します｡
ということで､ この紙面をお楽しみに！次回もよろしくお願いします｡
それまでは､ Iをお楽しみください｡