こんにちは､ 皆さん｡
Breakoutの最終チュートリアルへようこそ｡
やあ､ みんな､ ここに来られてとても興奮しているし､ 『破滅』の後にまたみんなと会えてとても嬉しいよ｡
そこで今回は､ 「Doom」よりもはるかに難易度が高かったと記憶している「Breakout」の結果を見ることにする｡
だから､ いい結果が出ることを期待しよう｡
さて､ それでどうする？
では､ メインのコードを紹介します｡
そこで､ いくつかのコードを用意しました｡
すべてのコードはこちら､ メインコードはこちらです｡
つまり､ 他のすべてのコードを実行するためのコードです｡
そこで､ ニューラルネットワークを構築し､ クリテックのエージェントを訓練します｡
基本的には様子を見ながら実行するのですが､ 実際には数時間かかるので､
結果は待ちません｡
そうですね｡
そこで､ このテストフォルダに結果を用意しました｡
すでに映像がありますので､ この後すぐにお見せします｡
なるほど｡
ですから､ 実行するには､ 基本的には､ ここにあるコード全体を選択すればよいのです｡
わかりました｡
そして､ ご覧のように動画はポップな仕上がりになっています｡
なるほど｡
わかりました｡
だから今､ すでに2つのビデオがあり､ それから代理店がトレーニングをしているのですが､ 長い時間がかかりそうです｡
さて､ これからどうするかというと､ まだ見ていない結果を見守ることになります｡
まだ見ていないんですね｡
わかりました｡
そこで､ SESのウェブサイトにあるテンプレートフォルダの中に､ コメント無しのコードとコメント付きのコードの2つのフォルダがあります｡
だから､ たとえ細部を見逃したとしても､ このコードを見てもらうことができるのです｡
すべてのコメントをうまく説明していますね｡
だから､ 一行一行はわかるように入力してください｡
そして､ このフォルダの中にtestフォルダがあり､ このフォルダに動画が配置されることになります｡
なるほど｡
そこに動画があるわけです｡
これが､ 前回のトレーニングのビデオです｡
数時間かけてモデルを学習させ､ このような映像が得られました｡
そこで､ 1枚目から順番に見ていくことにします｡
そして､ 人工知能のプレイが勃発するかどうか､ そして､ なんとか解決できるかどうかを見ていきたいと思います｡
よし､ 見てみよう｡
それでは､ 最初の動画をご覧ください｡
この最初の動画はですね､ 実際にやることなんです｡
そうだ､ トレーニングを中止しよう｡ 今､ 私のコンピュータが遅くなっているんだ｡
だから
さて､ そんなこんなで中断してしまいましたが､ すべて順調です｡
そうですね｡
それでは､ 最初の動画をご覧ください｡
本当に1作目なので､ 本当にやばいことになりそうです｡
ペダルが動かなくなることもある｡
これでよしとしよう｡
動かないんです｡
なぜ､ まったく動かないのでしょうか？
だって､ 一番最初なんですもの｡
あいつはどうしたらいいのかわからないんだ｡
そして､ やはり画像の前処理ですね｡
だから､ そう､ 何もない｡
そしてそれは､ 2つ目のビデオにも言えることかもしれません｡
2つ目を見ると､ パネルはそうではないかもしれません｡
まだ動かないかもしれない｡
なるほど｡
では､ この人工知能をここまで見てきて､ どう思われますか？
そうですね｡
それは､ 地球のために多くのエネルギーを使っていたわけです｡
では､ 次のビデオでは､ 何かあるかもしれませんね｡
よし､ 少しはマシになったかな
ちょっと人工知能が与えすぎ｡
無駄でもない｡
ブレイクアウトするのか､ それとも｡
いいえ､ 違います｡
わかりました｡
さあ
何かカッコいいことしようよ｡
そうしよう｡
次回作に期待しましょう｡
そうですね｡
11秒になったので､ 何かを得ることができたと思います｡
これでよしとしよう｡
より良くなりました｡
なるほど､ これで目に目がつきましたね｡
見ることができます｡
何をやっているのかがわかる｡
そうですね｡
でも､ まだあまり速くはないんです｡
スマートじゃないんです｡
了解しました｡
でも､ もっといい｡
だから4つ｡
4つです｡
では､ 次の動画です｡
おお､ ずいぶん良くなったようですね｡
そうですね｡
もっと時間をかけて
そうですね｡
準備はいいですか？
そうですね｡
見てみよう｡
そうですね｡
なるほど｡
了解です｡
もう一枚ありますか？
いや､ 失ったのだ｡
そうですね｡
まだ完璧ではないけれど､ 間違いなく｡
人間が演奏しているようなものです｡
壊れるのは苦手だけど､ それでも､ みたいな｡
ようなものです｡
人間が遊ぶように｡
5歳､ 2歳の人間が遊んでいるような｡
なるほど｡
すごい｡
実際に手に入れているのです｡
そうですね｡
今､ 皆さんにお会いできてうれしいです｡
そうですね｡
でも､ なんか､ 変な戦術でボートを捕まえようとしてるみたいなんですよね｡
そうですね｡
ボールの行方を完璧に予測するようなものではありません｡
なるほど｡
良くなってほしいですね｡
27でだいぶ良くなりましたね｡
では､ 次の方｡
37をもう一度｡
それが27歳｡
これは30です｡
だから
なるほど｡
いや､ その時のことです｡
なるほど｡
あ､ そうか｡
今で言えば､ 5歳児ですね｡
なるほど｡
うーん｡
なかなかいいでしょ？
そうですね｡
そして今､ 少女は､ 牛はより速く進んでいる｡
だから､ もちろん､ もっと大変なんですが､ それでも､ よくやってくれています｡
では､ 今回は27に勝てるかどうか｡
23.
24.
28.
さあ､ どうぞ｡
ほらね｡
どんどん良くなっていますね｡
それはいい兆候だ｡
OC cool 93 lives next one.
おっとっと､ おっとっと｡
1分10秒
見てみよう｡
そこに直行する｡
かっこいいですね｡
これって絶対代名詞ですよね？
そうですね｡
しかも､ 超高速で散発的に動いているような感じなので､ 人機ではないことがわかる｡
はい｡
そして､ 無駄な動きを省くことにも力を入れていますが､ まだまだこれからです｡
ボールのスピードが速いときはどうなのか､ 見てみましょう｡
さて､ ブルスピンは何に依存しているのでしょうか？
どうだろう｡
だと思うんです｡
破壊するブロックの色に依存するのでしょうか？
そうかもしれませんね｡
それとも､ 適当に？
ランダムみたいだけど､ えーと､ 脱獄のルールを確認したほうがいい｡
ええ､ でも､ 今は本当に絶好調です｡
そうですね｡
34.
スコア
いいですね｡
まあね｡
本当に､ 本当によくやってくれています｡
そうそう､ 今､ 間違いなくa3cのプレイがブレイクしていますね｡
いいですね｡
ムービングリスト
うん､ これは良かった｡
つまり､ 私たちは記憶を持った脳を持っているようなものなのです｡
そうですね｡
目だけでなく
目がいいんです｡
素早く､ かなり素早くボールをキャッチすることができるんだ｡
しかし､ また､ それはいくつかのメモリを持っていますが､ ｡
どうだろう｡
自分の記憶力を使って､ 自分でブレイクアウトをプレイするか？
もちろんです｡
そうですね｡
なるほど｡
とてもよくできています｡
よくやった｡
さんへ｡
最後の1枚は？
最後の1枚です｡
ああ｡
55秒
だから少し少なめ｡
前作のスコアを覚えていますか？
少しでも改善されるかどうか､ 振ってみたのです｡
改善されないかもしれませんね｡
すべての動画
そうですね｡
それが78歳｡
なるほど｡
そうですね｡
それは､ おっしゃる通り､ 探究心によるものです｡
なるほど｡
これでよしとしよう｡
のために｡
なるほど｡
催眠術をかけるときは､ 音楽をかけたほうがいいと思うんだ｡
あなたならできる｡
彼女はステロイドのようなものです｡
左右にずっとクリックすること｡
しかし､ それは良いことをしているのでしょうか？
ええ､ でも､ ブレイクアウトというゲーム全体を解決するのではなく､ もっと訓練させればいいだけかもしれません｡
そうですね｡
それは､ 本当に､ いいことです｡
本当にいいんです｡
まあ､ いいや｡
ああ､ そうなんだ｡
ちょっと速すぎたかな｡
60.
だから､ もう一度スコアを叩き出してください｡
78があったんですね｡
そうですね｡
そうしたら､ 止まらなくなったんです｡
間違いなく､ いくつかのプレイブレイクアウトがあります｡
そうですね｡
いいですね｡
とても素晴らしい｡
すごい｡
というわけで､ 気に入っていただけたでしょうか？
そして何より､ このa3cのパワフルな実装を気に入っていただけたらと思います｡
M ええ､ その通りです｡
論文の最後には､ さまざまなアルゴリズムを比較して､ このアルゴリズムが圧倒的に優れているというようなことが書かれています｡
これらのモデルの他の比較が一番良いだけでなく､ 私はいくつかのモデルを経験したので､
STMなしのものを経験し､ 一緒に行きました｡
そして間違いなくシステムはアルゴリズムを向上させます｡
どれくらい良くなったのでしょうか？
ずっといい｡
私のように｡
ブレイクアウトをプレイする前にかろうじて人工知能があったのですが､ それは15秒か20秒くらいで､ 今回のように1分以上ということはありませんでした｡
うん､ うん､ いい感じ｡
それはいいことだ｡
なるほど､ クールだ｡
かっこいい｡
ありがとう､ みんな｡
ありがとうございました｡
それが3つ目のモジュールの終わりであり､ したがってコースの終わりでもあった｡
だから､ 3つのモジュールとほとんどa3cを完了したことを祝福します､ かなり大きな､ かなり大きな｡
そうですね｡
そして､ a3cに存在するさまざまなモディフィケーションを探求してください｡ もしかしたら､ あなたがこれを見ているとき､
3Cには本当にクールな新しい進化があり､ a3cよりもさらに優れた新しいモデルを持つことができるかもしれません｡
ええ､ 確かに｡
2018年はどうなるかな｡
なるほど｡
わかりました｡
皆さん､ ありがとうございます｡
ありがとうございます｡
さようなら｡