こんにちは､ 人工知能のコースにようこそ｡
今日のチュートリアルでは､ まず､ 深い畳み込みのキー学習について説明します｡
では､ その内容を見てみましょう｡
前回､ ディープラーニングについてお話しましたが､ エージェントがいる環境があり､ その環境を記述するベクトルがあり､
それがニューラルネットワークに供給されていました｡
そして､ 最後にQ値を出力として得ました｡
そしてもちろん､ ネットワークをどのように学習させるか､ その方法も明らかにしました｡
学習するところ｡
そのキュー値をもとに､ どのように行動が決定されるのか､ その仕組みを明らかにしました｡
それは､ アクションの部分ですね｡
そして､ アクションの選択ポリシーや､ ディープラーニングの仕組みについて､ さまざまな話をしました｡
しかし､ ここですべてのキーコンセプトは､ ここからどうやって実際の環境や状態からニューラルネットワークにたどり着くか､
ということです｡
さて､ 遷移はこちらの入力ベクトルです｡
つまり､ ニューラルネットワークの入力層で､ ベクトルなんですね｡
つまり､ 私たちが見ているのはOCなので､ 実は正しい表現ではありませんが､ 何も見ていないのです｡
代理店は基本的にこの情報を持っています｡
つまり､ 環境は､ 「あなたはエージェントで､ 現在この状態にあり､ あなたの状態はこのベクトルで表され､
この単純化した例では､ このベクトルx1 of 1, x2 of 2で表されます｡
つまり､ あなたの座標は1 2で､ それがあなたの状態全体なのです｡
より複雑な環境では､ 状態はエージェントが観察できる他のものを含むかもしれません｡
しかし､ ここでのポイントは､ ベクトルとして提起されていることです｡
そして､ GPSシステムなどを除けば､ 現実にはそんなことは起きないということです｡
でも､ 実際の生活では､ 何を使えばいいのでしょう？
ほとんどの場合ですか？
私たちは､ 五感を使い､ 目を使います｡
GPSでも､ 私たちの脳には組み込まれていません｡
脳を通して座標を伝えているわけではないのです｡
そのため､ 私たちはまだGPSを目で見て､ そこで何が起こっているのかを理解しています｡
それで､ これはAIがベクトルとして環境の情報みたいなものを得られるようにするためのごまかしのようなものです｡
シンプルすぎるのです｡
現実にはこうはいきません｡
それは人間としてどうかと思います｡
そして最終的には､ 人間と同じように活動できる人工知能､ つまり､ 人間と同じようにチャレンジできる人工知能を作りたいのです｡
人間の世界では､ そのようなことはなく､ その環境の中で自分が置かれている状態を説明する座標や他の種類のベクトルが出されているわけです｡
だから､ よりリアルにするために､ それを削除する必要があるんだ｡
そして､ それを何に置き換えることができるのか｡
情報を得るために､ 人間として何を見て､ 何をするのか｡
もちろん､ 私たちは五感を使って見ていますが､ 周りの世界について得る情報のほとんどは､
視覚から得ています｡
そして､ この小さな矢印を､ 畳み込みニューラルネットワークに変えていくわけです｡
これは別館の2号館からです｡
畳み込み層がありますが､ だからこそ､ 畳み込みニューラルネットワークとその仕組みにかなり慣れておくことが重要です｡
ですから､ 私たちのディープラーニングコースを受講された方であれば､ その点はご安心いただけると思います｡
また､ 別館をご覧いただくだけでも結構です｡
2つ目は､ 非常に優れた直感的なチュートリアルがあることです｡
ここで､ 畳み込み演算が行われるわけです｡
そこで､ 実際に画像として見てみることにします｡
つまり､ これはネット環境のイメージです｡
そうして､ エージェントは実際に環境を見ているのです｡
この場合､ 彼はその中から見ているのではなく､ 例えばコンピューター上でこのゲームをプレイしているとすると､
彼はこの環境を見ることができるので､ エージェントを表すこの図形が実際にどこにあるのかを見ることができます｡
だから､ この環境全体や､ 実際の迷路であれば人間が見るようなものを､ 内側から見ることができるのです｡
そうすれば､ 捜査官もまったく同じものを見ることができるはずです｡
つまり､ 彼が見たものは､ コンボリューションレイヤーを経て､ フルプーリングレイヤーを経て行われるのです｡
再びフラットニングを経ます｡
畳み込みニューラルネットワークの様々な部分については､ 附属書を参照してください｡
そして､ それを平坦化した後､ ニューラルネットワークへの入力を行うのです｡
人間が画像を処理するのと同じように､ エージェントも自分のサイトを使ったり､ 環境がエージェントに供給する画像を処理しなければならないので､
こちらの方がずっと現実的です｡
この優れた点は､ よりリアルで､ エージェントが人間のように見えるというだけでなく､
より複雑な環境を処理できることです｡
例えば､ 『Doom』などのゲームでも､ 誰かが作ったような情報のベクトルをこの環境で得るのではなく､
人工知能を人間である私たちの環境に接続することで､ 遊ぶことができるのです｡
この環境のビジョンを持つことになるのです｡
ですから､ 人間がこのゲームをしているときは､ まさにこの絵が見えていて､ それが人工ニューラルネットワークやエージェントが見ているものと同じなのです｡
さて､ このコースのこの部分で､ 実践的な教材をプログラミングするとき､ エージェントは実際にこの正確な画像を見ることになります｡
この人､ この銃､ この顔､ この割合､ すべてにおいて､ すべてのピクセルの正確な画像を得ることができるのです｡
まさに､ この通りです｡
それこそ､ エージェントが見ているようなものです｡
そして､ それを畳み込むように引っ張って､ 層を平らにして､ ニューラルネットワークに入れるのです｡
そして､ ニューラルネットワークは､ 実際にはもっと複雑なものになることは言うまでもない｡
そこで､ このようなものに置き換えてみましょう｡
これはあまり複雑なことではありません｡
これはちょっと複雑そうですね｡
しかし､ 実際には､ Atlanで作業し､ 作成することになるニューラルネットワークは､ 非常に興味深いものになるでしょう｡
これよりはるかに複雑なものになるでしょうね｡
しかし､ ここですでにお分かりのように､ 入力が2つから5つになっただけでも､ 事態はより複雑になってきます｡
さらに､ エージェントが行えるアクションがたくさんあることがおわかりいただけると思います｡
ドゥームのゲームでは､ 左右に曲がったり､ 下を向いたり､ 上を向いたり､ 走ったり､ 撃ったり､ リロードしたり､ ドゥームのようなファーストパーソンシューターで可能なさまざまなアクションがあるわけですね｡
さらに言えば､ このエージェントを別の種類のゲームに付けることができる､ というわけでもありません｡
なぜなら､ 環境という視覚的な表現がある限り､ その環境に関するすべてのインフラをすでに持っているからです｡
それを処理するために､ 全体の構造が出来上がっているのです｡
それが深層学習､ 畳み込み学習なんですね｡
だから､ さらに次のステップに進むのです｡
私たちは今､ エージェントの脳にすべての畳み込み層に畳み込みを追加し､ さらに複雑にしているのです｡
その結果､ 私たちはより複雑な課題を解決することができるようになり､ 報われるのです｡
ですから､ 壮大なセクションになることを大いに期待していますし､ 素晴らしいものを作り上げたいと思っています｡
そして､ 早く次のストーリーでお会いしたいです｡
そしてそれまで､ お楽しみに｡
I.