アリソンが知っておくべきこと｡
そもそもインターネットって何？
インターネットは､ 巨大なコンピュータネットワークです｡
今､ 本当に大きくなっているもの｡
何を言っているんだ､ それは｡
どのように
何を書き込むのですか？
メールとか？
いいえ｡
多くの人が使い､ コミュニケーションをとっている｡
NBCのライターやプロデューサーとコミュニケーションが取れるのでしょう｡
アリソンさん､ インターネットとは何か､ 説明していただけますか？
なんて素晴らしいんでしょう｡
20年余り前､ 人々はインターネットが何であるかさえ知りませんでした｡
そして今日､ 私たちはこの製品がない生活を想像することさえできません｡
ディープラーニングAtoZコースへようこそ｡
私はキエラ・ラムコといい､ 共同指導者とともにポンティマスターに身を寄せています｡
今日は､ ディープラーニングとは何か､ なぜ今ピックアップされているのか､
簡単に説明します｡
では､ さっそく始めましょう｡
なぜ､ そのクリップを見てもらったのか？
そして､ こちらの写真は何でしょうか？
まあ､ この映像は1994年のものですが｡
1980年当時のパソコンの写真です｡
なぜ歴史を少し掘り下げているかというと､ ニューラルネットワークは､ ディープラーニングとともに､ かなり以前から存在していたのですが､
今になってようやく盛り上がり､ 世界に影響を与え始めているからです｡
しかし､ 80年代を振り返ってみると､ 60年代､ 70年代に発明されたものでも､
本当にトレンドに乗った､ あるいは風を受けたのは80年代なのです｡
だから､ みんなによく言われるようになったんです｡
その分野では多くの研究が行われ､ 誰もがディープラーニングやニューラルネットワークは世界に衝撃を与える新しいもので､
すべてを変え､ 世界の問題をすべて解決してくれると思っていました｡
そして､ その後10年以上かけてゆっくりと衰退していったという感じです｡
それでどうなったんですか？
なぜニューラルネットワークは生き残れなかったのか､ 世界を変えられなかったのか｡
その理由は､ 「物事の予測にそれほど長けていない」「モデリングにそれほど長けていない」「基本的に良い発明ではない」ということでした｡
それとも他に理由があるのでしょうか？
まあ､ 実は､ その理由や原因は目の前にあるのですが､ 当時の技術がニューラルネットワークを促進するのに適した水準に達していなかったということなのでしょう｡
ニューラルネットワークやディープラーニングを正しく動作させるためには､ 2つのことが必要です｡
データも必要だし､ 大量のデータも必要だし､ 処理能力も必要です｡
そのデータを処理し､ ニューラルネットワークを促進するために､ 強力なコンピューターが必要なのです｡
では､ どのようにすればいいのか､ 見てみましょう｡
データあるいはデータの保存が年々進化し､ そして技術がどのように進化してきたかを見ていきます｡
ここでは､ 1956年､ 1980年､ 2017年の3年分を用意したわけです｡
1956年当時､ ストレージはどのような状態だったのでしょうか｡
まあ､ ハードディスクもあるし､ そのハードディスクもメガバイトのハードディスクで5待ち程度なんですけどね｡
小さな部屋ほどの大きさのフォークリフトに､ 5メガバイトも入っているんですよ｡
それは､ ハードディスクが飛行機で別の場所に運ばれることです｡
1956年当時のストレージはこんな感じでした｡ ハードディスクを1カ月借りるのに､
買うのではなくて､ 会社が2.5万ドルも払って借りなければならなかったんです｡
1980年､ 状況は少し改善された｡
10メガバイトのハードディスクが3.5千円というのは､ まだ非常に高価で､ 10メガバイトしかないわけです｡
だから､ 最近は1枚の写真みたいなものですね｡
そして2017年の今日､ 150ドルで指に収まる256ギガバイトのSDカードを手に入れました｡
そして､ もしあなたが1年後､ あるいは2019年や2025年のようにこのビデオを見ていたら､ その頃にはさらに強力なストレージ容量を持っているので､
おそらく一人で笑っていることでしょう｡
しかし､ それにもかかわらず､ この指摘は有効です｡
そのため､ 価格やサイズを考慮した上で､ その時々のトレンドの容量で比較することになります｡
1956年から1980年まで､ 容量は約2倍に増え､ その後､ 約25,600倍になったわけです｡
そして､ 期間の長さですが､ そんなに変わりません｡
1956年から1982年までが24年1980年から2017年までが37年ということですね｡
つまり､ 時間はそれほど増えていませんが､ 技術的な進歩は大きく飛躍しているのです｡
そして､ これは直線的なトレンドではないことを示すものです｡
これは､ 技術の飛躍的な成長です｡
さらに､ 価格やサイズを考慮するために追加すると､ 数百万円の増額になります｡
そして､ ここでは実際に対数スケールのグラフを掲載しています｡
そこで､ ギガバイトあたりのハードディスクコストをプロットしてみると､ 次のようになります｡
今､ あっという間にゼロに近づいているんです｡
DropboxやGoogle Driveでストレージを取得することができ､ コストがかからない､ クラウドストレージ､
それはこれからも続くでしょう｡
そして実際､ 何年もかけて､ これがさらに進んでいくのです｡
今､ 科学者たちは､ DNAをストレージに利用することを検討しています｡
しかも今はかなり高い｡
2メガバイトのデータを合成するのに7000ドル､ それを読み込むのにさらに2000ドルかかるのです｡
しかし､ ハードディスクや飛行機の状況を考えると､ この方向で行けば､ 10年後､
20年後､ 誰もがDNAストレージを使うようになり､ 指数関数的なカーブを描いて､
非常に早く緩和されることになるでしょうね｡
そして､ その周辺の統計データを紹介します｡
さらに詳しく知りたい場合は､ このビデオを一時停止してください｡
これはネイチャー・ドット・コムからです｡
つまり､ 1グラムのDNAストレージに約10億テラバイトのデータを保存することができるのです｡
これは､ 私たちの進歩がいかに速いかを示すもので､ 超クールで超高性能なモデルを学習させるのに十分なデータがようやく揃った段階になって､
深層学習が盛り上がってきたということです｡
当時､ 80年代に初めて発明されたときは､ そうではありませんでした｡
そして2つ目は､ 処理能力の話です｡
ここで､ 対数スケールで再び指数曲線を描いてみましょう｡
ここでは理想的に描かれていませんが､ 右側は対数スケールで､ このようにコンピュータは進化してきたことが分かります｡
それでは､ もう一度､ このスライドを自由に一時停止してください｡
これをムーアの法則という｡
コンピュータの処理能力がいかに早く進化しているかは､ 皆さんもご存知の通りです｡
今､ 私たちは､ 1000ドルで買える平均的なコンピューターが､ ネズミの脳のスピードで考え､
25の間に人間か23の間のスピードになるようなところにいます｡
そして､ 2050年か2045年には全人類を合算して上回ることになるのです｡
つまり､ 私たちが想像するよりもはるかに速く物事を処理できる､ 非常に強力なコンピュータの時代が到来しているのです｡
そしてそれこそが､ ディープラーニングを促進しているのです｡
さて､ これらのことから､ ディープラーニングとは何かという疑問が湧いてきます｡
ニューラルネットワークというのは､ どういう状況なんですか？
何がどうなっているのでしょうか｡
ここで何の話をしてるんだ？
と､ こんな感じの写真､ 見たことあると思いますので､ 飛び込んでみましょう｡
ディープラーニングとは？
こちらのジェフリー・ヒントンさんは､ ディープのゴッドファーザーと呼ばれている方です｡
学習で､ 80年代にはディープラーニングの研究をしていました｡
そして､ 彼はたくさんの仕事をし､ たくさんの研究論文を『Deep Learning』に発表しています｡
今はグーグルに勤めている｡
ですから､ これからお話しすることの多くは､ 実はGeoffrey Hintonから来たものなのです｡
YouTubeにかなりの数の動画があるそうです｡
本当によく説明してくれるんです｡
だから､ ぜひチェックしてみてほしい｡
ディープラーニングの背後にある考え方は､ 人間の脳に注目することであり､ このチュートリアルでは神経科学をかなり取り上げることになるでしょう｡
そして､ 私たちがここでやろうとしているのは､ 人間の脳の働きを模倣することなのです｡
そして､ 私たちはそこまでわかっていないのです｡
人間の脳についてすべてを知っているわけではありませんが､ そのわずかな知識から､ それを模倣し､
再現したいと思うのです｡
それはなぜか？
なぜなら､ 人間の脳は､ この地球上で最も強力な学習ツールであり､ 学習し､ スキルを適応させ､ そしてそれを応用するためのツールであると思われるからです｡
それをコンピュータがコピーできれば､ 自然淘汰がすでに決めたことを活用すればいいわけです｡
そのようなアルゴリズムの中から､ 最適と判断されるものをすべて選んでいます｡
それを活用していくだけです｡
なぜ､ 自転車を再発明するのか？
そうですね｡
では､ ここでどう動くか見てみましょう｡
神経細胞もある
これは､ ガラスに塗られた神経細胞を､ 何らかの着色をして顕微鏡で見たものです｡
そして､ このような姿になるのです｡
胴体があって､ 枝があって､ 尻尾があって......といった具合です｡
だから､ 見ることができるのです｡
真ん中に核のようなものが入っているんです｡
これが､ 人間の脳の神経細胞の基本的な姿なのです｡
神経細胞は全部で約1,000億個あるそうです｡
これが個々の神経細胞なんですね｡
これは運動ニューロンで､ 大きくて見やすいからです｡
しかし､ それでも人間の脳には1,000億個の神経細胞があり､ 1つの神経細胞は約1,000もの隣の神経細胞とつながっているのです｡
では､ イメージをお伝えするために､ こんな感じです｡
これは､ 人間の脳の実際の断面図です｡
そして､ これが小脳で､ 脳の奥にあるこの部分です｡
行列のようなもの､ バランスを保つためのもの､ 言語能力のようなものを担っているのです｡
つまり､ これは神経細胞がいかに膨大であるか､ いかに多いかを示すものです｡
脳内では何十億もの神経細胞がつながっているようなものです｡
だから､ 5人とか500人とか1000人とか100万人とかいう話ではないんです｡
これは何十億という神経細胞があるんですよ｡
そう､ だから､ それを再現しようと思っているんです｡
では､ これをコンピュータの中でどう再現するか｡
さて､ 人工神経網と呼ばれる人工的な構造を作り､ ノードやニューロンを用意し､ 入力値としていくつかのニューロンを用意します｡
つまり､ これはある状況について知っている自分の価値観なのです｡
例えば､ 何かをモデリングして､ 何かを予測する場合､ 必ず何らかの入力､
つまり予測を開始するための何かが必要です｡
そして､ これが入力層と呼ばれるもので､ 次に出力があります｡
つまり､ 予測したいのは価値なのか､ 驚きなのか､ 誰かが銀行を出て行くのか､ それとも銀行に残るのか､
これは詐欺的な取引なのか､ ということです｡
これは本当の取引なのでしょうか？
といった具合に｡
これが出力層になるわけですね｡
そして､ その間に隠しレイヤーを用意するのです｡
ですから､ 脳を見ればわかるように､ 非常に多くの神経細胞があります｡
目､ 耳､ 鼻から入ってくる情報もあるわけです｡
基本的には自分の感覚なんですね｡
そして､ 自分が持っているものをすぐに出力するのではないのです｡
その結果は､ 出力に至るまでに､ これらの何十億､ 何百億､ 何千億というニューロンを通過することになります｡
そしてこれが､ 脳をモデル化するという全体のコンセプトです｡
だから､ 出力の前にある隠れ層が必要なんです｡
つまり､ 入力層､ 隠れ層のニューロンに接続されたニューロン､ 出力値に接続された隠れ層のニューロンです｡
それで､ これはこれでカッコいいんですよ｡
しかし､ これは一体どういうことなのでしょうか？
ディープラーニングはどこにあるのでしょうか？
なぜディープラーニングと呼ばれるのですか？
深い意味はないんです
まあ､ これはシャローラーニングと呼ばれるオプションのようなものですね｡
確かにあまりないですね｡
しかし､ なぜディープラーニングと呼ばれるのでしょうか？
まあ､ その後に次の段階に進むわけですから｡
それをさらに分離するのです｡
しかも､ 隠れ層は1つだけではありません｡
たくさんたくさん隠れたレイヤーがあって､ それを全部つなげていくんです｡
人間の脳と同じように､ あらゆるものを相互に関連づけているのです｡
こうして入力された値は､ 人間の脳と同じように､ すべての隠れ層を通して処理されるわけです｡
そして､ 出力値があり､ 今はディープラーニングの話をしています｡
つまり､ ディープラーニングとは､ 非常に抽象的なレベルの話なのです｡
さらなるチュートリアルでは､ ディープラーニングを解剖し､ 深く掘り下げていきます｡ このチュートリアルが終わる頃には､ ディープラーニングがどのようなものかを知り､
あなたのプロジェクトでどのように適用すればよいかを知ることができるでしょう｡
このカーンに超期待
次のチュートリアルでお会いできるのを楽しみに待っています｡
それまでは､ ディープラーニングを楽しんでください｡