階層 ry 効率 ry 各レベルで学習されたパターンが上位のレベルで組み合わせて再利用 ry 学習時間とメモリ消費を非常に節約する。 説明のため、視覚 ry 。階層構造の最下位レベルでは、 脳は縁13や角などの視覚のごく一部分に関する情報を格納する。 縁は ry 基本的な構成要素である。これらの下位レベルのパターンは中間レベルで ry 曲線や模様などのより複雑な構成要素に集約される。 円弧は耳の縁 ry 車のハンドル ry カップの取っ手 ry 。これらの中間レベルのパターンはさらに集約されて、頭、車、家などの 高レベルな物体の特徴を表す。 高レベルな物体 ry 、その構成要素を再度学習する必要がなくなる。
ry 単語を学習 ry 文字や文節、発音を再度学習する必要はない。
階層構造間で表現を共有 ry 、予期される行動の一般化にもなる。 ry 動物を見 ry 、口や歯を見 ry 食 ry 噛 ry 予測 ry 。階層構造により、 ry 新しい物体がその構成要素が持つ既に分かっている特徴を 引き継いでいることを知ることができる。 05585572016/11/15(火) 17:26:54.57ID:miLjs+zj 一つの HTM 階層構造はいくつの事柄を学習 ry ？ 言い換えれば、階層構造にはいくつのレベルが必要 ry ？ 各レベルに割り当てるメモリと、必要なレベル数の間にはトレードオフ ry HTM は入力の統計及び割り当てられたリソースの量とから、 各レベルの最適な表現を自動的に学習 ry 多くのメモリを割り当 ry レベルはより大きくより複雑な表現を構成し、 従って必要となる階層構造のレベルはより少 ry 少ないメモリ ry 小さく単純な表現を構成し、 ry レベルはより多 ry
ここからは、視覚の推論14のような難しい問題について述べる （推論はパターン認識と似 ry ）。しかし多くの価値ある問題は視覚より単純で、 一つの HTM リージョンでも十分 ry Web ry どこをクリックするか予測 ry 。この問題は、一連の Web クリックのデータをHTM ネットワークに流し込 ry 。この問題では空間的階層構造はわずか ry 。解決策は主に時間的な統計 ry 一般的なユーザのパターンを認識することで、 ry どこをクリックするかを予測 ry
まとめると、階層構造は学習時間 ry メモリ消費を節約し、一般化 ry しかしながら、単純な予測問題の多くは一つの HTM リージョンでも解決 ry
リージョン 階層構造に連結されたリージョン15の表現は、生物学から ry 新皮質は厚さ 2mm ry 。生物学では主にそれらが互いにどのように接続 ry 基づいて、新皮質を異なる領域ないしリージョンに区分けする。 あるリージョンはセンサから直接入力 ry 、他のリージョンは他のいくつかのリージョンを経由 ry 。階層構造を決 ry ージョ ry ョンへの接続関係 ry
新皮質のすべてのリージョンの細部は似 ry サイズや階層構造の中のどこに位置 ry 違 ry 、その他は似ている。 厚さ 2mm の新皮質リージョンを縦にスライスしたなら、6 つの層 ry 。 5 つはセルの層で、1 つはセルではない層である（少しの例外 ry ）。 新皮質リージョンの各層はカラム状に数多くの相互接続されたセルがある。
HTM リージョンもまた、高度に相互接続されたセルがカラム状に配列された皮 ry 新皮質の第 3 層はニューロンの主要なフィード・フォワード層である。 HTM リー ry のセルはおおまかに言えば新皮質のリー ry 3 層にあるニューロンと等価 ry
図 １-３ HTM リージョンの区画。 ry 。セルは二次元のカラム状 ry 図では、1 カラム当たり 4 つのセル ry 小さな区画 ry 。各カラムは入力
15 region。体の部位、局部など ry 05625612016/11/18(金) 23:35:37.68ID:fnVQMg28 Page 16
の一部に接続され、各セルは同一リージョン内の他のセルに接続する（ ry 図 ry ない）。 この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry
HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、 複雑なデータ列の推論と予測 ry 多くの問題に有益 ry
疎分散表現 新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン だけが一度にアクティブになるように抑制ニューロンによって保護されている。 よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry 「疎」とは、わずかなパーセンテージのニューロンだけが一度にアク ry 。一つのアクティブなニューロンは何らかの意味表現に関わっているが、 いくつかのニューロンの文脈の中で解釈されて初めて完全に意味 ry
ry HTM リージョンの記憶の仕組みは疎分散表現に依存 ry 。 ry 入力 ry 疎であるとは限らないので、HTM リージョンが最初に ry 疎分散表現に変換 ry
ry リージョンが 20,000 ビットの入力 ry 。入力ビットの中の”1”や”0”の割合は、時間と共に非常に頻繁に変化 ry ry 、またあるときは 9,000 個のビットが”1”であったりする。 HTMリージョンはこの入力を 10,000 ビットの内部表現に変換して、 入力 ry の 2%にあたる 200 ビットが一度にアクティブになるようにする。 ry 入力が時間と共に変化するに従って、内部表現もまた変化するが、 10,000 ビットのうち約 200 ビットが常にアクティブになる。
リージョン内で表現可能なものの数よりも起こりうる入力パターンの数の方が ずっと大きいから、この処理によって多くの情報が失 ry 、と思 ry 。しかしながら、どちらの数も途方もなく大きい。 ry どのようにして疎表現を作成 ry 後述する。 ry 情報のロスは ry 問題にならない。 05635622016/11/19(土) 21:31:34.61ID:gXSL1qpI Page 17
図 １-４ HTM リージョンのセルが疎分散的にアクティブ ry
時間の役割 時間は、学習・推論・予測において極めて重要 ry
時間を用いなければ、我々は触覚や聴覚からほとんど何も推論できない。 ry 目が不自由だとして、誰かが貴方の手の上にりんごを置い ry 。りんごの上で指を動かせば、触覚から得られる情報が常に変化しているにも関わらず、 ry 貴方が持つ「りんご」という高レベルの認識 ― は変化しない。しかし ry 手や指先を動かしてはいけない ry レモンではなくりんごであると識別するのは非常に難 ry
同じことは聴覚 ry 。変化しない音はわずかな意味しか持たない。 「りんご」という言葉や、誰かがりんごを噛んだときの音などは、 時間と共に素早く順序的に変化する数十から数百の音階の列 ry
視覚は対照的に、混在したケースである。 ry 一瞬だけ ry でも識別可能 ry 必ずしも時間的な入力の変化を必要としない。しかし ry 常時、目や頭や体を動かしており、物体もまた周囲を動き回 ry 。素早 ry 視覚的変化 の中から推論する我々の能力は、視覚の統計的な特徴と長年の訓練によってもたら 05645632016/11/20(日) 22:51:17.90ID:gBNtPa9o Page 18
される特別なケース ry
学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry 。視覚では静的な画像の推論がときには可能なものの、 物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry 網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。 脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。 時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。
センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても 混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry 。もし発電所の温度・振動・雑音のパターンを認識するように HTM を訓練 ry これらのセンサの時間的な変化からもたらされるデータで訓練 ry
ry HTM ネットワークは多くのデータで訓練 ry 。HTM アルゴリズムの仕事は、 データの時系列の流れ ry どのパターンに続いて ry ーンが現れるかというモデルを構築 ry 。この時系列がいつ始まりいつ終わるのかがわからないので、この仕事は難しい。 同時に複数の時系列が重なりあって起こることもある。 学習は継続的に行われ、またノイズがある中で行われなければならない。
シーケンスの学習と認識は予測を形成する基準 ry ーンが他のどのパターンに続くかを HTM が学習すれば、 ry 現在の入力とその直前の入力に対して 次にどのパターンが現れる可能性が高いかを予測 ry
HTM の 4 つの基本的な機能に戻ろう：学習・推論・予測・行動16である。 各 HTMリージョンは最初の 3 ry 、学習・推論・予測を実行 ry しかし ry 行動は異なる。 生物学によれば、多くの新皮質のリージョンが行動を形成 ry しかし我々は、多くの興味深いアプリケーションにおいてこれは重要ではないと信
