の一部に接続され、各セルは同一リージョン内の他のセルに接続する（ ry 図 ry ない）。 この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry
HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、 複雑なデータ列の推論と予測 ry 多くの問題に有益 ry
疎分散表現 新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン だけが一度にアクティブになるように抑制ニューロンによって保護されている。 よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry 「疎」とは、わずかなパーセンテージのニューロンだけが一度にアク ry 。一つのアクティブなニューロンは何らかの意味表現に関わっているが、 いくつかのニューロンの文脈の中で解釈されて初めて完全に意味 ry
ry HTM リージョンの記憶の仕組みは疎分散表現に依存 ry 。 ry 入力 ry 疎であるとは限らないので、HTM リージョンが最初に ry 疎分散表現に変換 ry
ry リージョンが 20,000 ビットの入力 ry 。入力ビットの中の”1”や”0”の割合は、時間と共に非常に頻繁に変化 ry ry 、またあるときは 9,000 個のビットが”1”であったりする。 HTMリージョンはこの入力を 10,000 ビットの内部表現に変換して、 入力 ry の 2%にあたる 200 ビットが一度にアクティブになるようにする。 ry 入力が時間と共に変化するに従って、内部表現もまた変化するが、 10,000 ビットのうち約 200 ビットが常にアクティブになる。
リージョン内で表現可能なものの数よりも起こりうる入力パターンの数の方が ずっと大きいから、この処理によって多くの情報が失 ry 、と思 ry 。しかしながら、どちらの数も途方もなく大きい。 ry どのようにして疎表現を作成 ry 後述する。 ry 情報のロスは ry 問題にならない。 05635622016/11/19(土) 21:31:34.61ID:gXSL1qpI Page 17
図 １-４ HTM リージョンのセルが疎分散的にアクティブ ry
時間の役割 時間は、学習・推論・予測において極めて重要 ry
時間を用いなければ、我々は触覚や聴覚からほとんど何も推論できない。 ry 目が不自由だとして、誰かが貴方の手の上にりんごを置い ry 。りんごの上で指を動かせば、触覚から得られる情報が常に変化しているにも関わらず、 ry 貴方が持つ「りんご」という高レベルの認識 ― は変化しない。しかし ry 手や指先を動かしてはいけない ry レモンではなくりんごであると識別するのは非常に難 ry
同じことは聴覚 ry 。変化しない音はわずかな意味しか持たない。 「りんご」という言葉や、誰かがりんごを噛んだときの音などは、 時間と共に素早く順序的に変化する数十から数百の音階の列 ry
視覚は対照的に、混在したケースである。 ry 一瞬だけ ry でも識別可能 ry 必ずしも時間的な入力の変化を必要としない。しかし ry 常時、目や頭や体を動かしており、物体もまた周囲を動き回 ry 。素早 ry 視覚的変化 の中から推論する我々の能力は、視覚の統計的な特徴と長年の訓練によってもたら 05645632016/11/20(日) 22:51:17.90ID:gBNtPa9o Page 18
される特別なケース ry
学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry 。視覚では静的な画像の推論がときには可能なものの、 物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry 網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。 脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。 時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。
センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても 混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry 。もし発電所の温度・振動・雑音のパターンを認識するように HTM を訓練 ry これらのセンサの時間的な変化からもたらされるデータで訓練 ry
ry HTM ネットワークは多くのデータで訓練 ry 。HTM アルゴリズムの仕事は、 データの時系列の流れ ry どのパターンに続いて ry ーンが現れるかというモデルを構築 ry 。この時系列がいつ始まりいつ終わるのかがわからないので、この仕事は難しい。 同時に複数の時系列が重なりあって起こることもある。 学習は継続的に行われ、またノイズがある中で行われなければならない。
シーケンスの学習と認識は予測を形成する基準 ry ーンが他のどのパターンに続くかを HTM が学習すれば、 ry 現在の入力とその直前の入力に対して 次にどのパターンが現れる可能性が高いかを予測 ry
HTM の 4 つの基本的な機能に戻ろう：学習・推論・予測・行動16である。 各 HTMリージョンは最初の 3 ry 、学習・推論・予測を実行 ry しかし ry 行動は異なる。 生物学によれば、多くの新皮質のリージョンが行動を形成 ry しかし我々は、多くの興味深いアプリケーションにおいてこれは重要ではないと信
16 behavior 0565yamaguti~貸2016/11/21(月) 23:55:02.41ID:6/tm5rB/>>554 AI エンジン ハードウェア http://news.mynavi.jp/articles/2016/05/20/deep_insights/001.html > 高効率の人工知能ハードウェアを開発するDeep Insightsを創立 ry > 開発するハードウェアはノイマン型 ry Deep Learningなど ry 大幅に高速化 ry > 7nmプロセスを使って速度と集積密度の双方を上げることで10倍、 > 磁界結合による ry を多チャンネル化(メモリ帯域100TB/s)してダイ上に ry 10倍、 > ダイナミックな計算精度変更を可能にして、低精度演算 ry 10倍 ry 全体では1,000倍 0566yamaguti~貸2016/11/22(火) 23:37:39.81ID:fDw5z9zc > ダイナミックな計算精度変更
学習 HTM リージョンは ry パターンとパターンのシーケンスを見つけることで、 その世界を学習する。 ry 入力が何を表しているのかを「知って」はいない。 ry 統計的 ry 入力ビット ry 頻繁に同時に起こる組み合わせを見ている。 ry これを空間的パターンと呼 ry パターンが時間と共にどのような順で現れるか ry これを時間的パターンないしシーケンスと呼んでいる。
ry 入力が建物の ry センサであるなら、リージョンは建物の北側や南側において、 ある温度と湿度の組み合わせがしばしば起こることを見つけるだろう。 そしてこれらの組み合わせが毎日移り変わる様子を学習 ry
ry 入力があるお店の購入に関する情報 ry 、週末にある種の雑誌が購入される ry 、天候が寒いときはある種の価格帯のものが夕方頃に好まれることを ry
一つの HTM リージョンは学習の能力が限定されている。 ry どれだけのメモリ ry 入力が ry 複雑 ry に応じて何を学習するかを自動的に調整する。 ry メモリが削減 ry 学習する空間的パターンはより単純 ry メモリが増加 ry 複雑になりうる。学習した空間的パターンが単純であれば、 複雑な画像を理解するにはリージョンの階層構造が必要となりうる。 我々はこの特徴を、人の視覚システムに見る ry 。網膜から情報を受け取る新皮質のリージョンは、 視覚的な小さな領域についてだけ、空間的なパターンを学習する。 階層 ry を経由した後にだけ、視覚の全体像を認識する。 05685672016/11/23(水) 12:52:31.78ID:IM1cuRG2 生物的システムと同様に、HTM リージョン ry オンライン学習 ry 新しい入力を受け取るごとに継続的に学習する。 学習 ry 推論が改善されるが、学習フェーズと推論フェーズとを分ける必要はない。 ry
推論 HTM が周囲の世界のパターンを学習すると、新しい入力について推論ができ ry 、以前に学習した空間的ないし時間的パターンと照合 ry 入力が以前に格納したシーケンスとうまく適合 ry が、推論とパターンマッチングの本質 ry
メロディをどうやって理解 ry 最初の音 ry 次の音 ry 十分では ry 普通は３，４，ないしそれ以上の音 ry 。HTM リージョンの推論も似 ry 継続的に入力列を見て、以前学習したシーケンスと照合 ry シーケンスの最初から ry が普通はもっと流動的で、 ry メロディがどこから始まっても貴方が理解できることと似 ry HTM リージョンは分散表現を用いるので ry シーケンスを記憶ないし推論することは上記のメロディの例よりも複雑 ry
貴方がセンサから新しい入力 ry すぐに明確になるとまでは言えないものの、 慣れ親しんだパターンを ry 容易に見つける ry 、例え老人であっても若い人 ry 、ほとんどの人が話す「朝食」という言葉を理解できる。 同じ人が同じ「朝食」という単語を百回発音しても、その音は二度と、 貴方の蝸牛殻17（音の受容体）を正確に同じように刺激することはないにも関わら ry 05715702016/11/27(日) 07:36:49.57ID:vHhUl6EA HTM リージョンも脳と同じ問題に直面する：入力は決して正確に繰り返されない。 さらに、ちょうど脳と同じように、 ry 推論や訓練の最中にも新しい入力 ry 対処する一つの方法は、疎分散表現 ry 。疎分散表現の鍵となる特徴は、パターンの一部
> ry 大きく分けて領野間 ry マクロ・コネクトームと、 ry ニューロン間のシナプス結合を表すミク ry
> 新皮質は6層 ry 、階層内(横方向)はミクロ・コネクトームによる密結合であり、主に時間系列 ry > 。階層間(縦方向)はマクロ・ ry 疎結合であり、主に静的パターンを処理する。 > 最下層では知覚の入力および筋肉への出力が行われ、最上層は意識あるいは論理的思考を司る。 > 階層を上昇する情報はフィードフォワード(FF)あるいはボトムア ry 下降 ry バック(FB)あるいはトップダ ry > 。これらの情報の流れはベイジアンネットワークの性質 ry
> ry 。深層学習におけるバック・プロパゲーションはFBとは別物である。実際の脳ではFB情報が重要 ry > 。FF情報とFB情報は必ずしも対称的ではない。FB情報の方がむしろ多 ry > 。さらに重要なのは階層内からの情報である。下の階層からくる情報は全体の5-10%にすぎない。 > ry HTM理論では階層内の横からの情報は遷移確率のような時間的情報である。 > ry 、ゼータ1ではFBを扱うがCLAでは扱えず、これはCLAの欠点である。
> 新皮質の6層構造間と領野間の情報の流れについても解明が進んでいる。 > 新皮質への情報はまず４層に入り、そこから2/3層に送られる。 > さらに上の階層へは直接の経路と視床を経由する2種類がある。 > 5層は運動を支配している。 > 6層からはFBで１層に入る。 > CLAアルゴリズムでは4層と2/3層は実装されているが、5層と6層は実装されていない。 05765752016/12/02(金) 18:45:32.64ID:HgThED5J > HTM理論の解説 > > ry 発展に伴い実装 ry 。Numentaの資料により初代のゼータ1 から CLA, Gen3, そして将来の Gen4 ry > 。以下では ゼータ1, CLA, Gen3 ry > ゼータ1 ry 、教師なし学習、木構造の階層構造、上の階層ほど空間的・時間的に不変性 ry > 、バッチ学習、学習と推論フェーズの分離 ry > 。学習は階層ごとに行われ、階層を上がるに従い空間プーリングと時間プーリングによ ry 不変性 ry > 。下層から上層へのFFだけでなく、上層から下層へのFBも実装されている。 > Vicarious ではゼータ1を発展させた Recursive Cortical Network 理論が実装 ry CAPTCHA を破る ry > > CLAは神経科学の知見を取り込み、 > 神経細胞の細胞体、基底樹状突起、遠隔樹状突起、尖端樹状突起、軸索などとモデルを対応付けている。 > 新皮質の６層構造において情報は三方向 ry 下の階層、上の階層、同じ階層の横方向から入ってくるが、 > 下からの入力は5％ほどで、残りの95％は上と横 ry 。CLAにおいては遠隔樹状突起を経由しての横方向 > からの入力を扱うことが、通常のニューラルネットワークの理論と異なっている。 > > CLAの主な特徴は、空間プーリング、時間プーリング、SDR (Sparse Distributed Representation, スパース表現) > によるデータ表現である。空間プーリングとは、ry 。時間プーリングとは、 ry 。 > SDR は、一つのパターンを多数のニューロン(コラム)のうちの複数のニューロン(コラム)で表現することで、 > 豊富な表現力と頑強性を実現している。実際の脳ではSDRが採用されている。 > ry 反対に一つのパターンを一つのニューロンで表現する方法は Point Neuron あるいは Localist 表現と呼ぶ。 > SDRの幾何学的表現は、基底樹状突起をHTM空間における短いベクトルとし、 > 下の階層の長いベクトルを多数の短いベクトルの和として表現していると考えられる。 > これをSDRのハリネズミモデル ry モデルの具体例として脳の集団符号化方式がある。 > Gen3 は CLA の後継として Numenta が2014年 ry 05775752016/12/03(土) 12:21:12.63ID:97cte86A>>575-576 http://webcache.googleusercontent.com/search?q=cache:wba-initiative.org/wp-content/uploads/2015/05/20160518-wba14-matuda.pdf05785702016/12/04(日) 17:39:24.40ID:VL9xSNhJ Page 21
分だけをマッチングするだけでほぼ確実にマッチ ry
予測 HTM の各リージョンはパターンのシーケンスを格納する。 ry 現在の入力とマッチングすることで、次に到着すると思われる入力の予測をする。 ry 実際には疎分散表現の間の変遷を記録する。 あるときはその変遷はメロディの中の音に見られるように線形のシーケンスであるが、 一般的な場合は将来入力される可能性があるものが同時に多数予測される。 HTM リージョンはときには長期間に及ぶ過去の文脈に基づいて異なる予測をする。ry 。
HTM の予測の鍵 ry
1) 予測は継続的 ry 貴方は特に意識していなくても継続的に予測 ry HTM も同じ ry 歌 ry 次の音 ry 。階段 ry 足がいつ次の段に触れるか ry 予測と推論はほとんど同じ ry 。予測は分離された処理ではなく ry 統合 ry
2) 予測は階層構造のすべてのレベルのすべてのリージョンで起こる ry 。リージョンはそれが既に学習したパターンについて予測 ry 。言語の例では、低レベルのリージョンでは次の音素を予測し、高レベル ry 単語や句 ry 05795782016/12/04(日) 17:40:14.36ID:VL9xSNhJ 3) 予測は文脈依存 ry 予測は過去に何が起こったか、そして現在何が起こっているかに基づいて行われる。 従って直前の文脈に基づいて、ある入力から異なった予測が行われることがある。 HTM リージョンは必要なだけのより多くの直前の文脈を用いて学習し、 短時間ないし長時間の両方の文脈を保持 ry 可変長記憶18 ry 例えば、暗唱 ry ゲティスバーグ演説19 ry 。次の単語を予
18 variable order memory 19 Gettysburg Address。「人民の人民による人民のための政治」のフレーズが有名。 ”Four score and seven years ago our fathers brought forth on this continent, a new nation, conceived in Liberty, and dedicated to the proposition that all men are created equal...” (以下略) 0580yamaguti~貸2016/12/05(月) 18:56:24.50ID:s5+vq0Ta 第五世代コンピュータ計画 = 大成功
2 > 理論が大事 ry 。やってみたら出来ました、結果が出ましたという研究が多い。 > ディープラーニング ry は、入力情報と出力情報を一致させる同じニューロン数から成る恒等写像を > 作ることを繰り返すのだけど、その際、途中（中間層）でニューロン数を絞るので非線形の情報圧縮が起き、 > ry 圧縮 ry 。だけど、それが何故上手くいって、何をやっているのかを理論的に解明しないと、 > 大きな飛躍にはならないと思います。 ry > 理論研究は世界的にあまり進んでいなくて、みんな使ってみて結果を出すことに熱中
5 > ディープラーニングに関しては、もっと数理をやらないと底が浅い話 ry 危惧 ry > 使ってみたら出来ましたっていう研究 ry も良いと思いますが、 > 僕らは数理の研究者なので、どうして上手くいくのかが分からないと僕らの研究にはならない 05875862016/12/10(土) 01:59:36.18ID:O8le5YJ4http://www.sankeibiz.jp/smp/aireport/news/160605/aia1606050700001-s3.htm > 「ディープラーニングを使って、動的なものすなわち時空間のダイナミクスを扱おうとすると、 > これまで失敗してきたことの繰り返しになると思います。 > ニューラルネットワークを使って、時空間のダイナミクスを扱う研究は何十年もされてきてはいますが、 ry > 。むしろ、そういった時空間情報を扱う手法は、既に数学的に ry 。ディープラーニングは要素技術としては
測するには、現在の単語だけでは全く不十分 ry ”and” の次に “seven” が来ることもあれば、 ry 。ときにはほんの少しの文脈で予測 ry “four score and” と分かれば次の “seven”を予測できる。 他の場合はフレーズが繰り返される場合 ry 、より長い文脈を使う必要がある。
4) 予測は安定化に ry あるリージョンの出力はその予測である。 HTM の特徴の一つは、リージョンからの出力はより安定 ry 。安定とはつまり、階層構造の上位に行くほどよりゆっくりと変化し、長く継続 ry 。リージョンは ry 可能なときは時間軸の複数ステップ先 ry 5 ステップ先 ry 。新しい入力 ry 、新たに予測されたステップは変化するが、 しかしそのうちの 4 つの既に予測されたステップは変化しない。 ry 、出力の一部だけが変化するので、出力は入力よりも安定化している。 ry 。 歌の名前のような高レベルの概念は、 ry 音のような低レベルの概念よりもゆっくり ry
5) ry 、新しい入力が予期されたものか予期しないものかが分かる 各リージョンは ry 、予期せぬ事 ry 知ることができる。 HTM は次の入力として起こりうる ry 一度に多数予測 ry 正確に予測できるわけではないが、 ry どの予測にも一致しないとき、何か普通でないこと ry
6) 予測はシステムをノイズにより強く ry HTM ry 、推論をその予測に従う方向へ向かわせる ry 話し言葉 ry 、次にどんな音が、単語が ry 予測により、欠落したデータを埋め合わせ ry あいまいな音 ry 予測していることに基づいてその音を解釈 ry 、ノイズ ry 推論 ry
