(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net
※このスレは、下記の本家スレから分かれた分家スレです。転載に関する規定は本家に準じます。
■現在の本家スレ
(強いAI)技術的特異点/ｼﾝｷﾞｭﾗﾘﾃｨ(世界加速) 13 [転載禁止]c2ch.net
http://wc2014.2ch.net/test/read.cgi/future/1426647717/
本家スレの話題のうち、科学・技術系で『専門的な』話題を特に扱います。
スレ成立のきっかけ
・技術的特異点の関わる分野は非常に幅広く、浅い部分から深い部分までレベルも様々で、多様な人が集まっている
・上記を前提として、科学・技術系で専門的な内容に集中しやすいように、ノイズ（特に不毛な論争）を減らしたい
・これにより、興味がある者同士の意思疎通困難性、過去ログ参照の困難性などが解消される
ただし性質上、本家との区分は厳密には困難です。
むしろ同じ内容が扱われても構いません。
本家は雑談寄り、ここではより専門色を強く、とご理解下さい。
■姉妹スレ
(AIとBI)技術的特異点と経済･社会等 1 (天国or地獄) [転載禁止]©2ch.net
http://wc2014.2ch.net/test/read.cgi/future/1427004849/
■関連スレ
人工知能
http://wc2014.2ch.net/test/read.cgi/future/1286353655/ 松田先生ご資料 Page 8
http://webcache.googleusercontent.com/search?q=cache:www.ssken.gr.jp/MAINSITE/event/2016/20161028-joint/lecture-03/SSKEN_joint2016_MatsudaTakuya_presentation.pdf#8
PEZY Computing/ExaScaler/Ultra Memory3社連合+WBAI+Project N.I. 汎用人工知能開発・特異点創出ロードマップ
旧版 http://news.mynavi.jp/articles/2016/05/20/deep_insights/001.html
次世代スパコン PEZY Computing/ExaScaler/UltraMemory
2017年中? → 更新 2017年6月
100 PetaFLOPSスパコン（プレ・エクサスケール）
・世界初の100 PetaFLOPS
・超メニーコア「PEZY-SC2」
・磁界結合積層DRAM「UM1」
・液浸冷却（二重合）
2019年中? → 更新 2018年11月
1 ExaFLOPSスパコン
（エクサスケール）
・世界初の1 ExaFLOPS
・超々メニーコア「PEZY-SC3」
・磁界結合積層DRAM「UM2」
・液浸冷却（三重合＋熱音響）
前特異点創出 2025年頃 人工知能エンジン Deep Insights
2018年
「仮説立案までを行える新人工知能エンジン」
・世界最高演算性能
・世界最高消費電力性能
・世界最高メモリ帯域
・現在の1,000倍超の性能
・Edge側、Server側双方
・自動運転等にも適応化
「新」産業革命での当面の競争力確保 2020年頃
汎用人工知能 Project N.I.
2020年頃
汎用人工知能用ハードウェア開発
・磁界結合で無線結合
・超極薄ウェハ積層
・Connectome機能実現
2030年頃
汎用人工知能
（世界初のAGI）
・マスターアルゴリズム
・ソフトウェアレス
・自己進化機能
特異点創出 Page 12
ry 。HTM のメモリは階層的な構造であり、時刻の概念が内在している。
情報は常に分散型の様式で保存される。HTM の利用者は階層のサイズを指定し、
何に対してそのシステムを訓練するのかを決める。 ry
HTM ネットワークは ry 、階層構造、時間と疎分散表現（ ry ）の主要機能を包含する限り、
我々は汎用的なコンピュータを使ってモデル化することができる。
我々はいずれ、HTM ネットワークに特化したハートウェアを作ることになる ry
本書では我々は HTM の特徴と原理を、人の視覚・触覚・聴覚・言語・行動を例にして表す。
ry 。しかしながら、HTM の能力は汎用的であることを心に留め ry
。HTM は学習と予測の機械であり、様々な種類の問題に適用可能である。
HTM 原論
ry なぜ階層的な組織が重要なのか、HTM のリージョンはどのように構成されるか、
なぜデータを疎分散表現で格納するのか、なぜ時間ベースの情報がクリティカルであるのか。
階層構造
ry 。リージョンは HTMにおける記憶と予測の主要構成要素 ry 。
通常、各 HTMリージョンは階層構造の 1 レベルを表す。
階層構造を上がるに伴って、常に集約11がある。
子リージョンの複数の要素が親リージョンの一つの要素に集約 ry
階層構造を下がるに伴って、フィードバック接続による情報の発散12がある。
（リージョンとレベルはほとんど同義 ry 。リージョンの内部的な機能 ry 「リージョン」の用語 ry
、特に階層構造の中でのリージョンの役割を指すときに「レベル」の用語を用いる）
11 convergence
12 divergence Page 13
図 １-１ ４階層の階層構造に配置された４つの HTMリージョンを単純化して表した図。
情報は階層間及び階層内部で通信 ry
複数の HTM ネットワークを結合することもできる。 ry 。
例えば、一つのネットワークが音声情報を処理し、他 ry が映像情報を処理する場合 ry
。各個別のネットワークがトップに向かうにつれて集約 ry
図 １-２ 異なるセンサから集約するネットワーク Page 14
階層 ry 効率 ry 各レベルで学習されたパターンが上位のレベルで組み合わせて再利用 ry
学習時間とメモリ消費を非常に節約する。
説明のため、視覚 ry 。階層構造の最下位レベルでは、
脳は縁13や角などの視覚のごく一部分に関する情報を格納する。
縁は ry 基本的な構成要素である。これらの下位レベルのパターンは中間レベルで ry
曲線や模様などのより複雑な構成要素に集約される。
円弧は耳の縁 ry 車のハンドル ry カップの取っ手 ry
。これらの中間レベルのパターンはさらに集約されて、頭、車、家などの
高レベルな物体の特徴を表す。
高レベルな物体 ry 、その構成要素を再度学習する必要がなくなる。
ry 単語を学習 ry 文字や文節、発音を再度学習する必要はない。
階層構造間で表現を共有 ry 、予期される行動の一般化にもなる。
ry 動物を見 ry 、口や歯を見 ry 食 ry 噛 ry 予測 ry
。階層構造により、 ry 新しい物体がその構成要素が持つ既に分かっている特徴を
引き継いでいることを知ることができる。 一つの HTM 階層構造はいくつの事柄を学習 ry ？
言い換えれば、階層構造にはいくつのレベルが必要 ry ？
各レベルに割り当てるメモリと、必要なレベル数の間にはトレードオフ ry
HTM は入力の統計及び割り当てられたリソースの量とから、
各レベルの最適な表現を自動的に学習 ry
多くのメモリを割り当 ry レベルはより大きくより複雑な表現を構成し、
従って必要となる階層構造のレベルはより少 ry
少ないメモリ ry 小さく単純な表現を構成し、 ry レベルはより多 ry
ここからは、視覚の推論14のような難しい問題について述べる
（推論はパターン認識と似 ry ）。しかし多くの価値ある問題は視覚より単純で、
一つの HTM リージョンでも十分 ry
Web ry どこをクリックするか予測 ry
。この問題は、一連の Web クリックのデータをHTM ネットワークに流し込 ry
。この問題では空間的階層構造はわずか ry 。解決策は主に時間的な統計 ry
一般的なユーザのパターンを認識することで、 ry どこをクリックするかを予測 ry
13 edge。へり・ふち。
14 inference http://rio2016.2ch.net/test/read.cgi/future/1478753976/795
> 795 ：オーバーテクナナシー：2016/11/16(水) 11:52:11.84 ID:BYy/Er5p
> 【 考察メモ 】深層学習モデル設計者 が、人間 脳の神経回路（コネクトーム）
> 形成・変容メカニズム から 学ぶべきこと、学ぶべきでないこと
> http://qiita.com/HirofumiYashima/items/abd68a6070a6ddf27ec2
http://rio2016.2ch.net/test/read.cgi/future/1478753976/844
> 844 : yamaguti~kasi 2016/11/16(水) 21:47:25.64 ID:om/S71rA
> >>795
>> あらゆる方向に（直交格子座標でなく）ニューロンを並べ ry すべての組み合わ ry
>> 「結合あり（非零の結合荷重）・結合なし（零の結合荷重）を定義」
>> すると、ほとんどのニューロン ry 結合荷重は、零になり、疎な多次元行列 ry 計算量
> http://rio2016.2ch.net/test/read.cgi/future/1427220599/551#558
> http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#16
>
>> 『コネクトーム:脳の配線はどのように「わたし」をつくり出すのか』本 ry 『再』配線 ry
>> ・ ry 結合の軸索 or 樹状突起を切り落とす（＝結合荷重を零に ry と、
>> ・ ry 存在しなかった ry 樹状突起（軸索も？）を生長させる（結合荷重を零から非零に ry
>> との同時発生
> #25#26#33-36#75 Page 15
まとめると、階層構造は学習時間 ry メモリ消費を節約し、一般化 ry
しかしながら、単純な予測問題の多くは一つの HTM リージョンでも解決 ry
リージョン
階層構造に連結されたリージョン15の表現は、生物学から ry
新皮質は厚さ 2mm ry 。生物学では主にそれらが互いにどのように接続 ry
基づいて、新皮質を異なる領域ないしリージョンに区分けする。
あるリージョンはセンサから直接入力 ry
、他のリージョンは他のいくつかのリージョンを経由 ry
。階層構造を決 ry ージョ ry ョンへの接続関係 ry
新皮質のすべてのリージョンの細部は似 ry
サイズや階層構造の中のどこに位置 ry 違 ry 、その他は似ている。
厚さ 2mm の新皮質リージョンを縦にスライスしたなら、6 つの層 ry 。
5 つはセルの層で、1 つはセルではない層である（少しの例外 ry ）。
新皮質リージョンの各層はカラム状に数多くの相互接続されたセルがある。
HTM リージョンもまた、高度に相互接続されたセルがカラム状に配列された皮 ry
新皮質の第 3 層はニューロンの主要なフィード・フォワード層である。
HTM リー ry のセルはおおまかに言えば新皮質のリー ry 3 層にあるニューロンと等価 ry
図 １-３ HTM リージョンの区画。 ry 。セルは二次元のカラム状 ry
図では、1 カラム当たり 4 つのセル ry 小さな区画 ry 。各カラムは入力
15 region。体の部位、局部など ry Page 16
の一部に接続され、各セルは同一リージョン内の他のセルに接続する（ ry 図 ry ない）。
この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry
HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、
複雑なデータ列の推論と予測 ry 多くの問題に有益 ry
疎分散表現
新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン
だけが一度にアクティブになるように抑制ニューロンによって保護されている。
よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ
のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry
「疎」とは、わずかなパーセンテージのニューロンだけが一度にアク ry
。一つのアクティブなニューロンは何らかの意味表現に関わっているが、
いくつかのニューロンの文脈の中で解釈されて初めて完全に意味 ry
ry HTM リージョンの記憶の仕組みは疎分散表現に依存 ry 。
ry 入力 ry 疎であるとは限らないので、HTM リージョンが最初に ry 疎分散表現に変換 ry
ry リージョンが 20,000 ビットの入力 ry
。入力ビットの中の”1”や”0”の割合は、時間と共に非常に頻繁に変化 ry
ry 、またあるときは 9,000 個のビットが”1”であったりする。
HTMリージョンはこの入力を 10,000 ビットの内部表現に変換して、
入力 ry の 2%にあたる 200 ビットが一度にアクティブになるようにする。
ry 入力が時間と共に変化するに従って、内部表現もまた変化するが、
10,000 ビットのうち約 200 ビットが常にアクティブになる。
リージョン内で表現可能なものの数よりも起こりうる入力パターンの数の方が
ずっと大きいから、この処理によって多くの情報が失 ry 、と思 ry
。しかしながら、どちらの数も途方もなく大きい。
ry どのようにして疎表現を作成 ry 後述する。 ry 情報のロスは ry 問題にならない。 Page 17
図 １-４ HTM リージョンのセルが疎分散的にアクティブ ry
時間の役割
時間は、学習・推論・予測において極めて重要 ry
時間を用いなければ、我々は触覚や聴覚からほとんど何も推論できない。
ry 目が不自由だとして、誰かが貴方の手の上にりんごを置い ry
。りんごの上で指を動かせば、触覚から得られる情報が常に変化しているにも関わらず、
ry 貴方が持つ「りんご」という高レベルの認識 ― は変化しない。しかし ry
手や指先を動かしてはいけない ry レモンではなくりんごであると識別するのは非常に難 ry
同じことは聴覚 ry 。変化しない音はわずかな意味しか持たない。
「りんご」という言葉や、誰かがりんごを噛んだときの音などは、
時間と共に素早く順序的に変化する数十から数百の音階の列 ry
視覚は対照的に、混在したケースである。 ry 一瞬だけ ry でも識別可能 ry
必ずしも時間的な入力の変化を必要としない。しかし ry
常時、目や頭や体を動かしており、物体もまた周囲を動き回 ry 。素早 ry 視覚的変化
の中から推論する我々の能力は、視覚の統計的な特徴と長年の訓練によってもたら Page 18
される特別なケース ry
学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry
。視覚では静的な画像の推論がときには可能なものの、
物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry
網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。
脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。
時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。
センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても
混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry
。もし発電所の温度・振動・雑音のパターンを認識するように HTM を訓練 ry
これらのセンサの時間的な変化からもたらされるデータで訓練 ry
ry HTM ネットワークは多くのデータで訓練 ry 。HTM アルゴリズムの仕事は、
データの時系列の流れ ry どのパターンに続いて ry ーンが現れるかというモデルを構築 ry
。この時系列がいつ始まりいつ終わるのかがわからないので、この仕事は難しい。
同時に複数の時系列が重なりあって起こることもある。
学習は継続的に行われ、またノイズがある中で行われなければならない。
シーケンスの学習と認識は予測を形成する基準 ry ーンが他のどのパターンに続くかを
HTM が学習すれば、 ry 現在の入力とその直前の入力に対して
次にどのパターンが現れる可能性が高いかを予測 ry
HTM の 4 つの基本的な機能に戻ろう：学習・推論・予測・行動16である。
各 HTMリージョンは最初の 3 ry 、学習・推論・予測を実行 ry しかし ry 行動は異なる。
生物学によれば、多くの新皮質のリージョンが行動を形成 ry
しかし我々は、多くの興味深いアプリケーションにおいてこれは重要ではないと信
16 behavior >>554
AI エンジン ハードウェア
http://news.mynavi.jp/articles/2016/05/20/deep_insights/001.html
> 高効率の人工知能ハードウェアを開発するDeep Insightsを創立 ry
> 開発するハードウェアはノイマン型 ry Deep Learningなど ry 大幅に高速化 ry
> 7nmプロセスを使って速度と集積密度の双方を上げることで10倍、
> 磁界結合による ry を多チャンネル化(メモリ帯域100TB/s)してダイ上に ry 10倍、
> ダイナミックな計算精度変更を可能にして、低精度演算 ry 10倍 ry 全体では1,000倍 > ダイナミックな計算精度変更
一例 URR ( 浜田穂積先生 ) Page 19
じている。よって行動は現在の HTM の実装に含まれていない。 ry
学習
HTM リージョンは ry パターンとパターンのシーケンスを見つけることで、
その世界を学習する。 ry 入力が何を表しているのかを「知って」はいない。
ry 統計的 ry 入力ビット ry 頻繁に同時に起こる組み合わせを見ている。
ry これを空間的パターンと呼 ry パターンが時間と共にどのような順で現れるか ry
これを時間的パターンないしシーケンスと呼んでいる。
ry 入力が建物の ry センサであるなら、リージョンは建物の北側や南側において、
ある温度と湿度の組み合わせがしばしば起こることを見つけるだろう。
そしてこれらの組み合わせが毎日移り変わる様子を学習 ry
ry 入力があるお店の購入に関する情報 ry 、週末にある種の雑誌が購入される ry
、天候が寒いときはある種の価格帯のものが夕方頃に好まれることを ry
一つの HTM リージョンは学習の能力が限定されている。
ry どれだけのメモリ ry 入力が ry 複雑 ry に応じて何を学習するかを自動的に調整する。
ry メモリが削減 ry 学習する空間的パターンはより単純 ry
メモリが増加 ry 複雑になりうる。学習した空間的パターンが単純であれば、
複雑な画像を理解するにはリージョンの階層構造が必要となりうる。
我々はこの特徴を、人の視覚システムに見る ry
。網膜から情報を受け取る新皮質のリージョンは、
視覚的な小さな領域についてだけ、空間的なパターンを学習する。
階層 ry を経由した後にだけ、視覚の全体像を認識する。 生物的システムと同様に、HTM リージョン ry オンライン学習 ry
新しい入力を受け取るごとに継続的に学習する。
学習 ry 推論が改善されるが、学習フェーズと推論フェーズとを分ける必要はない。 ry
ry HTM は学習し続けることもできるし、訓練フェーズの後に学習を無効化することも ry
、階層構造の下位レベルでは学習を無効化し、上位レベルでは学習を続けることもできる。
HTM が ry の統計的構造を学習したら、多くの学習は階層構造のより上位 ry
。もし HTM が下位レベル ry 新しいパターンに触れたら、これらの新しいパター >>http://rio2016.2ch.net/test/read.cgi/future/1479349196/772
>772 : yamaguti~kasi 2016/11/24(木) 22:14:53.06 ID:gvzci1Hb
> 難易度
> 精神転送 > ネット生命体化
>
> >342 : YAMAGUTIseisei 2016/09/22(木) 15:11:35.05 ID:PmVnGSgy
>>> 内容紹介 ry 日本には大逆転の隠し球 ry 1~3位を独占 ry 齊藤元章氏が手がけるNSPU
>> http://google.jp/search?q=matuda+takuya+sinsyo+ai+OR+al
>
>>>NSPU → 人格融合 射程寸前 http://ja.catalyst.red/articles/saito-watanabe-talk-6# >>65
>>> 応用 : 精神融合 ( やレディーの前ですが電脳セоクス ) 技術に直結 ( 鏡像 >>111 )
>
>http://rio2016.2ch.net/test/read.cgi/future/1473812514/441# BCI
>http://wc2014.2ch.net/test/read.cgi/future/1444213055/444# haamonii
>889 ：846~転：2016/01/04(月) 13:50:26.45 ID:6ASy9gR+
> 融合 → アップロード ( ※ 但し AI との完全融合は不可能 ( >>873 ) → AL と融合 ) Page 20
ンを学習するのにより長時間必要 ry 。既に知っている言語の新しい単語を学習するのは
比較的容易 ry 慣れない発音の外国語の ry 、まだ下位レベルの発音を知ら ry
単にパターンを見つけることは、価値の高い可能性を秘めている。
マーケットの変動、病状の変化、天候、工場の生産、送電系統のような複雑なシステムの
障害などの、高レベルなパターンを理解することはそれ自体に価値がある。
それでも空間的・時間的パターンを学習することは推論と予測に先立って必要となる。
推論
HTM が周囲の世界のパターンを学習すると、新しい入力について推論ができ ry
、以前に学習した空間的ないし時間的パターンと照合 ry
入力が以前に格納したシーケンスとうまく適合 ry が、推論とパターンマッチングの本質 ry
メロディをどうやって理解 ry 最初の音 ry 次の音 ry 十分では ry
普通は３，４，ないしそれ以上の音 ry 。HTM リージョンの推論も似 ry
継続的に入力列を見て、以前学習したシーケンスと照合 ry シーケンスの最初から ry
が普通はもっと流動的で、 ry メロディがどこから始まっても貴方が理解できることと似 ry
HTM リージョンは分散表現を用いるので ry
シーケンスを記憶ないし推論することは上記のメロディの例よりも複雑 ry
貴方がセンサから新しい入力 ry すぐに明確になるとまでは言えないものの、
慣れ親しんだパターンを ry 容易に見つける ry
、例え老人であっても若い人 ry 、ほとんどの人が話す「朝食」という言葉を理解できる。
同じ人が同じ「朝食」という単語を百回発音しても、その音は二度と、
貴方の蝸牛殻17（音の受容体）を正確に同じように刺激することはないにも関わら ry HTM リージョンも脳と同じ問題に直面する：入力は決して正確に繰り返されない。
さらに、ちょうど脳と同じように、 ry 推論や訓練の最中にも新しい入力 ry
対処する一つの方法は、疎分散表現 ry 。疎分散表現の鍵となる特徴は、パターンの一部
17 cochleae。かぎゅうかく。耳の奥にある渦巻き状の感覚器官。 >268 : オーバーテクナナシー 2016/09/20(火) 10:29:28.04 ID:lWJpK4O6
> >> ry 。量子テレポーテーションでは、「いつ転送されたか」が受信側には分からないため、
> 別経路の従来の（光などの）通信が必要 ry
> https://ja.m.wikipedia.org/wiki/量子テレポーテーション
>
> 319 : オーバーテクナナシー 2016/09/21(水) 15:50:42.70 ID:W1zU7Hj5
> >>268
> 事前にいつ送信するかを決 ry
>
>>http://rio2016.2ch.net/test/read.cgi/future/1473812514/322
> 322 : YAMAGUTIseisei 2016/09/21(水) 18:32:10.83 ID:oXyswuUP
> >>319 データレコーダ ( や RS-232C ? ) の冗長ヘッダ → 自動待合せ
量子状態 反転 ( 方向 ) 推論 充分可能 > 707 : オーバーテクナナシー 2016/11/23(水) 23:53:27.58 ID:uc5KgrCv
> GoogleのAI翻訳ツールは独自の内部的言語を発明したようだ、そうとしか言えない不思議な現象が
> http://jp.techcrunch.com/2016/11/23/20161122googles-ai-translation-tool-seems-to-have-invented-its-own-secret-internal-language/
> 708 : オーバーテクナナシー 2016/11/24(木) 00:03:18.73 ID:FV9AmA+z
> GoogleのAI翻訳ツールは独自の内部的言語を発明したようだ、そうとしか言えない不思議な現象が
> http://jp.techcrunch.com/2016/11/23/20161122googles-ai-translation-tool-seems-to-have-invented-its-own-secret-internal-language/
>
> javaでいう中間言語的なモノ？
>710 : yamaguti~kasi 2016/11/24(木) 00:24:02.77 ID:gvzci1Hb
>>707
>484 : 481 2016/10/05(水) 17:22:58.19 ID:Pxo2DYci
> ※b4b 幻影実在大深度再帰自律オ... 素因数分解 素韻枢分解 素因枢分解
> 透過可視ニューロン必然融合 ( Rite スタック ) 自律簡易言語創発
>
> ※b4c 自律イメージ言語 → イメージ言語ベースイメージ自律認識
>→ イメージベーステキスト非連続コード層創発 ry
>>384 >>484
>>708
>577 : yamaguti~kasi 2016/11/14(月) 15:49:45.51 ID:NnxIikfK
>> = 物理空間融合レンダ = 仮想空間融合レンダ = 意味空間融合レンダ = 人格システム
> 意味粒度概念空間
>>379 >> http://rio2016.2ch.net/test/read.cgi/future/1480118427/481-485
>>539-
第14回全脳アーキテクチャ勉強会 「深層学習を越える新皮質計算モデル」報告レポート
３．大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal Memory (HTM)理論 (NPO法人 あいんしゅたいん 松田卓也氏)
http://wba-initiative.org/ja/1653/
> コネクトームと新皮質内の情報の流れ
> ry 大きく分けて領野間 ry マクロ・コネクトームと、 ry ニューロン間のシナプス結合を表すミク ry
> 新皮質は6層 ry 、階層内(横方向)はミクロ・コネクトームによる密結合であり、主に時間系列 ry
> 。階層間(縦方向)はマクロ・ ry 疎結合であり、主に静的パターンを処理する。
> 最下層では知覚の入力および筋肉への出力が行われ、最上層は意識あるいは論理的思考を司る。
> 階層を上昇する情報はフィードフォワード(FF)あるいはボトムア ry 下降 ry バック(FB)あるいはトップダ ry
> 。これらの情報の流れはベイジアンネットワークの性質 ry
> ry 。深層学習におけるバック・プロパゲーションはFBとは別物である。実際の脳ではFB情報が重要 ry
> 。FF情報とFB情報は必ずしも対称的ではない。FB情報の方がむしろ多 ry
> 。さらに重要なのは階層内からの情報である。下の階層からくる情報は全体の5-10%にすぎない。
> ry HTM理論では階層内の横からの情報は遷移確率のような時間的情報である。
> ry 、ゼータ1ではFBを扱うがCLAでは扱えず、これはCLAの欠点である。
> 新皮質の6層構造間と領野間の情報の流れについても解明が進んでいる。
> 新皮質への情報はまず４層に入り、そこから2/3層に送られる。
> さらに上の階層へは直接の経路と視床を経由する2種類がある。
> 5層は運動を支配している。
> 6層からはFBで１層に入る。
> CLAアルゴリズムでは4層と2/3層は実装されているが、5層と6層は実装されていない。 > HTM理論の解説
>
> ry 発展に伴い実装 ry 。Numentaの資料により初代のゼータ1 から CLA, Gen3, そして将来の Gen4 ry
> 。以下では ゼータ1, CLA, Gen3 ry
> ゼータ1 ry 、教師なし学習、木構造の階層構造、上の階層ほど空間的・時間的に不変性 ry
> 、バッチ学習、学習と推論フェーズの分離 ry
> 。学習は階層ごとに行われ、階層を上がるに従い空間プーリングと時間プーリングによ ry 不変性 ry
> 。下層から上層へのFFだけでなく、上層から下層へのFBも実装されている。
> Vicarious ではゼータ1を発展させた Recursive Cortical Network 理論が実装 ry CAPTCHA を破る ry
>
> CLAは神経科学の知見を取り込み、
> 神経細胞の細胞体、基底樹状突起、遠隔樹状突起、尖端樹状突起、軸索などとモデルを対応付けている。
> 新皮質の６層構造において情報は三方向 ry 下の階層、上の階層、同じ階層の横方向から入ってくるが、
> 下からの入力は5％ほどで、残りの95％は上と横 ry 。CLAにおいては遠隔樹状突起を経由しての横方向
> からの入力を扱うことが、通常のニューラルネットワークの理論と異なっている。
>
> CLAの主な特徴は、空間プーリング、時間プーリング、SDR (Sparse Distributed Representation, スパース表現)
> によるデータ表現である。空間プーリングとは、ry 。時間プーリングとは、 ry 。
> SDR は、一つのパターンを多数のニューロン(コラム)のうちの複数のニューロン(コラム)で表現することで、
> 豊富な表現力と頑強性を実現している。実際の脳ではSDRが採用されている。
> ry 反対に一つのパターンを一つのニューロンで表現する方法は Point Neuron あるいは Localist 表現と呼ぶ。
> SDRの幾何学的表現は、基底樹状突起をHTM空間における短いベクトルとし、
> 下の階層の長いベクトルを多数の短いベクトルの和として表現していると考えられる。
> これをSDRのハリネズミモデル ry モデルの具体例として脳の集団符号化方式がある。
> Gen3 は CLA の後継として Numenta が2014年 ry Page 21
分だけをマッチングするだけでほぼ確実にマッチ ry
予測
HTM の各リージョンはパターンのシーケンスを格納する。 ry
現在の入力とマッチングすることで、次に到着すると思われる入力の予測をする。
ry 実際には疎分散表現の間の変遷を記録する。
あるときはその変遷はメロディの中の音に見られるように線形のシーケンスであるが、
一般的な場合は将来入力される可能性があるものが同時に多数予測される。
HTM リージョンはときには長期間に及ぶ過去の文脈に基づいて異なる予測をする。ry 。
HTM の予測の鍵 ry
1) 予測は継続的 ry
貴方は特に意識していなくても継続的に予測 ry HTM も同じ ry
歌 ry 次の音 ry 。階段 ry 足がいつ次の段に触れるか ry
予測と推論はほとんど同じ ry 。予測は分離された処理ではなく ry 統合 ry
2) 予測は階層構造のすべてのレベルのすべてのリージョンで起こる
ry 。リージョンはそれが既に学習したパターンについて予測 ry
。言語の例では、低レベルのリージョンでは次の音素を予測し、高レベル ry 単語や句 ry 3) 予測は文脈依存 ry
予測は過去に何が起こったか、そして現在何が起こっているかに基づいて行われる。
従って直前の文脈に基づいて、ある入力から異なった予測が行われることがある。
HTM リージョンは必要なだけのより多くの直前の文脈を用いて学習し、
短時間ないし長時間の両方の文脈を保持 ry 可変長記憶18 ry
例えば、暗唱 ry ゲティスバーグ演説19 ry 。次の単語を予
18 variable order memory
19 Gettysburg Address。「人民の人民による人民のための政治」のフレーズが有名。
”Four score and seven years ago our fathers brought forth on this continent, a new nation,
conceived in Liberty, and dedicated to the proposition that all men are created equal...” (以下略) >>http://rio2016.2ch.net/test/read.cgi/future/1480859621/59
> 59 : yamaguti~kasi 2016/12/05(月) 20:14:39.07 ID:s5+vq0Ta
> 専門分野違いながら
>
> 強い AI 理論 : HTM ( 予測 テンポラル系時間管理 )
> ｜
> ｜ 入力応用 ? ( 一層切出し 多層化 ? )
> ↓
> 弱い AI 実装 : DeepLearning ( 外部タスク 内部ビュー 等 → 自己改良用分割余地 )
> ｜
> ｜ フレーム自体モデル化 ? ( → 自己改良転用パーツ化余地 )
> ↓
> 弱い AI 実装 : Deep PredNet ( 予測 )
>DeepLearning ( 外部タスク 内部ビュー 等 → 自己改良用分割余地 )
｜
｜ 外部タスク 内部ビュー 等 動的化 外部化
↓
DNC ( 自律傾向芽生え 長期記憶 http://rio2016.2ch.net/test/read.cgi/future/1475655319/939# ) >207 : yamaguti~kasi 2016/12/07(水) 00:40:01.72 ID:i949cOw9
> >>航空機 戦艦
> >899 : YAMAGUTIseisei 2016/11/04(金) 21:09:51.02 ID:O8dhrfC/
>> 32 bit 版 ARM の肝はそこではない
> >>航空機へのゲームチェンジに耐える非戦艦型スパコン設計
>
> >740 : yamaguti~kasi 2016/12/03(土) 22:40:41.28 ID:97cte86A
>> >>600
>>> 将来には脳の全てをエミュレーションできるAIの開発も研究
> >最初からоみ ( 現状版 64bitARM 不о合 )
>> http://rio2016.2ch.net/test/read.cgi/future/1476925488/899
>
>http://rio2016.2ch.net/test/read.cgi/future/1480118427/568# tyuugoku
>>527
> >>525-526
> http://google.jp/search?q=arm+32+meirei-hyou+OR+asenburi+OR+futuu%89%BB
http://google.jp/search?q=tronchip+meirei+kansetu
http://rio2016.2ch.net/test/read.cgi/future/1480118427/946# interconnect
>> >もっと言えば電子頭脳そのもの = AI ( AL ) 変形スパコン戦艦航空機
>>182 >>381 >>531-534 do?omo 1996 年頃 Web アンケート ( 携帯電話 拡張案 )
→ メディア化案 投稿 ( アイデア料に付いて付記 具体例 SYSTEM2 音源エミュ )
NetScapeNavigator キャッシュのバックアップが残っている筈 >>http://rio2016.2ch.net/test/read.cgi/future/1480859621/364-365
ポストヒューマン = 単に AI 装備 ?
>713 : YAMAGUTIseisei 2016/11/02(水) 18:56:57.88 ID:2rq/lQF2
> ※ 但し AI とはまともには融合できない ⇔ 融合可 → AL ( かネイティブモーフィック NSPU )
> http://wc2014.2ch.net/test/read.cgi/future/1450893538/889# YuugouFukanou
※ 但し Fixstars : Cell 蓄積 → 航空機スパコン 射程 ?
http://rio2016.2ch.net/test/read.cgi/future/1480118427/946# koukuuki
http://google.jp/search?q=cell+nettowa-ku+OR+off-chip-ac0+bif/ioif0
http://google.jp/search?q=kutaragi+net+tokasu
ttp://google.jp/search?q=cellbe+network-gata+sekkei+eib
>>582
ttp://yahoo.jp/UUNk3s?#Sponsor_-_CellBE http://www.sankeibiz.jp/smp/aireport/news/160605/aia1606050700001-s1.htm
> ーニングの顔ニューロンが表現する内容は静的ですが、脳の顔ニューロンは非線形のダイナミクス ry
> 。猿の脳 ry 、顔ニューロンが、刺激の後しばらくは人と猿を区別するみたいな大まかな分類をやり、
> もう少し時間が経つと、より詳細な個を区別したり、表情を区別したりしだすのです。
> つまり時間とともに表現する内容が変わっていく。
> このダイナミクスが脳の本質で、それがない人工ニューラルネットワークは脳とは全然違うものなのです。
>>562 >>564 >>578
http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#22#26#28-30#32#38-41#54#63#70#73#77#80
2
> 理論が大事 ry 。やってみたら出来ました、結果が出ましたという研究が多い。
> ディープラーニング ry は、入力情報と出力情報を一致させる同じニューロン数から成る恒等写像を
> 作ることを繰り返すのだけど、その際、途中（中間層）でニューロン数を絞るので非線形の情報圧縮が起き、
> ry 圧縮 ry 。だけど、それが何故上手くいって、何をやっているのかを理論的に解明しないと、
> 大きな飛躍にはならないと思います。 ry
> 理論研究は世界的にあまり進んでいなくて、みんな使ってみて結果を出すことに熱中
5
> ディープラーニングに関しては、もっと数理をやらないと底が浅い話 ry 危惧 ry
> 使ってみたら出来ましたっていう研究 ry も良いと思いますが、
> 僕らは数理の研究者なので、どうして上手くいくのかが分からないと僕らの研究にはならない http://www.sankeibiz.jp/smp/aireport/news/160605/aia1606050700001-s3.htm
> 「ディープラーニングを使って、動的なものすなわち時空間のダイナミクスを扱おうとすると、
> これまで失敗してきたことの繰り返しになると思います。
> ニューラルネットワークを使って、時空間のダイナミクスを扱う研究は何十年もされてきてはいますが、 ry
> 。むしろ、そういった時空間情報を扱う手法は、既に数学的に ry 。ディープラーニングは要素技術としては
>>555 >>564 >>567-568
#32#36#40#48
>>581
4
> 大脳皮質は、視覚も聴覚も触覚の部分も基本的に同じ六層構造で、構造自体に汎用性があります。
> 単にそこに入ってくる情報が違うだけで、基本原理は同じはずです。
http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#11#12#65-67#69 4
> 人工知能が語られる時、ほとんどの場合はソフトウェア ry
> 、ハードウェアのことが触れられることは極めて少ない。
> 「あと、ハードウェアの研究をやらないと革新的なものは作れない ry
> 。日本は伝統的にニューロンのハードウェア化の分野で世界をリード ry
> 。今ではニューロモーフィック
>>555
> HTM ネットワークは ry 、階層構造、時間と疎分散表現（ ry ）の主要機能を包含する限り、
> 我々は汎用的なコンピュータを使ってモデル化することができる。
> 我々はいずれ、HTM ネットワークに特化したハートウェアを作ることになる ry
>>554
> 人工知能エンジン Deep Insights
> 汎用人工知能 Project N.I.
> 汎用人工知能用ハードウェア開発
> ・Connectome機能実現
> 汎用人工知能
> （世界初のAGI）
> ・マスターアルゴリズム
> ・ソフトウェアレス Page 22
測するには、現在の単語だけでは全く不十分 ry ”and” の次に
“seven” が来ることもあれば、 ry 。ときにはほんの少しの文脈で予測 ry
“four score and” と分かれば次の “seven”を予測できる。
他の場合はフレーズが繰り返される場合 ry 、より長い文脈を使う必要がある。
4) 予測は安定化に ry
あるリージョンの出力はその予測である。
HTM の特徴の一つは、リージョンからの出力はより安定 ry
。安定とはつまり、階層構造の上位に行くほどよりゆっくりと変化し、長く継続 ry
。リージョンは ry 可能なときは時間軸の複数ステップ先 ry 5 ステップ先 ry
。新しい入力 ry 、新たに予測されたステップは変化するが、
しかしそのうちの 4 つの既に予測されたステップは変化しない。
ry 、出力の一部だけが変化するので、出力は入力よりも安定化している。 ry 。
歌の名前のような高レベルの概念は、 ry 音のような低レベルの概念よりもゆっくり ry
5) ry 、新しい入力が予期されたものか予期しないものかが分かる
各リージョンは ry 、予期せぬ事 ry 知ることができる。
HTM は次の入力として起こりうる ry 一度に多数予測 ry
正確に予測できるわけではないが、 ry
どの予測にも一致しないとき、何か普通でないこと ry
6) 予測はシステムをノイズにより強く ry
HTM ry 、推論をその予測に従う方向へ向かわせる ry
話し言葉 ry 、次にどんな音が、単語が ry 予測により、欠落したデータを埋め合わせ ry
あいまいな音 ry 予測していることに基づいてその音を解釈 ry 、ノイズ ry 推論 ry
HTM リージョンの、シーケンス記憶、推論、予測は緊密に統合 ry >528 : yamaguti~kasi 2016/11/14(月) 02:55:31.59 ID:NnxIikfK
> 人ооい `` 見たまえ私には私も含む膨大なネットが接合されている。
> アクセスしていない君には、 ただ光として知覚されているだけかもしれないが。 ''
無色無受想行識
>>494
> 大自然普遍互換 ( 認識宇宙システム 有機天然ネット 根源意味リンクネット 縁 )
> 大自然普遍憑依基盤 ( 大自然融合 相互乗入 )
> 有機天然根源ネットダイビング ( 時間軸 )
> 論理物理ワープ 千里眼
> BTRON/Ru?yOS : private ⇔ public
> 疑似入滅支援システム
: Page 23
行動20
我々の行動は我々が感じることに影響を及ぼす。
目を動かすに従って、網膜は変化する入力を受け取る。
手や指を動かせば、触った感触が変化する様子が脳に届く。
我々の ry 動作は、我々が感じることを変化させる。
センサ入力と筋肉運動は緊密に絡み合っている。
数十年来の主要な見方では、
新皮質の単一のリージョンである第 1 運動野が、新皮質内で運動を指令 ry
その後、新皮質内のほとんどないしすべてのリージョンは、
低レベルの感覚野でさえ、運動に関する出力を出していることが分かった。
すべての皮質性リージョンは感覚と運動機能とを統合 ry
運動指令を生成することは予測することと似 ry
現存のフレームワーク中の各 HTM リージョンに運動出力を加える ry 。 ry 。
HTM の実装に向けての進捗状況
ry HTM 大脳皮質性学習アルゴリズム ry 、基本的なアーキテクチャは健全 ry
。これに続く３つの章は現在のアルゴリズムの状況を述べる。
この理論の多くの構成要素はまだ実装されていない。注意21、
リージョン間のフィードバック、特定のタイミング、センサ入力と行動の統合など ry
20 behavior
21 attention 粗粒度 : 関数等 ( 評価関数 ⇔ 特徴量 )
細粒度 : ニューロン ( モーフィック型ニューロン : 自律傾向増 ) 今泉大輔氏「脳髄にインジェクションして欲しいのか？リモートコントロールで廃人になりたいのか？」
http://togetter.com/li/50199 Page 24
第２章： HTM 大脳皮質性学習アルゴリズム
ry 。第３章と第４章は疑似コードを用いて学習アルゴリズムの実装方法 ry
用語説明
ry ニューロサイエンスの用語を使用する。セル22、シナプス23、
シナプス候補24、樹状突起セグメント25、カラム26などの用語 ry
。学習アルゴリズムは理論上の必要に応じてニューロサイエンスの細部に照らし ry
。しかし ry 性能の問題 ry 働きを理解したと感じたときには処理速度を向上させる別の方法 ry
、生物学的な詳細に厳格にこだわるのではなく、同じ結果が得られさえすれば ry
ニューロサイエンスの用語 ry としばしば違う ry
。付録 ry HTM 学習アルゴリズムとニューロ生物学的に等価 ry 相違点・類似点 ry
セル状態
ry セルは３つの出力状態 ry 。フィード・フォワード入力によりアクティブな状態、
横方向の入力によりアクティブな状態（これは予測を表す）、アクティブでない状態である。
最初の出力状態はニューロンのアクション状態による短時間のはげしい出力27に相当する。
２つ目の出力状態はもっとゆっくりとした、安定した出力28に相当
22 cell
23 synapse
24 potential synapse
25 dendrite segment
26 column
27 a short burst of action potentials in a neuron >502 : yamaguti~kasi 2016/12/16(金) 12:12:06.60 ID:2MPdD9+O
> 価値貯蔵システム = 記憶システム
> ネイティブ記憶システム = ネイティブマスターアルゴリズム
>512 : yamaguti~kasi 2016/12/16(金) 12:40:04.58 ID:2MPdD9+O
>> 近似三次元空間 + α
> 価値貯蔵システム ≠ 物質システム
> 価値貯蔵システム ≠ 数値システム
raw 記憶 テンポラル記憶 : HTM
→ 非物体サービス価値ライブ貯蔵
情報物理統一動記憶システム ≒ 科学哲学大統一理論 = raw マスターアルゴリズム
http://rio2016.2ch.net/test/read.cgi/future/1475986330/501
http://rio2016.2ch.net/test/read.cgi/future/1475986330/380-381 >>597 http://rio2016.2ch.net/test/read.cgi/future/1481497226/518
>499 : yamaguti~kasi 2016/12/16(金) 11:54:38.67 ID:2MPdD9+O
> http://rio2016.2ch.net/test/read.cgi/future/1479349196/378# SeisanButuUrimono
>
> × 価値を評価するモノサシ、評価基準として通貨は必要
> △ 価値を評価するモノサシ、評価基準として何かは必要
> ○ 価値を評価する、何かは必要
帳簿ベース価値貯蔵 ( 経済学 ) ⇔ 動的テンポラル記憶システムベースライブ価値貯蔵 >>599
× http://ｍ.youtube.com/watch?v=3KrArkmPo4A
○ http://m.youtube.com/watch?v=3KrArkmPo4A
× 非リンク
○ 被リンク Page 25
する。 ry これら２つのアクティブ状態以上の詳細なモデル化の必要性はない ry
個々のアクション状態の強さの程度、アクティビティの発生頻度を表すスカラー量
などはモデル化する必要性を見いだせない。分散表現の利用は、
セルのアクティビティの程度を表すスカラー量をモデル化することを凌駕 ry
樹状突起セグメント
HTM セルは比較的リアルな（ ry 複雑な）樹状突起モデルを持つ。各 HTM セルは理論的に
一つの主要樹状突起セグメント29と 10~20 個の末梢樹状突起セグメント30を持つ。
主要樹状突起セグメントはフィード・フォワード入力 ry
末梢樹状突起セグメントは周辺のセルからの横方向の入力 ry
抑制セルは同じカラム中の全てのセルが
類似のフィード・フォワード入力に対して応答するように強制する。
単純化のため、各セルごとの主要樹状突起セグメントを取り除き、
同じカラム中のすべてのセルで共有する一つの主要樹状突起セグメントで置き換えた。
空間プーリング関数（後述）はカラム単位で、共有の樹状突起セグメントに対して作用する。
時間プーリング関数はカラム中の個々のセル単位で、末梢樹状突起セグメントに対 ry
。生物学的にはカラムに接続するような樹状突起セグメントは存在しない ry
この単純化は同等 ry シナプス
ry 二値のウェイトを持つ。生物学上のシナプスは可変値のウェイト ry 確率的・不安定 ry
生体ニューロンはシナプスのウェイト値の正確な値に依存しているはずがない ry
。HTM の分散表現及び我々の樹状突起の計算モデルを利用すれば、
HTM シナプスに二値のウェイトを割り当てても何ら悪影響はないはずである。
シナプスの形成及び切断をモデル化 ry ２つの追加 ry ニューロサイエンスから援用した。
一つ目は、シナプス候補の概念である。これは樹状突起セグメントに十分近い位置を通る
すべての軸索を表し、シナプスを形成する可能性があるものである。
二つ目は、永続値である。これは各シナプス候補に割り当てられたスカラー値である。
ry 軸索と樹状突起の間の接続の度合 ry 度合は生物学的には、完全に分離した状態から、
接続はしていないがシナプスを形成し始めた状態、最小限にシナプスが接続した状態、
大きく完全にシナプスが接続された状態に至るまでの範囲を取る。シナプスの
28 a slower, steady rate of action potentials in a neuron
29 proximal dendrite segment。樹状突起のうち、ニューロンの中心部に近い部分。
30 distal dendrite segment。樹状突起のうち、末端に近い部分。
distalは末梢（まっしょう）・末端の意味。ちなみに末梢神経は peripheral nerve という。 Page 26
永続値は 0.0 から 1.0 まで ry 。学習にはシナプスの永続値の増加や減少が含まれる。
シナプスの永続値がしきい値を超えたら、ウェイト値 1 で接続されたことを表す。
しきい値より下回っていたら、ウェイト値 0 で切断 ry
概要
仮に読者が HTM リージョンだ ry 。貴方の入力は数千ないし数万のビット ry
センサ入力データや、階層構造の下位の他のリージョンから来たデータである。
それらは複雑にオン・オフしている。これらの入力に対して貴方は何が出来るか？
我々はその答えを単純な形態で既に説明した。
各 HTM リージョンはその入力の共通のパターンを探し、 ry シーケンスを学習する。
シーケンスの記憶から、各リージョンは予測 ry
もう少し説明 ry 以下の３ステップ ry
1) 入力の疎分散表現を作成する
2) 以前の入力の文脈に基づいて、入力の表現を作成する
3) 以前の入力の文脈に基づいて、現在の入力からの予測をする ry 詳細 ry
1) 入力の疎分散表現を作成する
リージョンへの入力を想像するには、それを巨大なビット列と考えるとよい。
脳内ではこれらはニューロンからの軸索にあたる。任意の時点で、
これらの入力のある部分はアクティブ（値１）、他の部分は非アクティブ（値０）である。
アクティブな入力ビットの比率は変化する。例えば0%から60%としよう。
HTMリージョンで行う最初の事は、この入力を疎な新しい表現に変換 ry
。例えば、入力のうち40%がオンかも知れないが、新しい表現では2%だけがオン ry
。HTMリージョンは論理的にはカラムの集合 ry カラムは1又はそれ以上のセルから成る。
カラムは論理的には2Dの配列状に配置できるが、これは要件ではない。
ry 各カラムは入力ビットのユニークな部分集合（普通は他のカラムと重なるが、
完全に同じ部分集合になることはない）に接続される。結果として、
異なる入力パターンからは、レベル全体では異なるカラムのアクティベーションを得る。
最も強いアクティベーションを得たカラムは、
弱いアクティベーションを得たカラムを抑制、ないし非アクティブ化する。
（抑制は非常に局所的範囲からリージョン全体までの範囲で変化する円の ry ）入力 >>http://rio2016.2ch.net/test/read.cgi/future/1481515915/261
>>582 >599
> TRONCHIP 間接アドレッシング ( マスターアルゴリズム 自発的対称性の破れ ) 機構 MMU キュー応用 > 452 : yamaguti~kasi 2016/12/25(日) 09:43:54.36 ID:HhtfNWQ8
> ○ 弱い AI 組合せ方式 : 実用上問題ない ( + 高効率 ) → 日ノ本 悲願のプラットフォーム掌握 ( AI )
> × 他の方式 ( 全脳型 ) : 考慮に値せず ( 上記方式欠点なし )
>
> ↑ 弱い AI 応用 基盤 着々 ( 国家予算 )
> 松尾先生 : 恐らくマルチビューマルチタスク等にも関わる深層学習次世代理論でご先行
> 山川先生 : ( 全脳型応用にせよ ) Deep PredNet ( 組合せ型深層学習拡張 + HTM 要素 ? )
> http://rio2016.2ch.net/test/read.cgi/future/1427220599/581
>763 : YAMAGUTIseisei 2016/09/30(金) 18:17:20.94 ID:/EmvfkU+
>http://rio2016.2ch.net/test/read.cgi/future/1472305818/782#785
>http://rio2016.2ch.net/test/read.cgi/future/1472305818/806-808 >>609
> 449 : YAMAGUTIseisei~kasi 2016/12/25(日) 03:30:09.16 ID:HhtfNWQ8
> シンギュラリティスレに相応しい大切な議論 ( 議題 )
> ※ 但し 失礼ながら些か脱線の傾向 ( 議題の中の肝の部分が大切 )
>496 : yamaguti~kasi 2016/12/25(日) 23:35:42.88 ID:HhtfNWQ8
> >>452
> 流れ
> LSf1DgBH 氏文脈
http://rio2016.2ch.net/test/read.cgi/future/1476925488/210# SaiRyuudoKa
http://rio2016.2ch.net/test/read.cgi/future/1476925488/949# Sukoaringu http://rio2016.2ch.net/test/read.cgi/future/1481515915/274#290
>274 : オーバーテクナナシー 2016/12/23(金) 16:01:53.21 ID:qoXUV7bO
> ディープラーニングに必要な計算量を30分の1に省力化、デバイスに搭載できる人工知能 ─三菱電機インタビュー
>http://iotnews.jp/archives/44190
> ry 係数が0になる部分をできるだけ増 ry 計算を簡略化 ry
> ─重みづけに使う係数が0になるところを増やして計算をできるだけ簡略化 ry
> ry データの特徴を分析して、その枝の部分でも重要な枝 ry 決め打ちで残します。
> ─これは人が残すのでしょうか？
> 現時点では人が枝を選別しています。枝を大幅に削減しても性能が落ちない事を理論的に証明 ry
> 数字がたくさんあるものは「密な行列」 ry 、従来のディープラーニングと一緒。
> そこで値をほとんど持たない「疎な行列」をどう構成 ry
> ─その太い幹っていうのを見切るところがすごく難しそうです。 ry 、どれだけ残して、どれだけ切 ry
> ry 、例えば入力のデータに対して主成分となり得るような重要なデータの個数がある程度限定 ry
> 、情報を欠損させないで中間層に伝搬させる事は可能 ry 証明 ry 1/30に削減しても同様の効果 ry
> ─これはこのデータだからという事はないのでしょうか？
> ry 制約条件はありません。
> ─人の顔の認識などデータが複雑だと難しいということはないのでしょうか？
> ry 、さっきのガンマに依存しないっていうのは実は驚異的 ry
http://rio2016.2ch.net/test/read.cgi/future/1427220599/541#555#562-563#570-571#578-579#604-605
http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#27#30-32#34-38#63#75#79#80
#16#26#27#30-32 >>581
深層学習
> 入力応用 ? ( 一層切出し 多層化 ? )
↓
> ソフトウェアコード応用 ( 一層切出し 多層化 ) ? Page 27
の疎表現は、抑制の後でどのカラムがアクティブでどれが非ア ry
。例え入力ビットのうちアクティブなビットの数が大幅に変化した場合であっても、
相対的に一定の割合のカラムがアクティブになるように抑制関数が定義される。
図 ２-１ カラムとセルからなる HTM リージョンの例。リージョンの一部分のみ ry
。各カラムは入力のユニークな部分集合によるアクティベーションを受け取る。
最も強いアクティベーションを受けたカラムが他の弱いアクティベーションを抑制する。
結果は入力の疎分散表現である。（アクティブなカラムは灰色で示した）
ry ほんの少しの入力ビットが変化したなら、
いくつかのカラムでは少し多く又は少し少ない入力ビットがオン状態になるが、
アクティブなカラムの集合はあまり大幅に変化しないだろう。
よって似た入力パターン（アクティブなビットの共通部分が非常に多いもの）からは
アクティブなカラムの比較的安定した集合に対応付けられる。
コード化がどのくらい安定 ry 、各カラムがどの入力に接続しているかに大きく依存 ry
この接続関係は、後述する方法で学習する。
これらのすべてのステップ（入力の部分集合から各カラムへの接続関係を学習し、
各カラムへの入力レベルを決定し、アクティブなカラムの疎な集合をえらぶために抑制 ry ）
を空間プーリングと呼ぶ。 ry 空間的に類似（アクティブなビットの共通部分が多い）の
パターンがプールされる（それらが共通の表現に互いにグループ化される）ことを意味する。 Page 28
2) 以前の入力の文脈に基づいて、入力の表現を作成する
リージョンで行われる次の機能は、入力をカラムで表現したものを、
過去からの状態ないし文脈を含む新しい表現に変換 ry
。新しい表現は各カラムの一部のセル、普通は１カラムにつき１つのセルを
アクティブにすることで得られる（図 ２-２）。
「I ate a pear」と「I have eight pears」31の二つの話し言葉を聞く場合 ry
「ate」と「eight」は ry 発音が同じ ry 同じ反応をするニューロンが脳内のどこか ry
また一方、 ry 異なる文脈にあると反応するニューロンが脳内の他のどこか ry
。「ate」という音に対する表現は「I ate」 ry 「I have eight」 ry 異なる ry 。
「I ate a pear」と「I have eight pears」の二つの文を記憶したと想像してみよう。
「I ate…」 ry 「I have eight…」 ry 異なる予測 ry よって ry 異なる内部表現 ry
ある入力を異なる文脈では異なるコード変換をするというこの原理は、
認知とふるまいの普遍的な特徴であり、HTM リージョンの最も重要な機能の一つ ry ry カラムは複数のセルからなっている。
同じカラムのすべてのセルは同じフィード・フォワード入力を受け取る。
ry 。アクティブな各カラムごとに、どのセルをアクティブ ry 選択するかによって、
完全に同じ入力に対して異なる文脈では異なる表現をすることができる。
例 ry 。各カラムは 4 つのセルからなり、各入力は 100 個のアクティブなカラムで表現 ry
。カラムの中で一つのセルだけが一度にアクティブであるとすると、
完全に同じ入力に対して 4100 通り ry
。同じ入力は常に同じ組み合わせの 100 個のカラムがアクティブになるが、
文脈が異なればカラム中の異なるセルがアク ry 非常に大きな数の文脈を表現 ry
、これらの異なる表現はどのくらいユニーク ry ？
4100 個の可能なパターンのうちからランダムに選択した 2 個は、
ほとんどの場合、約 25 個のセルが重複 ry
よって同じ入力を異なる文脈で表した 2 つの表現は、
約 25 個のセルが共通で 75 個のセルが異なっており、容易に区別 ry
HTM リージョンの一般的な規則 ry
カラムがアクティブ ry 、そのカラム中のすべてのセルを見る。
もしそのカラム中の一つ又はそれ以上のセルが既に予測状態であれば、
それらのセルだけがアクティブになる。もしそのカラム
31 「私は梨を食べる」と「私は 8 個の梨を持っている」
>>561 >>578-579 >>590 >>599-600 >>604 Page 29
中のすべてのセルが予測状態でないならば、すべてのセルがアクティブになる。
ry ：ある入力パターンが期待されるなら、システムは予測状態のセルだけをアクティブ
にすることで期待通りであることを確認する。その入力パターンが期待と違うなら、
システムはカラム中のすべてのセルをアクティブにすることで、
「予期しない入力が発生したのであらゆる解釈が有りうる」ということを表す。
もし以前の状態が何もないなら、従って文脈も予測もないなら、
ry になるときは各カラム内のすべてのセルがアクティブになる。
ry 歌の最初の音を聞いたときと似ている。
文脈がなければ、 ry 予測できない：すべての選択肢が有効である。
以前の状態があるが入力が予期したものと合致しないときは、
アクティブなカラムのすべてのセルがアクティブ ry 。この決定はカラムごとに
行われるので、予測 ry は「オール・オア・ナッシング」32ではない。
図 ２-２ カラムの一部のセルをアクティブにすることで、
HTM リージョンは同じ入力の多くの異なる文脈を表現 ry
。カラムは予測状態のセルだけをアクティブにする。
予測状態のセルがないカラムでは、カラム中のすべてのセルをアク ry
。図は、あるカラムでは一つのセルだけがアク ry 、あるカラムではすべてのセルが ry
ry HTM セルは３つの状態を取る。
セルがフィード・フォワード入力によってアク ry 単に「アクティブ」の用語 ry
32 all-or-nothing
>>599-600 >>604-605 >>616-617 Page 30
。セルが ry セルとの横方向の接続によってアクティブ ry 「予測状態」と呼ぶ（図 ２-３）。
3) 以前の入力の文脈に基づいて、現在の入力からの予測をするリージョンの ry
予測はステップ 2)で作成した、すべての以前の入力からの文脈を含む表現に基づ ry
リージョンが予測をするときは、将来のフィード・フォワード入力によって
アクティブになると考えられるすべてのセルをアクティブ（予測状態）にする。
リージョンの表現は疎であるので、同時に複数の予測がなされ得る。
例えばカラムのうちの 2%が入力によってアクティブになるとすると、
カラムの 20%が予測状態のセルとなることで10 個の異なる予測がなされ得る。
ry 40% ry 20 個 ry 。各カラムが 4 個のセルからなり、一度に一つだけがアクティブ
になるとすれば、セル全体の 10%が予測状態 ry
今後、疎分散表現の章が追加されれば、異なる予測が混じり合っても、
リージョンは特定の入力が予測されたのかそうでないのかを高い確信 ry
リージョンはどうやって予測 ry ？ 入力パターンが時間と共に変化するとき、
カラムとセルの異なる組み合わせが順次アクティブになる。
あるセルがアクティブになると、周囲のセルのうちすぐ直前にアクティブだったセルの
部分集合への接続を形成する。これらの接続は、そのアプリ ry で必要とされる学習速度
に応じて早く形成されたりゆっくり ry 調整できる。
その後、すべてのセルはこれらの接続を見て、
どのセルが同時にアクティブになるかを探さなくてはならない。
もし接続がアクティブになったら、
セルはそれ自身が間もなくアクティブになることを予測することができ、予測状態に入る。
よってある組み合わせのセルがフィード・フォワード入力によってアクティブになると、
ひき続いて起こると考えられる他の組み合わせのセルが予測状態になる。 ry
歌を聞いていて次の音を予測 ry 瞬間と同様 ry
>>541 >>555 >>557-558 >>561-564 >>570 >>578-579 >>619
>>590 >>592 >>596 >>604 >>616-618
> 133 : YAMAGUTIseisei~貸 2016/11/13(日) 11:46:31.17 ID:5tF5+oR3
> > 87 : YAMAGUTIseisei 2016/09/02(金) 20:19:09.47 ID:dnyMZM3F
>> 私の不徳の致す所であれまたしても国に支援をоられる事態に至ってしまった以上
>> 電子頭脳の仕組に付いて発表しても売о奴の誹りは免れ得ましょう
>> 純国産の夢が潰える事になり申訳なく思います
>
> 256 : YAMAGUTIseisei 2016/10/23(日) 23:53:30.82 ID:Dlm82Fb1
> 自分には一言申上げる資格があるでしょう
>
> о隷階級の分際で大変失礼な申上げ様ながら
> この計画案を国が結果的に潰す格好となった事は事実です
>
> 257 : YAMAGUTIseisei 2016/10/24(月) 00:02:20.63 ID:trJeFV+a
> 野暮な付け加えですがご関係各所様又先生方又支援者の皆様に
> 言葉はよろしくありませんが上納金と申しますをお届けできなくなりました事を
> 謹んでお詫申上げます Page 31
図 ２-３ ry リージョンのいくつかのセルがフィード・フォワード入力によってアク ry
（薄い灰色で示した）。他のあるセルは、アクティブなセルからの横方向の入力を
受け取って予測状態になる（濃い灰色で示した）。
まとめると、新しい入力が到着すると、アクティブなカラムの疎な部分集合が選択される。
各カラムの一つ又はそれ以上のセルがアクティブになり、これはまた同じリージョン内
のセル間の接続の学習内容に応じて他のセルを予測状態にする。
リージョン内の接続によってアクティブになったセルは、 ry 予測を表す。
次のフィード・フォワード入力が到着すると、
他のアクティブなカラムの疎な組み合わせが選択される。
新たにアクティブになったカラムが予期したものでないとき、
つまりどのセルも ry 予測しなかったとき、カラム中のすべてのセルをアクティブ ry
。新たにアクティブになったカラムが ry 予測状態のセルを持つなら、
それらのセルだけがアクティブになる。リージョンの出力はリージョン内のすべてのセル
のアクティブ状態であり、フィード・フォワード入力によってアクティブになったセルと、
予測状態のためアクティブになったセルとからなる。
既に述べ ry HTM リージョンの予測は将来のいくつかのステップに及ぶことも ry
ry メロディの次の音を予測するだけではなく、例えば次の 4 つの音 ry
。 ry 出力（リージョン内のアクティブ状態のセルと予測状態のセルの和集合）
は入力よりもゆっくりと変化する。
リージョンがメロディの次の 4 つの音を予測 ry 。メロディを文字 A, B, C, D, E, F, G
のシーケンスで表現する。最初の 2 音を聞いた後、リージョン >> http://rio2016.2ch.net/test/read.cgi/future/1483319596/801#882#938#960# supaasu
疎分散表現
不要 : 弱い AI ( AL ) 簡易版強い AI ( AL ) 長期記憶外部化強い AI ( AL )
必要 : 長期記憶融合ニューラルネット型強い AL >> http://rio2016.2ch.net/test/read.cgi/future/1484485942/70
> 実行作業（自身のアルゴリズムを改良）
特に難関
* DNC 的巨大外部システム連携
* モジュール設計 ( ライブラリ関数相互乗入 ? ) → 上位版 : 基本的ニューラルネット 差替 更新 創発
* 特徴量抽出機構ベース ( 例 HTM 自動調整 ) : 根本から基本的ニューラルネット 差替 更新 創発
>>567 HTM 19
> 一つの HTM リージョンは学習の能力が限定されている。
> ry どれだけのメモリ ry 入力が ry 複雑 ry に応じて何を学習するかを自動的に調整する。
http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#61#69
> HTM リージョンは入力の変化に応じて各カラムが何を表すのかを
>（主要樹状突起上のシナプスの変更によって）自動的に調整し、
> カラム数の増加ないし減少を自動的に調整するだろう。
> カラム
> 新皮質の一般的な規則は、角度と眼球優位性のようにいくつかの異なる応答特性が
> 互いに重ね合わさっているということである。
> 皮質の表面を水平に移動してゆくに従って、セルから出力される応答特性の組み合わせは変化する。 >>626
http://rio2016.2ch.net/test/read.cgi/future/1484485942/89
>89 ：yamaguti~kasi：2017/01/16(月) 16:02:46.03 ID:aN67nnkj
>→ 上位版 : 基本的ニューラルネットモジュール 差替 更新 創発 Page 32
はシーケンスを理解し、予測 ry C, D, E, F を予測する。
B のセル33は既にアクティブであるから
B, C, D, E, F がそれぞれ 2 つのアクティブな状態のどちらかになる。
ry 次の音 C ry アクティブ状態のセルと予測状態のセルの集合は C, D, E, F, G を表す。
入力パターンは B から C へとまったく違うものに変化したが、20%のセルだけが変化 ry
ry の出力はリージョン内のすべてのセルのアクティブ状態を示すベクトル
で表されるので、この例の出力では入力に比べて 5 倍安定 ry
階層構造を上に登るに従って時間的な安定性が増加 ry
表現に文脈を追加して予測を行う 2 つのステップを「時間プーリング」 ry
シーケンスに対してゆっくりと変化する出力を生成することで、
時間と共に順に現れる異なるパターンを「プールする」34。
ry 別のレベルで詳細化 ry 空間プーリングと時間プーリングで共通の概念から始 ry
共通概念
空間 ry と時間プーリングの学習は似て ry 、セル間の接続関係、あるいはシナプス
の形成を含む。
時間プーリングは同じリージョン内のセル間の接続を学習する。
空間プーリングは入力ビットとカラムとのフィード・フォワード接続を学習する。
二値ウェイト
HTM のシナプスは 0 又は 1 ry 。多くの他のニューラルネットワークモデルでは
0 から 1 の範囲で変化するスカラー値のウェイトを用いるのと異な ry
33 英文では cells と複数形なので、B を表すセルは一つではないことが分かる。
A, B, C,...のそれぞれに対応する疎分散表現は、
リージョン全体の 2%のセルの組み合わせで表される。
34 何かを貯めこんで蓄積するというニュアンスから、時間に関する情報を蓄積 ry http://rio2016.2ch.net/test/read.cgi/future/1484485942/842
>842 : yamaguti~貸 2017/01/21(土) 07:57:29.54 ID:WBvVc0tt
> >>828 >>832
> △ 偶然の一致
> ○ 鏡像 引込原理
>
> >290 : YAMAGUTIseisei 2016/09/20(火) 20:58:53.07 ID:6OGBdxmX
>> 応用 : 精神融合 ( やレディーの前ですが電脳セоクス ) 技術に直結 ( 鏡像 >>111 )
>
>
>>290 : YAMAGUTIseisei 2016/09/20(火) 20:58:53.07 ID:6OGBdxmX
>> 上記 NSPU → 人格融合 射程寸前
>> http://ja.catalyst.red/articles/saito-watanabe-talk-6# >>65
>>
>> その流れ ↓
>>
>> >>284 http://wired.jp/2016/09/20/icf2016_kitano/
>>> 都市における永遠のテーマである「自然との共存」 ry 都市の生物多様性の科学的制御だ。
>>> 「都市の環境においても、生物多様性はロバスト性（頑健性） ry 重要 ry
>>> 生物の分布・構造が、その環境のロバスト性にどのような影響 ry 研究は案外少 ry
>>> 環境中の微生物の分布が、その都市環境や住民にどのような影響
>>
>> 応用 : 精神融合 ( やレディーの前ですが電脳セоクス ) 技術に直結 ( 鏡像 >>111 )
>http://rio2016.2ch.net/test/read.cgi/future/1473812514/291#342#925#989#290-291# kyouzou
>http://rio2016.2ch.net/test/read.cgi/future/1472305818/724#947#957#971#987# kyouzou
>
>
> http://rio2016.2ch.net/test/read.cgi/future/1480859621/469-470# KanniHyougen
> http://rio2016.2ch.net/test/read.cgi/future/1473812514/64# SakusenSidai ガリレオX 第141回「シンギュラリティ人工知能が人間と融合する日」
1/22 (今日) 11:30 〜 12:00 (30分) BSフジ
<主な取材先> 井上智洋 さん (駒澤大学) 齊藤元章 さん (PEZY Computing) >>572-573
>981 : YAMAGUTIseisei~貸し 2017/01/22(日) 01:25:08.63 ID:E9eRxZmp
> >>980 超光速通信
> 実験室レベルの完全性を伴って ( 理論的完全 ) : 不可能
> エラー有りつつリカバリ有りつつ ( 理論的不完全ながら実用完全通信 ) : 可能 ( 単純例 : ECC 織込 )
上記主旨 : 同期だけが問題 → 同期不要 ( 実用時限定 ) 前々から気になっていたんだが
このスレは何なんだ？ >>636
>>1
>本家スレの話題のうち、科学・技術系で『専門的な』話題を特に扱います。 >>http://rio2016.2ch.net/test/read.cgi/future/1485522389/174# SintaiSei
>>552 >>628
> ※b3c 動的レンダリング自己イメージ意識人格基盤 内部外部幻影実在分身 縁リンク
> TRONCHIP 根源要素透過可視大深度再帰自律実身仮身浸透細粒度動的鏡像 JIT/DSL
:
> 拡張自律スプライト 細粒度リンク 思考文法関節
> ( TRON 実身仮身 セガ MODEL1 外部プログラマブル MMU マップト関節 )
> ◎ 自律スプライト ( Sega-MODEL1 型リンク機構 思考文法関節 TRONCHIP )
> = 物理空間融合レンダ = 仮想空間融合レンダ = 意味空間融合レンダ = 人格システム
>>379 >>381 >>483 Page 33
永続値
シナプスは学習を通じて継続的に形成されあるいは切断 ry
、各シナプスに（0.0 から 1.0 の）スカラー値を割り当て、接続がどのくらい永続的 ry
。接続が強化されれば、永続値は増加する。他の状況では、永続値は減少する。
ry しきい値（例えば 0.2）を上回れば、シナプスは形成され ry 下回れば、シナプスは無効 ry
樹状突起セグメント
シナプスは樹状突起セグメントに接続される。樹状突起には主要と末梢の 2 種 ry
- 主要樹状突起セグメントはフィード・フォワード入力との間のシナプスを形成する。
ry アクティブなシナプスは線形に加算され、これにより
カラムがフィード・フォワード入力によるアクティブ状態になるか否かが決定される。
- 末梢樹状突起セグメントは同じリージョン内のセル間のシナプスを形成する。
各セルはいくつかの末梢樹状突起セグメントを持つ。
ry アクティブなシナプスの合計がしきい値を超えたら、
接続されたセルは予測状態によりアクティブになる。
一つのセルに複数の末梢樹状突起セグメントがあるので、
セルの予測状態はそれぞれをしきい値で判定した結果の論理和 ry シナプス候補
ry 、樹状突起セグメントはシナプス候補のリストを持つ。
ry 候補は永続値 ry がしきい値を超えたら有効に機能するシナプスとなる。
学習
学習では樹状突起セグメント上のシナプス候補の永続値を増加・減少させる。
ry 用いられる規則は「ヘブの学習規則」35に似ている。
例えば、ある樹状突起セグメントがしきい値以上の入力
を受け取ったためにセルがアクティブに ry シナプスの永続値を修正する。
シナプスがアクティブであり、従ってセルがアクティブになることに貢献した場合、
その永続値を増 ry 。ry がアクティブではなく ry 貢献しなかった場合、その
35 Hebbian learning rules。「細胞 A の軸索が細胞 B を発火させるのに十分近くにあり、
繰り返しあるいは絶え間なくその発火に参加するとき、
いくつかの成長過程あるいは代謝変化が一方あるいは両方の細胞に起こり、
細胞 B を発火させる細胞の 1 つとして細胞 A の効率が増加する。」 Page 34
永続値を減 ry 永続値を更新する正確な条件は、空間プーリングと時間プ ry とでは異な ry
空間プーリングの概念
空間プーリングの最も基本的な機能はリージョンへの入力を疎なパターンに変換 ry
。シーケンスを学習して予測 ry 疎分散パターンから始めることが必要 ry
。空間プーリング ry いくつかの到達目標がある。
1) すべてのカラムを使用する
HTM リージョンは入力の共通したパターンに対する表現を学習するための
固定数のカラムがある。一つの目的は、全体の ry すべてのカラムが確かに、 ry 学習 ry
。決してアクティブにならないようなカラムは必要でない。そうならないために、
各カラムがその周囲のカラムと相対的にどのくらい頻繁にアクティブになるかを常に監視 ry
頻度が低すぎるときは、そのカラムが勝者となるカラムの集合に含まれ始めるように ry
アクティブになる基準をブースト36する。
ry カラムは周囲のカラムと互いに競合しており、入力パターンに対する表現に
加わろうとしている。あるカラムがほとんどアクティブにならないときは ry 積極的に ry
、他のカラムはその入力を変更させられて少しだけ異なる入力パターンを表現し始める。 2) 望ましい密度を維持する
リージョンは入力に対する疎な表現を形成する必要がある。
最大の入力を受け取ったカラムは周囲のカラムを抑制する。
抑制範囲を決める半径は、そのカラムの受容野37のサイズに比例する
（従ってまた、小さなサイズからリージョン全体に至る範囲を取る）。
抑制半径の範囲内では、多くのアクティブな入力を受け取ったわずかなパーセンテージ
のカラムだけを「勝者」とする。その他のカラムは無効化される。
（抑制「半径」の語感は二次元状に配置されたカラムを暗示しているが、
この概念は他のトポロジにも適用できる）
36 boost。後押しする、増強するなどの意。後述のアルゴリズムでブースト値という変数 ry
37 receptive field Page 35
3) 些細なパターンを避ける
すべてのカラムが些細ではない入力パターンを表すこと ry は、
カラムがアクティブになる ry 最小のしきい値を設定することで達成 ry
。例えば、しきい値を 50 とすると、カラムがアクティブになるには
その樹状突起セグメント上のアクティブなシナプスが 50 個以上必要であり、
ry あるレベル以上に複雑なパターンだけが表現される ry
4) 余分な接続関係を避ける
よく注意しないと、あるカラムが巨大な数の有効なシナプスを保持する ry
。すると、あまり関連性のない多くの異なる入力パターンに強く反応するようになる。
シナプスの異なる部分集合は異なるパターンに反応するだろう。
この問題を避けるため、勝者カラムに現在貢献していないシナプスすべて ry 永続値を減 ry
。貢献していないシナプスに確実に十分なペナルティを与えることで、
一つのカラムが表現する入力パターンが限定 ry 5) 自己調整的な受容野
実物の脳は高い可塑性38を示す。
新皮質のリージョンは、様々な変化に反応してまったく異なる事柄の表現を学習できる。
もし新皮質の一部が損傷したら、 ry 他の部分によって表現するように調整される。
もし感覚器官が損傷したり変化したりすると、
それに関連付けられていた部分の新皮質は何か他のことを表現するように調整される。
システムは自己調整的である。我々の HTM リージョンにも同様の柔軟性を求めたい。
あるリージョンに 10,000 個のカラムを割り当てたら、
入力を 10,000 個のカラムで最適に表現する方法を学習するべき ry
入力の統計的性質が変化したら、カラムは ry 最適に表現するように変化するべき ry
まとめると、HTM の設計者はリージョンに任意のリソースを割り当てることができて、
そのリージョンは利用可能なカラムと入力の統計的性質に基づいて入力を最適に表現 ry
できるべきである。
一般的な規則は、リージョンのカラムがより多くあれば、
各カラムは入力のより大きくより詳細なパターンを表現 ry
。なお一定の粗さを保つが39、カラムは普通、より稀にアクティブになる。
38 plastic。かそせい。物理的な可塑性とは固体に外力を加えて変形させ、
力を取り去ってももとに戻らない性質のこと。
脳の可塑性とは経験に応じて神経回路の組み換えや再構成を行う能力のこと。柔軟性、適応性。
39 粗さ(sparsity)はアクティブになるカラムの割合。カラムの数が増えても粗さは一定ということ。 Page 36
これら ry を達成するために、新しい学習規則は必要ない。
アクティブでないカラムをブーストし、粗さを一定に保つために周囲のカラムを抑制し、
入力に対するしきい値の最小値を設け、多くのシナプス候補を蓄積・維持し、
その貢献度に応じてシナプスを追加・削除することで、
全体効果としてカラムは望ましい効果を達成するように動的に設定される。
空間プーリングの詳細
ry
1) 固定の数のビットからなる入力から始める。
ry センサからのデータであったり、階層構造の下位の他のリージョンからであったりする。 2) この入力を受取る固定の数のカラムをリージョンに割り当てる。
各カラムはそれに連結された樹状突起セグメントを持つ。
各樹状突起セグメントは入力ビットの部分集合を表すシナプス候補の集合を持つ。
各シナプス候補は永続値を持つ。その永続値に基づいて、 ry 候補が有効になる。
3) 与えられた任意の入力について、
アクティブな入力ビットと接続している有効なシナプスの数を各カラムごとに求める。
4) アクティブなシナプスの数にブースト値40を乗じる。ブースト値は、そのカラムが
周囲のものに比べてどのくらい頻繁にアクティブになったかに基づいて動的に決 ry
5) ブースト後に最大のアクティベーションを得たカラムは、
抑制半径内の固定のパーセンテージのカラム以外のものを無効化する。
抑制半径はそれ自体、入力ビットの広がり具合（又はファン・アウト）から動的に決 ry
。これでアクティブなカラムの疎な集合が得られた。
6) アクティブなカラムのそれぞれについて、すべてのシナプス候補の永続値を調節する。
アクティブな入力に割り当てられたシナプスの永続値は増加させる。
非アクティブな入力に割 ry は減少させる。
ry 変更により、 ry シナプスが有効になったり無効 ry 。
時間プーリングの概念
40 boosting factor Page 37
時間プーリングがシーケンスを学習し、予測をすることを思い出して欲しい。
基本的な方法は、あるセルがアクティブになったら直前にアクティブであった他のセルとの
接続を形成することである。これによりセルは、そのセルの接続を調べることで
いつそれがアクティブになるかを予測 ry 。すべてのセルがこれを行えば、
全体としてそれらはシーケンスを記憶してそれを思い出し ry 予測できる。
ry シーケンスを記憶するための集中記憶装置はなく、 ry 記憶は各セルに分散配置される。
記憶が分散 ry 、システムはノイズや誤りに強くなる。 ry
、疎分散表現の重要な特徴を 2, 3 述べておく ry
ry あるリージョンが全部で 10,000 個あるセルのうち、常に 200 個のセルがアクティブ
になることで表現を形成しているとしよう（ ry 2%のセルがアクティブ）。
200 個のアクティブなセルで表される特定のパターンを記憶・理解するには ry
単純な方法は、関心がある 200 個のアクティブなセルのリストを作成 ry
。ちょうど同じ 200 個のセルが再びアクティブになったことが分かれば、
そのパターンを理解したことになる。
しかしながら、 ry 20 個だけのリストを作成して、残りの 180 個を無視したとしたら ry ？
ry 200個のセルの異なるパターンにおいてそれら 20 個の部分がちょうどアクティブに
なるようなパターンが数多く存在して、間違いだらけに ry はならない。
パターンは大きくかつ疎であるため（ry 10,000 個のうち 200 個のセルがアクティブ）、
20 個のアクティブなセルを記憶することで ry うまく記憶できる。
実際のシステムで間違いが起こる可能性は極めて稀 ry メモリ量を非常に節約 ry HTM リージョンのセルはこの特徴を利用している。各セルの樹状突起セグメントは
同じセル内の他のセルへの接続関係の集合を持つ。樹状突起セグメントは
ある時点でのネットワークの状態を理解する ry ため、これらの接続を形成している。
周囲のアクティブなセルは数百から数千あるかも知れないが、
ry が接続しなければならないのはこのうちの 15 から 20 程度に過ぎない。
ry 15 個のセルがアクティブと分かれば、その大きなパターンが発生 ry ほぼ確信できる。
このテクニックを「サブサンプリング」と呼び、HTM アルゴリズム全体を通じて利用している。
各セルは多くの異なる分散パターンに関与し、また多くの異なるシーケンスに関与 ry
。ある特定のセルは数十から数百の時間的遷移に関与しているかも ry
。従って各セルは一つではなく、いくつかの樹状突起セグメントを持つ。
ry セルが理解したいアクティビティの各パターンごとに一つの樹状突起セグメントを持つこ 
