(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net
※このスレは、下記の本家スレから分かれた分家スレです。転載に関する規定は本家に準じます。
■現在の本家スレ
(強いAI)技術的特異点/ｼﾝｷﾞｭﾗﾘﾃｨ(世界加速) 13 [転載禁止]c2ch.net
http://wc2014.2ch.net/test/read.cgi/future/1426647717/
本家スレの話題のうち、科学・技術系で『専門的な』話題を特に扱います。
スレ成立のきっかけ
・技術的特異点の関わる分野は非常に幅広く、浅い部分から深い部分までレベルも様々で、多様な人が集まっている
・上記を前提として、科学・技術系で専門的な内容に集中しやすいように、ノイズ（特に不毛な論争）を減らしたい
・これにより、興味がある者同士の意思疎通困難性、過去ログ参照の困難性などが解消される
ただし性質上、本家との区分は厳密には困難です。
むしろ同じ内容が扱われても構いません。
本家は雑談寄り、ここではより専門色を強く、とご理解下さい。
■姉妹スレ
(AIとBI)技術的特異点と経済･社会等 1 (天国or地獄) [転載禁止]©2ch.net
http://wc2014.2ch.net/test/read.cgi/future/1427004849/
■関連スレ
人工知能
http://wc2014.2ch.net/test/read.cgi/future/1286353655/ >> http://rio2016.2ch.net/test/read.cgi/future/1480118427/481-485
>>539-
第14回全脳アーキテクチャ勉強会 「深層学習を越える新皮質計算モデル」報告レポート
３．大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal Memory (HTM)理論 (NPO法人 あいんしゅたいん 松田卓也氏)
http://wba-initiative.org/ja/1653/
> コネクトームと新皮質内の情報の流れ
> ry 大きく分けて領野間 ry マクロ・コネクトームと、 ry ニューロン間のシナプス結合を表すミク ry
> 新皮質は6層 ry 、階層内(横方向)はミクロ・コネクトームによる密結合であり、主に時間系列 ry
> 。階層間(縦方向)はマクロ・ ry 疎結合であり、主に静的パターンを処理する。
> 最下層では知覚の入力および筋肉への出力が行われ、最上層は意識あるいは論理的思考を司る。
> 階層を上昇する情報はフィードフォワード(FF)あるいはボトムア ry 下降 ry バック(FB)あるいはトップダ ry
> 。これらの情報の流れはベイジアンネットワークの性質 ry
> ry 。深層学習におけるバック・プロパゲーションはFBとは別物である。実際の脳ではFB情報が重要 ry
> 。FF情報とFB情報は必ずしも対称的ではない。FB情報の方がむしろ多 ry
> 。さらに重要なのは階層内からの情報である。下の階層からくる情報は全体の5-10%にすぎない。
> ry HTM理論では階層内の横からの情報は遷移確率のような時間的情報である。
> ry 、ゼータ1ではFBを扱うがCLAでは扱えず、これはCLAの欠点である。
> 新皮質の6層構造間と領野間の情報の流れについても解明が進んでいる。
> 新皮質への情報はまず４層に入り、そこから2/3層に送られる。
> さらに上の階層へは直接の経路と視床を経由する2種類がある。
> 5層は運動を支配している。
> 6層からはFBで１層に入る。
> CLAアルゴリズムでは4層と2/3層は実装されているが、5層と6層は実装されていない。 > HTM理論の解説
>
> ry 発展に伴い実装 ry 。Numentaの資料により初代のゼータ1 から CLA, Gen3, そして将来の Gen4 ry
> 。以下では ゼータ1, CLA, Gen3 ry
> ゼータ1 ry 、教師なし学習、木構造の階層構造、上の階層ほど空間的・時間的に不変性 ry
> 、バッチ学習、学習と推論フェーズの分離 ry
> 。学習は階層ごとに行われ、階層を上がるに従い空間プーリングと時間プーリングによ ry 不変性 ry
> 。下層から上層へのFFだけでなく、上層から下層へのFBも実装されている。
> Vicarious ではゼータ1を発展させた Recursive Cortical Network 理論が実装 ry CAPTCHA を破る ry
>
> CLAは神経科学の知見を取り込み、
> 神経細胞の細胞体、基底樹状突起、遠隔樹状突起、尖端樹状突起、軸索などとモデルを対応付けている。
> 新皮質の６層構造において情報は三方向 ry 下の階層、上の階層、同じ階層の横方向から入ってくるが、
> 下からの入力は5％ほどで、残りの95％は上と横 ry 。CLAにおいては遠隔樹状突起を経由しての横方向
> からの入力を扱うことが、通常のニューラルネットワークの理論と異なっている。
>
> CLAの主な特徴は、空間プーリング、時間プーリング、SDR (Sparse Distributed Representation, スパース表現)
> によるデータ表現である。空間プーリングとは、ry 。時間プーリングとは、 ry 。
> SDR は、一つのパターンを多数のニューロン(コラム)のうちの複数のニューロン(コラム)で表現することで、
> 豊富な表現力と頑強性を実現している。実際の脳ではSDRが採用されている。
> ry 反対に一つのパターンを一つのニューロンで表現する方法は Point Neuron あるいは Localist 表現と呼ぶ。
> SDRの幾何学的表現は、基底樹状突起をHTM空間における短いベクトルとし、
> 下の階層の長いベクトルを多数の短いベクトルの和として表現していると考えられる。
> これをSDRのハリネズミモデル ry モデルの具体例として脳の集団符号化方式がある。
> Gen3 は CLA の後継として Numenta が2014年 ry 
