フェーズ 2 ry 各セルの予測状態を計算する。セルのどれかのセグメントがアクティブになると、 そのセルの predictiveState がオンになる。 即ち、十分な数の横方向の接続先が、フィード・フォワード入力によって現在アクティブ であればオンになる。この場合、そのセルは以下の変更を待ち行列に加える： a) 現在アクティブなセグメントを強化56する（47-48 行目）、 b) このアクティベーション57を予測し得たセグメント （即ち、前回の時刻ステップでアクティビティに（弱いかも ry ）マッチしたセグメント） を強化する（50-53 行目）。
42. for c, i in cells 43. for s in segments(c, i) 44. if segmentActive(s, t, activeState) then 45. predictiveState(c, i, t) = 1 46. 47. activeUpdate = getSegmentActiveSynapses(c, i, s, t, false) 48. segmentUpdateList.add(activeUpdate) 49. 50. predSegment = getBestMatchingSegment(c, i, t-1) 51. predUpdate = getSegmentActiveSynapses( 52. c, i, predSegment, t-1, true) 53. segmentUpdateList.add(predUpdate) 000762017/04/09(日) 09:27:16.04ID:XXlcdpGX フェーズ 3 ry 実際に学習を実施する。 待ち行列に追加されたセグメントの更新は、フィード・フォワード入力を得てセルが 学習セルとして選択されたときに実施される（55-57 行目）。 そうではなく、もしセルが何らかの理由で予測を停止した場合、 そのセグメントをネガティブ58に強化する（58-60 行目）。
54. for c, i in cells 55. if learnState(s, i, t) == 1 then 56. adaptSegments (segmentUpdateList(c, i), true) 57. segmentUpdateList(c, i).delete() 58. else if predictiveState(c, i, t) == 0 and predictiveState(c, i, t-1)==1 then 59. adaptSegments (segmentUpdateList(c, i), false) 60. segmentUpdateList(c, i).delete() 61. 0012112017/04/16(日) 11:29:05.95ID:kNc73pc9 実装の詳細と用語説明
ry 。各セルは二つの数値でアクセスする。カラムの添字 c と、セルの添字 i である。 セルは樹状突起セグメントのリストを保持する。各セグメントはシナプスのリストと、 各シナプスごとに永続値を保持する。 ry 変更は、セルが フィード・フォワード入力によってアクティブになるまでは一時的とマークされ ry segmentUpdateList によって保持される。 各セグメントはまた、論理値のフラグsequenceSegment を保持する。 これはそのセグメントが次の時刻ステップにおけるフィード・フォワード入力 を予測するかどうかを示している。
シナプス候補の実装は空間プーリングの実装とは異なっている。 空間プーリングでは、シナプス候補の完全なリストが明示的に示される。 時間プーリングでは各セグメントが固有のシナプス候補の（ときには大きな）リスト を保持することができる。実際には各セグメントごとに大きなリスト ry は、計算量 ry メモリ消費 ry 。そこで ry 時間プーリングでは学習の際に各セグメントごとに アクティブなシナプスをランダムに追加する（newSynapseCount パラメータで制御する）。 ry 候補のリスト ry と同様の効果があり、しかも新たな時間的パターンを学習でき ry リストはずっと小さくなる。
上の画像は左側が生体ニューロンの写真、中央が単純な人工ニューロン、 右側がHTM のニューロンあるいはセル ry 。この付録の目的 ry 比 ry
実物のニューロンは途方もなく複雑で変化に富んでいる。 ここではその最も普遍的な原理に注目し、また我々のモデルに関わる部分に限定する。 ry 、HTM 大脳皮質性学習アルゴリズムで用いられているセルは 多くのニューラルネットワークで用いられている人工ニューロンよりも はるかに現実に即している。 ry
生体ニューロン
ニューロンは脳内で情報を伝えるセル59である。上記左の画像は標準的な興奮性の ニューロンである。 ry 外見の大部分は枝分かれした樹状突起で占められている。 ry すべての興奮性の入力は、樹状突起に沿って配置されたシナプスを経由 ry 。近年、ニューロンに関する知識 ry 最大の発見は、 ニューロンの樹状突起が入力を細胞体60に繋ぐ単なる導線ではないと分かったことで
59 cell ry 「セル」と訳したが、生物の細胞を意味する。 60 cell body。ニューロン中央の膨らんだ部分。 0030オーバーテクナナシー2017/05/25(木) 00:58:13.18ID:mAFRIC2Q ＨＴＭ学習による人工知能は人間が工学的に知る能力になると思いますか？
主要樹状突起62 細胞体に最も近い ry 枝は主要樹状突起 ry 図 ry いくつかを緑色の線 ry
ry 突起上の複数のアクティブなシナプスは、細胞体に対して概ね線形の加算 ry 。5 つのアクティブなシナプスは 1 つのアク ry 概ね 5 倍の脱分極63を細胞体に ry 引き起 ry 。対照的に、ある一つのシナプスが後続の素早い活動電位64によって繰り返しアクティブ になったとしても、2 番目、3 番目と続く活動電位による細胞体への影響は、 最初のものよりずっと小 ry
新皮質のリージョンへのフィード・フォワード接続は主要樹状突起に優先的に接続 ry 。これは少なくとも、各リージョンの ry 主要な入力層である第 4 層のニューロンについて ry 0032312017/06/04(日) 12:41:55.82ID:Izq+v2N1 末梢樹状突起65 細胞体から遠く ry 枝は末梢樹状突起 ry 図 ry いくつかを青色の線 ry
末梢樹状突起は主要樹状突起よりも細い。これらは樹状突起の木の中の他の樹状突起の枝に 接続されていて、細胞体に直接接続されていない。これらの違いにより末梢樹状突起は ユニークな電気・化学特性を持っている。 末梢樹状突起で一つのシナプスがアクティブになっても、細胞体に対して最小限の影響しか ry 。シナプスで局所的に発生した脱分極は、それが細胞体に届くときには弱くなっている。 このことは長年のなぞであった。 ニューロンのシナプスの大多数を占める末梢のシナプスはあまり多くのことを ry
今では末梢樹状突起の各断片が半独立の処理領域として働くことが分かっている。 もしその樹状突起の短い区間内で十分な数のシナプスが同時にアクティブになると、 樹状突起のパルスを生成することができ、 それは細胞体にまで届いて大きな影響を及ぼすことができる。 例えば 40μm 間隔の 20 個のアクティブなシナプスは樹状突起のパルスを生成 ry
従って、末梢樹状突起は域内同時発生事象の検出器 ry
末梢樹状突起上のシナプスは、圧倒的にそのリージョン内の付近の他のセルから形成 ry
画像では上方向に伸びる大きな樹状突起の枝 ry 先端樹状突起66 ry 。ある理論 ry 、この構造によりニューロンは付近にいくつかの末梢樹状突起を形成し、 この付近を通る軸索により容易に接続 ry 。 この解釈によれば、先端樹状突起はセルの延長として働く ry 0036352017/06/11(日) 13:06:46.13ID:ovKJ8hHX シナプス 標準的なニューロンには数千個のシナプスがある。これらの大多数(多分 90%)は 末梢樹状突起にあり、残りは主要樹状突起にあると思われる。
長年に渡って、学習はシナプスの影響度ないし「重み」を強くしたり弱くしたり することを含む ry 。このような影響は観測されるものの、各シナプスはどこか確率的な様子である。 アクティブになったとき、それが神経伝達物質67を放出することに信頼性がない。 よって脳が ry 各シナプスの重みの精度や忠実度に依存しているはずがない。
さらに今では、シナプス全体が素早く形成されたり切断 ry 。この柔軟性は学習の強力な表現形式であり、素早く知識を獲得 ry 。シナプスは軸索と樹状突起がある距離の範囲内にあるときにだけ形成されうることから、 シナプス「候補」の概念 ry 、学習は主にシナプス候補から有効なシナプスが形成 ry
ry 出力は常にパルスであるが、この解釈には異なる見方ができる。 有力 ry （特に新皮質に関しては）、パルスの発生頻度が重要というもの ry 。よってセルの出力はスカラー値と見なすことができる。
いくつかのニューロンは数個の連続したパルスを短時間に素早く出力する「バースト」反応 を示すことも ry
ry 上記 ry HTM セルの特徴に関連する属性に注目して述べ ry 詳細は無視 ry ここで述べたすべての特徴が幅広く受け入れられているとは必ずしも言えない。 ry 、我々のモデルにとって必要 ry
単純な人工ニューロン
この付録の最初に示した中央の図は、多くの古典的な ry に模した構成要素 ry これらの人工ニューロンはシナプスの集合を持ち、各シナプスはウェイトを持っている。 各シナプスはスカラー値のアクティブ化を受け取り、それにシナプスのウェイトが掛け合 ry 。すべてのシナプスの出力は非線形の方法で足し合わされ、人工ニューロンの出力となる。 学習はシナプスのウェイトを調整 ry 恐らく非線形の関数 ry 。このタイプの人工ニューロン、そしてそのバリエーションは、 コンピュータ ry アプリケーションにおいて有益 ry しかし ry 多くの複雑さを捉えておらず ry 能力を活用していない。 ry もっと精巧なニューロンモデルが必要 ry
我々は、カラム内のすべてのセルが同じフィード・フォワード応答を持つよう求めている。 実物のニューロンではこれは恐らく抑制タイプのセルによって行われる。 HTMでは我々は単にカラム中のすべてのセルが単一の主要樹状突起を共有するように強制 ry
隣のセルとの競合に決して勝つことができない ry 避けるため、 ry 隣と比較して十分に勝利していないときには、そのフィード・フォワード入力 によるアクティブ化をブーストする。よってセル間には常に競合 ry 我々はこれをセル間ではなくカラム間の競合として HTM でモデル化 ry 図では示されていない。
ry 候補 ry 生物学 ry シナプスを形成するのに十分に近くにある軸索と樹状突起 ry 拡張して、HTM セルで接続する可能性のある、より大きな集合を意味する ry 。生体ニューロンの樹状突起と軸索は学習によって成長したり縮退 ry よってシナプス候補の集合は成長に伴って変化する。 HTM セルのシナプス候補の集合を大きめにすることで、我々は概ね、 軸索や樹状突起の成長と同じ結果を得た。 シナプス候補の集合は図示されていない。 0047462017/07/02(日) 21:30:48.70ID:ZKt2tQ+I カラム間の競合、シナプス候補の集合による学習、 ry カラムのブースト の組み合わせにより、HTM ry ンは脳に見られるのと同様の強力な可塑性を得た。 HTM リージョンは入力の変化に応じて各カラムが何を表す 0048オーバーテクナナシー2017/07/02(日) 21:31:29.71ID:7PyqZMnO>>1 マジ？ http://raou.jp/ ラ王への道 toritatenin 岩間好一 aiueo700 監視カメラ 110番 ウィルス 公明党 ラ王への道 江南署 集団ストーカー クレーマー 悪質 卒論コピペ ランサムウェア ラ王への道 クレーム 馬鹿舌 味音痴 味覚障害 嫌われ者 ワンクリック詐欺 共産党 ラ王への道 長谷川亮太 チンフェ ちばけんま クズ けん まくん 創価学会 ラ王への道 森園祐一 生活保護 ドールオタビッコマン 涼子P ナマポ 苦情 ラ王への道 岡尚大 色盲絵師 三村侑意 アフィリエイト ヘーボ 広告 マルウェア 0049452017/07/09(日) 16:24:13.89ID:W3GgFRR8 強い AI ( AL ) ( を越えます物 ) の応募は人類の喫緊の命運を左右もご承知の通り その上で昨年度は審査員様ご一任状況にしてご関知なさらず ? 0050yamaguti~貸2017/07/09(日) 16:26:03.45ID:W3GgFRR8 Page 62
のかを（主要樹状突起上のシナプスの変更によって）自動的に調整し、 カラム数の増加ないし減少を自動的に調整 ry
末梢樹状突起 各 HTM セルは末梢樹状突起セグメントのリストを管理している。 各セグメントはしきい値検出器として働く。 ry アクティブなシナプス（冒頭の図で青い点で示した）の数がしきい値を超えると、 そのセグメントはアクティブになり、それに接続されたセルが予測状態になる。 セルの予測状態はアクティブなセグメントの OR ry
樹状突起セグメントは、以前のある時点で互いに同時にアクティブになった複数のセル への接続を形成することでリージョンの状態を記憶する。そのセグメントは、 以前にフィード・フォワード入力によってアクティブになったセルの状態を記憶する。 よってそのセグメントはセルがアクティブになることを予測する状態を探す。 樹状突起セグメントの標準的なしきい値は 15 である。 ry 有効なシナプスが 15 個同時にアクティブになると、その樹状突起はアクティブになる。 数百から数千個の周囲のセルがアクティブになるかも知れないが、 15 個の接続だけで十分により大きなパターンを理解 ry
各末梢樹状突起セグメントはそれに関連付けられたシナプス候補の集合を持つ。 そのシナプス候補の集合はリージョン内のすべてのセルの部分集合である。 そのセグメントが学習 ry 、それらすべてのシナプス候補の永続値を増加ないし減少 ry 。しきい値を超えたシナプス候補だけが有効 ry 0051502017/07/09(日) 16:27:05.61ID:W3GgFRR8 ある実装では、我々はセルあたり固定の数の樹状突起セグメントを用いた。 他のある実装では、訓練を通じてセグメントを追加ないし削除するようにした。 ry 。セルあたりの樹状突起セグメントの数を固定にすると、 同じセグメントに対していくつかの異なるシナプスの集合を保存することができる。 例えば、セグメント上に 20 個の有効なシナプスがあり、しきい値が 15 とする。 （一般に ry ノイズへの耐性 ry しきい値をシナプスの数よりも少 ry ） これでそのセグメントは周囲のセルの特定の一つの状態を理解できるようになる。 もし周囲のセルのまったく異なる状態を表現する、20 個の他のシナプスを その同じセグメントに追加 ry するとそのセグメントは、 あるパターンの 8 個のアクティブなシナプスと他のパターンの 7 個のアクティブなシナプスを 持つことで間違ってアクティブになるかも知れないので、エラーが起こる可能性 ry 。我々は実験的に、20 個の異なるパターンまでならエラーなしで一つのセグメントに保存 ry 従って十数個の樹状突起セグメントを持つ HTM セルは多くの異なる予測に関与 ry 0052yamaguti~貸2017/07/16(日) 17:38:53.91ID:Nam9FajQ Page 63
シナプス HTM セルのシナプスは二値の重みを持つ。ry 重みをスカラー値にすることを妨げるものは何もないが、 疎分散パターンを用い ry 今のところスカラー値の重みを使う必要性がない。
しかし ry セルは「永続値」というスカラー値を ry 学習を通じて調整する。 永続値 0.0 は有効でないシナプス候補を表し、 ry しきい値（標準的には 0.2） を超える永続値は接続したばかりで容易に切断するシナプスを表す。 高い永続値、例えば 0.9 は、接続状態でしかも容易には切断しない ry
HTM セルの主要樹状突起セグメントや末梢樹状 ry にある有効なシナプス の数は固定ではない。それはセルがパターンに触れるに従って変化する。 例えば、末梢樹状突起の有効なシナプスの数はデータの時間的構造に依存する。 リージョンへの入力に時間的に永続的なパターンが何もないときは、 末梢セグメントのすべてのシナプスは低い永続値を持ち、 わずかな数のシナプスだけが有効になるだろう。 入力列にたくさんの時間的構造があるときは、高い永続値を持つ有効なシナプスが多数 ry 0053522017/07/16(日) 17:39:43.49ID:Nam9FajQ セル出力 HTM セルは 2 つの異なる二値出力を持つ： 1) セルがフィード・フォワード入力によって （主要樹状突起経由で）アクティブである、2) セルが横方向の接続により （末梢樹状突起経由で）アク ry 。前者を「アクティブ状態」と呼び、後者を「予測状態」 ry
フィード・フォワードによるアクティブ状態だけがリージョン内の他のセルに接続され、 これにより予測は常に現在の入力（及び文脈）に基づいて行われる。 予測に基づいて予測が行われることは望ましくない。 ry そうなると、数回処理を繰り返しただけでリージョン内のほとんどすべてのセルが予測状態 ry
リージョンの出力はすべてのセルの状態を表すベクトルである。 もし階層構造の次のリージョンがあるなら、このベクトルがその入力となる。 この出力はアクティブ状態と予測状態の OR である。 アクティブ状態と予測状態を結合する ry 出力は入力よりも安定する（ゆっくりと変化する）。 このような安定性はリージョンの推論における重要な特性である。 0054492017/07/23(日) 08:30:42.83ID:0TlGOkHFhttp://rio2016.2ch.net/test/read.cgi/future/1449403261/970055yamaguti~貸2017/07/23(日) 08:31:44.51ID:0TlGOkHF Page 64
参考文献
ry 。ニューロサイエンス ry 膨大で、全般的知識を得るには多くの異なる文献 ry 。新しい発見は学術ジャーナル ry 、読み解くのが難しく大学関係者でない限り ry
この付録で ry 2 冊 ry
Stuart, Greg, Spruston, Nelson, Hausser, Michael, Dendrites, second edition (New York: Oxford University Press, 2008)
この本は樹状突起に関するあらゆる ry 16 章では HTM 大脳皮質性学習アルゴリズムが用いている樹状突起セグメントの 非線形な性質 ry この章は、この分野で数多くの考察をした Bartlett Mel によって書 ry
Mountcastle, Vernon B. Perceptual Neuroscience: The Cerebral Cortex (Cambridge, Mass.: Harvard University Press, 1998)
この本は新皮質に関するあらゆることに関する良い入門 ry 細胞の種類とその接続関係 ry 樹状突起の性質 ry 得るには古 ry 、読者は皮質性ニューロンに関するすぐれた見識 ry 0056yamaguti~貸2017/07/30(日) 10:26:53.69ID:4w4cNgfm Page 65
付録 B: 新皮質の層と HTM リージョンの比較
ここでは HTM リージョンと生体新皮質のリージョンの間の関係 ry
特に、HTM 大脳皮質性学習アルゴリズム、 及びそのカラムとセルが、新皮質の層やカラム構造とどのような関係 ry 。新皮質の「層」の概念やそれが HTM の層とどう関係 ry 、多くの人が困惑 ry 。本稿がこの混乱を解決し、また HTM 大脳皮質性学習アルゴリズムの生物学的基礎 ry
新皮質の神経回路網
人の新皮質は面積約 1,000cm2、厚さ 2mm のニューロンの皮である。 ry 食事に使うナプキンの布 ry 、新皮質の面積と厚さのちょうど良い近似 ry 。新皮質は十数種類の機能的なリージョン ry 、そのいくつかは視覚に関係し、あるいは聴覚、言語などに ry 。顕微鏡で見ると、異なるリージョンの物理的な特徴は驚くほど良く似ている。
に 2 つに枝分かれする。枝の一つは主に水平に伸び、他の枝は主に垂直 ry 。水平の方の枝は同じ層や近くの層の他のセルと多数の接続 ry 。 ry 新皮質の断片 ry 。多くの軸索がこの画像で示された部分から出たり入ったりしているので、 軸索は画像に見られるものよりも長い。 新皮質の 1mm の立方体に含まれる軸索や樹状突起の総延長は 2km から 4km ry
画像の中央部はニューロンの本体だけを示す染色法で、樹状突起や軸索は見えない。 ニューロンの大きさや密度が層によって変化する様子 ry 。この画像ではカラムは少ししか分からない。第 1 層にいくつかのニューロン ry の数はあまりに少ないので、この層はやはりセルのない層 ry 。ニューロ科学者は新皮質の 1mm の立方体ごとに約100,000 個程度のニューロン ry
画像の左側はほんのわずかな数のニューロンの本体、軸索、樹状突起だけを示す染色法 ry 。異なる層や異なるセルごとに、樹状突起の「主軸」の大きさは異なっている様子 ry 。いくつかの「先端樹状突起」72 ry は細胞体からそびえ立ち、他の層と接続 ry 。先端樹状突起が存在するか否か、及びその接続先は各層ごとに特徴 ry
まとめると、新皮質の層とカラム構造73は ry 染色され顕微鏡で観察 ry 明らか ry 0061602017/09/10(日) 18:08:33.13ID:vLQGrlPG リージョンの違いによる層のバリエーション 新皮質のリージョンの違いによって層の厚さにバリエ ry 、層の数についても多少違う。 このバリエーションはどの動物を研究するかに依存し、 どのリージョンを観察するかにも依存し、また観察した人によっても違う。 例えば上記の画像では、第 2 層と第 3 層は容易に識別できるが一般的にはそうではない。 いくつかの科学者 ry この 2 つの層を識別できないと報告 ry まとめて「第 2/3 層」 ry 。他の科学者は逆の方向に向かい、例えば 3A と 3B のようなサブレイヤを定義 ry
科学者が針を使って、何がニューロンをアクティブにするのかを見てみると、 異なる層を横断する垂直方向に揃った複数のニューロンがだいたい同じ入力に反応 ry
この図は、網膜からの情報を処理する最初の皮質性リージョンである V1 の、 セルのいくつかの応答特性 ry
最初の発見の一つは、V1 のほとんどのセルは 網膜の特定の領域で、異なる角度の線や縁に反応 ry 。カラム状に垂直に配列された複数のセルすべてが、同じ角度の縁に反応する。 図を注意深く見れば、各区画の最上部に異なる角度の小さな線が描かれている ry 。これらの線はその場所のセルがどの角度の線に反応するかを示している。 垂直に配列された複数のセル（うすい垂直の縞模様の一つに含まれる）は 同じ角度の線に反応する。
新皮質の一般的な規則は、角度と眼球優位性のようにいくつかの異なる応答特性が 互いに重ね合わさっているということである。皮質の表面を水平に移動してゆくに従って、 セルから出力される応答特性の組み合わせは変化する。 しかしながら、垂直に配列されたニューロンは同じ応答特性の組み合わせを共有している。 聴覚・視覚・体性感覚野についてはこのような垂直の配列になっている。 新皮質のあらゆる場所でそう ry 、全部ではなく多くの部分について言うならそれは正しい ry
ミニカラム 新皮質の最小のカラム構造はミニカラムである。ミニカラムは直径約 30μm で、 セルを持つ 5 つの層全体に及ぶ 80-100 個のニューロンが含まれている。 新皮質全体はミニカラムから構成されている。小さなスパゲッティのかけらを端同士を 積み重ねたものを思い浮かべるとよい。ミニカラムの間には セルが少ししかないわずかなすきま ry 、染色された画像でそれを見 ry
抑制ニューロンがミニカラムを定義する本質的な役割を果たしている。 ry 画像や図に示されていないが、抑制ニューロンはミニカラムの間のまっすぐな線に沿って 軸索を送っており、ミニカラムの一部を物理的に分離している。抑制ニューロンはまた、 ミニカラム中のニューロンが同じ入力に反応するよう強制することに役立っていると ry
ミニカラムは HTM 大脳皮質性学習アルゴリズムで用いられているカラムの原型である。
カラム反応の例外 カラム反応の例外が一つあって、それは HTM 大脳皮質性学習アルゴリズムにも関係する。 科学者は通常、実験動物に単純な刺激を与えることでセルが何に反応するのかを発見する。 例えば、動物の視覚空間の小さな部分に 1 つの線を見せて、V1 のセルの応答特性を調べ ry 。単純な入力を用いると、科学者はセルが常に同じ入力に反応することを発見するかも ry 。しかしながら、もしその単純な入力が自然な場面の動画像に組み込まれたなら、 セルはもっと選択的になる。あるセルが高い信頼性で独立した垂線に反応するとしても、 その垂線が自然な場面の複雑な動画像に組み込まれた場合は必ずしも反応するとは ry 0065642017/09/10(日) 21:12:20.16ID:vLQGrlPG HTM 大脳皮質性学習アルゴリズムでは カラム中のすべての HTM セルが同じフィード・フォワード応答特性を共有しているが、 時間的なシーケンスを学習すると HTM カラムの 1 つのセルだけがアクティブになる。 このメカニズムは可変長シーケンスを表現する手段であり、 ニューロンについて先ほど説明した特徴と似ている。 文脈を伴わない単純な入力はカラム中のすべてのセルをアクティブにする。 同じ入力でも、学習したシーケンスに含まれるときは 1 つのセルだけがアクティブになる。 ミニカラム中で一度に 1 つのニューロンだけがアクティブになると提唱しているわけではない。 HTM ry 、予期しない入力に対してはカラム中のある層のすべてのニューロンがアクティブ ry 、予期した入力に対してはその一部のニューロンがアクティブ ry 0066yamaguti~貸2017/09/10(日) 21:48:56.38ID:vLQGrlPG Page 71
なぜ層とカラムがあるのか？
新皮質になぜ層があり、なぜカラムがあるのか、はっきりしたことは誰も知らない。 HTM 大脳皮質性学習アルゴリズムは、カラム状に構成したセルの層が 可変長の状態遷移を記憶する大容量メモリとなりうることを示した。 もっと単純に言えば、セルの層はたくさんのシーケンスを学習できる ry 。同じフィード・フォワード反応を共有するセルのカラムは可変長の遷移を学習 ry の鍵 ry
この仮説はなぜカラムが必要なのかを説明しているが、しかし 5 つの層については ry ？ もし 1 層の皮質でシーケンスを学習して予測できるのであれば、なぜ ry 5 つ ry ？
我々が提唱するのは、新皮質に観察される異なる層はすべて同じ基本メカニズムを用いて シーケンスを学習しているが、各層で学習したシーケンスは異なる方法で使用 ry 。これについて我々が理解していないことはたくさん ry 考えを述べることはできる。 その前に、各層のニューロンが何に接続しているのかを述べる ry
上の図は 2 つの新皮質のリージョンとそれらの間の主要な接続関係 ry このような接続は新皮質の中の互いに関係し合う 2 つのリージョンで一般によく見 ry 。左の箱は、右の（箱の）リージョンよりも低い階層構造にある皮質性のリージョン を表しているので、フィード・フォワード情報は図の左から右へと流れる。 各リージョンは層に分け ry 2 層と第 3 層は一緒にして第 2/3 層として表されている。 0067yamaguti~貸2017/09/10(日) 21:56:13.71ID:vLQGrlPG Page 72
色のついた線は異なる層からのニューロンの出力 ry その層のニューロンから出ている軸索の束である。軸索はすぐに 2 つに分か ry 一つの枝は主にそれと同じ層の中で、リージョン内で水平方向に広がる。 よって各層のすべてのセルは相互によく接続し合っている。 ニューロンと水平方向の接続は図に示されていない。
第5層 最後のフィード・フォワード層 ry 3 層と似ているが 3 つの違い ry 。第一の違いは第 5 層が時間の概念を付加 ry 。第 3 層は次に「何」が起こるかを予測するが、それが「いつ」起こるかを教えてくれない。 しかしながら、話し言葉 ry 音の間の相対的なタイミングが重要 ry 運動動作 ry 筋肉の活性化のタイミング ry 。我々は、第 5 層のニューロンが期待した時刻の後にだけ次の状態を予測すると提唱する。 この仮説を裏付ける生物学上の詳細がいくつかある。一つは第 5 層が新皮質の運動出力層 ry 。いま一つは第 5 層が視床の一部から発して第 1 層から来る入力（図に示されていない） を受け取るということである。我々はまた、この情報こそが時間をコード化したものであり、 視床を経由して第 1 層に入力される多くのセル（図に示されていない） にこの情報が分散されると提唱する。
ry 第三の違いは図から見て取れる。 第 5 層の出力は常に皮質下部の運動中枢に向かい、 そのフィード・フォワード・パスは視床の門を通る。 第 5 層の出力は、あるときは次のリージョンへと通過し、またあるときは止められる。 我々（及び他の人）はこの門の働きが潜在的注意82に関係すると提唱する （潜在的注意は運動行動を伴わずに貴方が入力に注目することである）。 0072712017/09/10(日) 22:24:24.96ID:vLQGrlPG まとめると、第 5 層は特定のタイミング、注意、運動行動を結びつける。 これらが互いにどのように関わりあうかについては多くの謎 ry 。 ry ポイントは、HTM 大脳皮質性学習アルゴリズムのバリエーションが 特定のタイミングを容易に組み入れることができ、別々の皮質の層を結合することができる ry
第2層と第6層 第 6 層は下位のリージョンへフィードバックする軸索の起点である。 第 2 層についてはほとんど知られていない。 ry 2 層が第 3 層と比べて ユニークな点があるかどうかですら、しばしば議論 ry いまのところ ry 言えることはほとんどないが、他のすべての層と同様に ry 層はたくさんの水平方向の接続パターンを持ち、カラム単位で反応する特徴があること
