フェーズ 2 ry 各セルの予測状態を計算する。セルのどれかのセグメントがアクティブになると、 そのセルの predictiveState がオンになる。 即ち、十分な数の横方向の接続先が、フィード・フォワード入力によって現在アクティブ であればオンになる。この場合、そのセルは以下の変更を待ち行列に加える: a) 現在アクティブなセグメントを強化56する(47-48 行目)、 b) このアクティベーション57を予測し得たセグメント (即ち、前回の時刻ステップでアクティビティに(弱いかも ry )マッチしたセグメント) を強化する(50-53 行目)。
42. for c, i in cells 43. for s in segments(c, i) 44. if segmentActive(s, t, activeState) then 45. predictiveState(c, i, t) = 1 46. 47. activeUpdate = getSegmentActiveSynapses(c, i, s, t, false) 48. segmentUpdateList.add(activeUpdate) 49. 50. predSegment = getBestMatchingSegment(c, i, t-1) 51. predUpdate = getSegmentActiveSynapses( 52. c, i, predSegment, t-1, true) 53. segmentUpdateList.add(predUpdate) 000762017/04/09(日) 09:27:16.04ID:XXlcdpGX フェーズ 3 ry 実際に学習を実施する。 待ち行列に追加されたセグメントの更新は、フィード・フォワード入力を得てセルが 学習セルとして選択されたときに実施される(55-57 行目)。 そうではなく、もしセルが何らかの理由で予測を停止した場合、 そのセグメントをネガティブ58に強化する(58-60 行目)。
54. for c, i in cells 55. if learnState(s, i, t) == 1 then 56. adaptSegments (segmentUpdateList(c, i), true) 57. segmentUpdateList(c, i).delete() 58. else if predictiveState(c, i, t) == 0 and predictiveState(c, i, t-1)==1 then 59. adaptSegments (segmentUpdateList(c, i), false) 60. segmentUpdateList(c, i).delete() 61. 0012112017/04/16(日) 11:29:05.95ID:kNc73pc9 実装の詳細と用語説明
ry 。各セルは二つの数値でアクセスする。カラムの添字 c と、セルの添字 i である。 セルは樹状突起セグメントのリストを保持する。各セグメントはシナプスのリストと、 各シナプスごとに永続値を保持する。 ry 変更は、セルが フィード・フォワード入力によってアクティブになるまでは一時的とマークされ ry segmentUpdateList によって保持される。 各セグメントはまた、論理値のフラグsequenceSegment を保持する。 これはそのセグメントが次の時刻ステップにおけるフィード・フォワード入力 を予測するかどうかを示している。
シナプス候補の実装は空間プーリングの実装とは異なっている。 空間プーリングでは、シナプス候補の完全なリストが明示的に示される。 時間プーリングでは各セグメントが固有のシナプス候補の(ときには大きな)リスト を保持することができる。実際には各セグメントごとに大きなリスト ry は、計算量 ry メモリ消費 ry 。そこで ry 時間プーリングでは学習の際に各セグメントごとに アクティブなシナプスをランダムに追加する(newSynapseCount パラメータで制御する)。 ry 候補のリスト ry と同様の効果があり、しかも新たな時間的パターンを学習でき ry リストはずっと小さくなる。
上の画像は左側が生体ニューロンの写真、中央が単純な人工ニューロン、 右側がHTM のニューロンあるいはセル ry 。この付録の目的 ry 比 ry
実物のニューロンは途方もなく複雑で変化に富んでいる。 ここではその最も普遍的な原理に注目し、また我々のモデルに関わる部分に限定する。 ry 、HTM 大脳皮質性学習アルゴリズムで用いられているセルは 多くのニューラルネットワークで用いられている人工ニューロンよりも はるかに現実に即している。 ry
生体ニューロン
ニューロンは脳内で情報を伝えるセル59である。上記左の画像は標準的な興奮性の ニューロンである。 ry 外見の大部分は枝分かれした樹状突起で占められている。 ry すべての興奮性の入力は、樹状突起に沿って配置されたシナプスを経由 ry 。近年、ニューロンに関する知識 ry 最大の発見は、 ニューロンの樹状突起が入力を細胞体60に繋ぐ単なる導線ではないと分かったことで
59 cell ry 「セル」と訳したが、生物の細胞を意味する。 60 cell body。ニューロン中央の膨らんだ部分。 0030オーバーテクナナシー2017/05/25(木) 00:58:13.18ID:mAFRIC2Q HTM学習による人工知能は人間が工学的に知る能力になると思いますか?
主要樹状突起62 細胞体に最も近い ry 枝は主要樹状突起 ry 図 ry いくつかを緑色の線 ry
ry 突起上の複数のアクティブなシナプスは、細胞体に対して概ね線形の加算 ry 。5 つのアクティブなシナプスは 1 つのアク ry 概ね 5 倍の脱分極63を細胞体に ry 引き起 ry 。対照的に、ある一つのシナプスが後続の素早い活動電位64によって繰り返しアクティブ になったとしても、2 番目、3 番目と続く活動電位による細胞体への影響は、 最初のものよりずっと小 ry
新皮質のリージョンへのフィード・フォワード接続は主要樹状突起に優先的に接続 ry 。これは少なくとも、各リージョンの ry 主要な入力層である第 4 層のニューロンについて ry 0032312017/06/04(日) 12:41:55.82ID:Izq+v2N1 末梢樹状突起65 細胞体から遠く ry 枝は末梢樹状突起 ry 図 ry いくつかを青色の線 ry
末梢樹状突起は主要樹状突起よりも細い。これらは樹状突起の木の中の他の樹状突起の枝に 接続されていて、細胞体に直接接続されていない。これらの違いにより末梢樹状突起は ユニークな電気・化学特性を持っている。 末梢樹状突起で一つのシナプスがアクティブになっても、細胞体に対して最小限の影響しか ry 。シナプスで局所的に発生した脱分極は、それが細胞体に届くときには弱くなっている。 このことは長年のなぞであった。 ニューロンのシナプスの大多数を占める末梢のシナプスはあまり多くのことを ry
今では末梢樹状突起の各断片が半独立の処理領域として働くことが分かっている。 もしその樹状突起の短い区間内で十分な数のシナプスが同時にアクティブになると、 樹状突起のパルスを生成することができ、 それは細胞体にまで届いて大きな影響を及ぼすことができる。 例えば 40μm 間隔の 20 個のアクティブなシナプスは樹状突起のパルスを生成 ry
従って、末梢樹状突起は域内同時発生事象の検出器 ry
末梢樹状突起上のシナプスは、圧倒的にそのリージョン内の付近の他のセルから形成 ry
画像では上方向に伸びる大きな樹状突起の枝 ry 先端樹状突起66 ry 。ある理論 ry 、この構造によりニューロンは付近にいくつかの末梢樹状突起を形成し、 この付近を通る軸索により容易に接続 ry 。 この解釈によれば、先端樹状突起はセルの延長として働く ry 0036352017/06/11(日) 13:06:46.13ID:ovKJ8hHX シナプス 標準的なニューロンには数千個のシナプスがある。これらの大多数(多分 90%)は 末梢樹状突起にあり、残りは主要樹状突起にあると思われる。
長年に渡って、学習はシナプスの影響度ないし「重み」を強くしたり弱くしたり することを含む ry 。このような影響は観測されるものの、各シナプスはどこか確率的な様子である。 アクティブになったとき、それが神経伝達物質67を放出することに信頼性がない。 よって脳が ry 各シナプスの重みの精度や忠実度に依存しているはずがない。
さらに今では、シナプス全体が素早く形成されたり切断 ry 。この柔軟性は学習の強力な表現形式であり、素早く知識を獲得 ry 。シナプスは軸索と樹状突起がある距離の範囲内にあるときにだけ形成されうることから、 シナプス「候補」の概念 ry 、学習は主にシナプス候補から有効なシナプスが形成 ry
ry 出力は常にパルスであるが、この解釈には異なる見方ができる。 有力 ry (特に新皮質に関しては)、パルスの発生頻度が重要というもの ry 。よってセルの出力はスカラー値と見なすことができる。
いくつかのニューロンは数個の連続したパルスを短時間に素早く出力する「バースト」反応 を示すことも ry
ry 上記 ry HTM セルの特徴に関連する属性に注目して述べ ry 詳細は無視 ry ここで述べたすべての特徴が幅広く受け入れられているとは必ずしも言えない。 ry 、我々のモデルにとって必要 ry
単純な人工ニューロン
この付録の最初に示した中央の図は、多くの古典的な ry に模した構成要素 ry これらの人工ニューロンはシナプスの集合を持ち、各シナプスはウェイトを持っている。 各シナプスはスカラー値のアクティブ化を受け取り、それにシナプスのウェイトが掛け合 ry 。すべてのシナプスの出力は非線形の方法で足し合わされ、人工ニューロンの出力となる。 学習はシナプスのウェイトを調整 ry 恐らく非線形の関数 ry 。このタイプの人工ニューロン、そしてそのバリエーションは、 コンピュータ ry アプリケーションにおいて有益 ry しかし ry 多くの複雑さを捉えておらず ry 能力を活用していない。 ry もっと精巧なニューロンモデルが必要 ry
我々は、カラム内のすべてのセルが同じフィード・フォワード応答を持つよう求めている。 実物のニューロンではこれは恐らく抑制タイプのセルによって行われる。 HTMでは我々は単にカラム中のすべてのセルが単一の主要樹状突起を共有するように強制 ry
隣のセルとの競合に決して勝つことができない ry 避けるため、 ry 隣と比較して十分に勝利していないときには、そのフィード・フォワード入力 によるアクティブ化をブーストする。よってセル間には常に競合 ry 我々はこれをセル間ではなくカラム間の競合として HTM でモデル化 ry 図では示されていない。