フェーズ 2 ry 各セルの予測状態を計算する。セルのどれかのセグメントがアクティブになると、 そのセルの predictiveState がオンになる。 即ち、十分な数の横方向の接続先が、フィード・フォワード入力によって現在アクティブ であればオンになる。この場合、そのセルは以下の変更を待ち行列に加える： a) 現在アクティブなセグメントを強化56する（47-48 行目）、 b) このアクティベーション57を予測し得たセグメント （即ち、前回の時刻ステップでアクティビティに（弱いかも ry ）マッチしたセグメント） を強化する（50-53 行目）。
42. for c, i in cells 43. for s in segments(c, i) 44. if segmentActive(s, t, activeState) then 45. predictiveState(c, i, t) = 1 46. 47. activeUpdate = getSegmentActiveSynapses(c, i, s, t, false) 48. segmentUpdateList.add(activeUpdate) 49. 50. predSegment = getBestMatchingSegment(c, i, t-1) 51. predUpdate = getSegmentActiveSynapses( 52. c, i, predSegment, t-1, true) 53. segmentUpdateList.add(predUpdate) 000762017/04/09(日) 09:27:16.04ID:XXlcdpGX フェーズ 3 ry 実際に学習を実施する。 待ち行列に追加されたセグメントの更新は、フィード・フォワード入力を得てセルが 学習セルとして選択されたときに実施される（55-57 行目）。 そうではなく、もしセルが何らかの理由で予測を停止した場合、 そのセグメントをネガティブ58に強化する（58-60 行目）。
54. for c, i in cells 55. if learnState(s, i, t) == 1 then 56. adaptSegments (segmentUpdateList(c, i), true) 57. segmentUpdateList(c, i).delete() 58. else if predictiveState(c, i, t) == 0 and predictiveState(c, i, t-1)==1 then 59. adaptSegments (segmentUpdateList(c, i), false) 60. segmentUpdateList(c, i).delete() 61. 0012112017/04/16(日) 11:29:05.95ID:kNc73pc9 実装の詳細と用語説明
ry 。各セルは二つの数値でアクセスする。カラムの添字 c と、セルの添字 i である。 セルは樹状突起セグメントのリストを保持する。各セグメントはシナプスのリストと、 各シナプスごとに永続値を保持する。 ry 変更は、セルが フィード・フォワード入力によってアクティブになるまでは一時的とマークされ ry segmentUpdateList によって保持される。 各セグメントはまた、論理値のフラグsequenceSegment を保持する。 これはそのセグメントが次の時刻ステップにおけるフィード・フォワード入力 を予測するかどうかを示している。
シナプス候補の実装は空間プーリングの実装とは異なっている。 空間プーリングでは、シナプス候補の完全なリストが明示的に示される。 時間プーリングでは各セグメントが固有のシナプス候補の（ときには大きな）リスト を保持することができる。実際には各セグメントごとに大きなリスト ry は、計算量 ry メモリ消費 ry 。そこで ry 時間プーリングでは学習の際に各セグメントごとに アクティブなシナプスをランダムに追加する（newSynapseCount パラメータで制御する）。 ry 候補のリスト ry と同様の効果があり、しかも新たな時間的パターンを学習でき ry リストはずっと小さくなる。
上の画像は左側が生体ニューロンの写真、中央が単純な人工ニューロン、 右側がHTM のニューロンあるいはセル ry 。この付録の目的 ry 比 ry
実物のニューロンは途方もなく複雑で変化に富んでいる。 ここではその最も普遍的な原理に注目し、また我々のモデルに関わる部分に限定する。 ry 、HTM 大脳皮質性学習アルゴリズムで用いられているセルは 多くのニューラルネットワークで用いられている人工ニューロンよりも はるかに現実に即している。 ry
生体ニューロン
ニューロンは脳内で情報を伝えるセル59である。上記左の画像は標準的な興奮性の ニューロンである。 ry 外見の大部分は枝分かれした樹状突起で占められている。 ry すべての興奮性の入力は、樹状突起に沿って配置されたシナプスを経由 ry 。近年、ニューロンに関する知識 ry 最大の発見は、 ニューロンの樹状突起が入力を細胞体60に繋ぐ単なる導線ではないと分かったことで
59 cell ry 「セル」と訳したが、生物の細胞を意味する。 60 cell body。ニューロン中央の膨らんだ部分。 0030オーバーテクナナシー2017/05/25(木) 00:58:13.18ID:mAFRIC2Q ＨＴＭ学習による人工知能は人間が工学的に知る能力になると思いますか？
主要樹状突起62 細胞体に最も近い ry 枝は主要樹状突起 ry 図 ry いくつかを緑色の線 ry
ry 突起上の複数のアクティブなシナプスは、細胞体に対して概ね線形の加算 ry 。5 つのアクティブなシナプスは 1 つのアク ry 概ね 5 倍の脱分極63を細胞体に ry 引き起 ry 。対照的に、ある一つのシナプスが後続の素早い活動電位64によって繰り返しアクティブ になったとしても、2 番目、3 番目と続く活動電位による細胞体への影響は、 最初のものよりずっと小 ry
新皮質のリージョンへのフィード・フォワード接続は主要樹状突起に優先的に接続 ry 。これは少なくとも、各リージョンの ry 主要な入力層である第 4 層のニューロンについて ry 0032312017/06/04(日) 12:41:55.82ID:Izq+v2N1 末梢樹状突起65 細胞体から遠く ry 枝は末梢樹状突起 ry 図 ry いくつかを青色の線 ry
末梢樹状突起は主要樹状突起よりも細い。これらは樹状突起の木の中の他の樹状突起の枝に 接続されていて、細胞体に直接接続されていない。これらの違いにより末梢樹状突起は ユニークな電気・化学特性を持っている。 末梢樹状突起で一つのシナプスがアクティブになっても、細胞体に対して最小限の影響しか ry 。シナプスで局所的に発生した脱分極は、それが細胞体に届くときには弱くなっている。 このことは長年のなぞであった。 ニューロンのシナプスの大多数を占める末梢のシナプスはあまり多くのことを ry
今では末梢樹状突起の各断片が半独立の処理領域として働くことが分かっている。 もしその樹状突起の短い区間内で十分な数のシナプスが同時にアクティブになると、 樹状突起のパルスを生成することができ、 それは細胞体にまで届いて大きな影響を及ぼすことができる。 例えば 40μm 間隔の 20 個のアクティブなシナプスは樹状突起のパルスを生成 ry
従って、末梢樹状突起は域内同時発生事象の検出器 ry
末梢樹状突起上のシナプスは、圧倒的にそのリージョン内の付近の他のセルから形成 ry
画像では上方向に伸びる大きな樹状突起の枝 ry 先端樹状突起66 ry 。ある理論 ry 、この構造によりニューロンは付近にいくつかの末梢樹状突起を形成し、 この付近を通る軸索により容易に接続 ry 。 この解釈によれば、先端樹状突起はセルの延長として働く ry 0036352017/06/11(日) 13:06:46.13ID:ovKJ8hHX シナプス 標準的なニューロンには数千個のシナプスがある。これらの大多数(多分 90%)は 末梢樹状突起にあり、残りは主要樹状突起にあると思われる。
長年に渡って、学習はシナプスの影響度ないし「重み」を強くしたり弱くしたり することを含む ry 。このような影響は観測されるものの、各シナプスはどこか確率的な様子である。 アクティブになったとき、それが神経伝達物質67を放出することに信頼性がない。 よって脳が ry 各シナプスの重みの精度や忠実度に依存しているはずがない。
さらに今では、シナプス全体が素早く形成されたり切断 ry 。この柔軟性は学習の強力な表現形式であり、素早く知識を獲得 ry 。シナプスは軸索と樹状突起がある距離の範囲内にあるときにだけ形成されうることから、 シナプス「候補」の概念 ry 、学習は主にシナプス候補から有効なシナプスが形成 ry
ry 出力は常にパルスであるが、この解釈には異なる見方ができる。 有力 ry （特に新皮質に関しては）、パルスの発生頻度が重要というもの ry 。よってセルの出力はスカラー値と見なすことができる。
いくつかのニューロンは数個の連続したパルスを短時間に素早く出力する「バースト」反応 を示すことも ry
ry 上記 ry HTM セルの特徴に関連する属性に注目して述べ ry 詳細は無視 ry ここで述べたすべての特徴が幅広く受け入れられているとは必ずしも言えない。 ry 、我々のモデルにとって必要 ry
単純な人工ニューロン
この付録の最初に示した中央の図は、多くの古典的な ry に模した構成要素 ry これらの人工ニューロンはシナプスの集合を持ち、各シナプスはウェイトを持っている。 各シナプスはスカラー値のアクティブ化を受け取り、それにシナプスのウェイトが掛け合 ry 。すべてのシナプスの出力は非線形の方法で足し合わされ、人工ニューロンの出力となる。 学習はシナプスのウェイトを調整 ry 恐らく非線形の関数 ry 。このタイプの人工ニューロン、そしてそのバリエーションは、 コンピュータ ry アプリケーションにおいて有益 ry しかし ry 多くの複雑さを捉えておらず ry 能力を活用していない。 ry もっと精巧なニューロンモデルが必要 ry
我々は、カラム内のすべてのセルが同じフィード・フォワード応答を持つよう求めている。 実物のニューロンではこれは恐らく抑制タイプのセルによって行われる。 HTMでは我々は単にカラム中のすべてのセルが単一の主要樹状突起を共有するように強制 ry
隣のセルとの競合に決して勝つことができない ry 避けるため、 ry 隣と比較して十分に勝利していないときには、そのフィード・フォワード入力 によるアクティブ化をブーストする。よってセル間には常に競合 ry 我々はこれをセル間ではなくカラム間の競合として HTM でモデル化 ry 図では示されていない。
ry 候補 ry 生物学 ry シナプスを形成するのに十分に近くにある軸索と樹状突起 ry 拡張して、HTM セルで接続する可能性のある、より大きな集合を意味する ry 。生体ニューロンの樹状突起と軸索は学習によって成長したり縮退 ry よってシナプス候補の集合は成長に伴って変化する。 HTM セルのシナプス候補の集合を大きめにすることで、我々は概ね、 軸索や樹状突起の成長と同じ結果を得た。 シナプス候補の集合は図示されていない。 0047462017/07/02(日) 21:30:48.70ID:ZKt2tQ+I カラム間の競合、シナプス候補の集合による学習、 ry カラムのブースト の組み合わせにより、HTM ry ンは脳に見られるのと同様の強力な可塑性を得た。 HTM リージョンは入力の変化に応じて各カラムが何を表す 0048オーバーテクナナシー2017/07/02(日) 21:31:29.71ID:7PyqZMnO>>1 マジ？ http://raou.jp/ ラ王への道 toritatenin 岩間好一 aiueo700 監視カメラ 110番 ウィルス 公明党 ラ王への道 江南署 集団ストーカー クレーマー 悪質 卒論コピペ ランサムウェア ラ王への道 クレーム 馬鹿舌 味音痴 味覚障害 嫌われ者 ワンクリック詐欺 共産党 ラ王への道 長谷川亮太 チンフェ ちばけんま クズ けん まくん 創価学会 ラ王への道 森園祐一 生活保護 ドールオタビッコマン 涼子P ナマポ 苦情 ラ王への道 岡尚大 色盲絵師 三村侑意 アフィリエイト ヘーボ 広告 マルウェア 0049452017/07/09(日) 16:24:13.89ID:W3GgFRR8 強い AI ( AL ) ( を越えます物 ) の応募は人類の喫緊の命運を左右もご承知の通り その上で昨年度は審査員様ご一任状況にしてご関知なさらず ? 0050yamaguti~貸2017/07/09(日) 16:26:03.45ID:W3GgFRR8 Page 62
のかを（主要樹状突起上のシナプスの変更によって）自動的に調整し、 カラム数の増加ないし減少を自動的に調整 ry
末梢樹状突起 各 HTM セルは末梢樹状突起セグメントのリストを管理している。 各セグメントはしきい値検出器として働く。 ry アクティブなシナプス（冒頭の図で青い点で示した）の数がしきい値を超えると、 そのセグメントはアクティブになり、それに接続されたセルが予測状態になる。 セルの予測状態はアクティブなセグメントの OR ry
樹状突起セグメントは、以前のある時点で互いに同時にアクティブになった複数のセル への接続を形成することでリージョンの状態を記憶する。そのセグメントは、 以前にフィード・フォワード入力によってアクティブになったセルの状態を記憶する。 よってそのセグメントはセルがアクティブになることを予測する状態を探す。 樹状突起セグメントの標準的なしきい値は 15 である。 ry 有効なシナプスが 15 個同時にアクティブになると、その樹状突起はアクティブになる。 数百から数千個の周囲のセルがアクティブになるかも知れないが、 15 個の接続だけで十分により大きなパターンを理解 ry
各末梢樹状突起セグメントはそれに関連付けられたシナプス候補の集合を持つ。 そのシナプス候補の集合はリージョン内のすべてのセルの部分集合である。 そのセグメントが学習 ry 、それらすべてのシナプス候補の永続値を増加ないし減少 ry 。しきい値を超えたシナプス候補だけが有効 ry 0051502017/07/09(日) 16:27:05.61ID:W3GgFRR8 ある実装では、我々はセルあたり固定の数の樹状突起セグメントを用いた。 他のある実装では、訓練を通じてセグメントを追加ないし削除するようにした。 ry 。セルあたりの樹状突起セグメントの数を固定にすると、 同じセグメントに対していくつかの異なるシナプスの集合を保存することができる。 例えば、セグメント上に 20 個の有効なシナプスがあり、しきい値が 15 とする。 （一般に ry ノイズへの耐性 ry しきい値をシナプスの数よりも少 ry ） これでそのセグメントは周囲のセルの特定の一つの状態を理解できるようになる。 もし周囲のセルのまったく異なる状態を表現する、20 個の他のシナプスを その同じセグメントに追加 ry するとそのセグメントは、 あるパターンの 8 個のアクティブなシナプスと他のパターンの 7 個のアクティブなシナプスを 持つことで間違ってアクティブになるかも知れないので、エラーが起こる可能性 ry 。我々は実験的に、20 個の異なるパターンまでならエラーなしで一つのセグメントに保存 ry 従って十数個の樹状突起セグメントを持つ HTM セルは多くの異なる予測に関与 ry 0052yamaguti~貸2017/07/16(日) 17:38:53.91ID:Nam9FajQ Page 63
シナプス HTM セルのシナプスは二値の重みを持つ。ry 重みをスカラー値にすることを妨げるものは何もないが、 疎分散パターンを用い ry 今のところスカラー値の重みを使う必要性がない。
しかし ry セルは「永続値」というスカラー値を ry 学習を通じて調整する。 永続値 0.0 は有効でないシナプス候補を表し、 ry しきい値（標準的には 0.2） を超える永続値は接続したばかりで容易に切断するシナプスを表す。 高い永続値、例えば 0.9 は、接続状態でしかも容易には切断しない ry
HTM セルの主要樹状突起セグメントや末梢樹状 ry にある有効なシナプス の数は固定ではない。それはセルがパターンに触れるに従って変化する。 例えば、末梢樹状突起の有効なシナプスの数はデータの時間的構造に依存する。 リージョンへの入力に時間的に永続的なパターンが何もないときは、 末梢セグメントのすべてのシナプスは低い永続値を持ち、 わずかな数のシナプスだけが有効になるだろう。 入力列にたくさんの時間的構造があるときは、高い永続値を持つ有効なシナプスが多数 ry
