? ry されるモデルニューロンとは実質的に異なるモデル皮質ニューロンを ry 。 我々は、大部分の人工ニューラルネットワークで使用されるニューロンのモデル、とは実質的に異なる皮質ニューロンモデルを提示した。 ? モデ ロンの主な特徴は、 ry シナプス ry これにより、ニューロンは多数の細胞集団で何百ものユニークなパ を ry 。 モデルニューロンの鍵となるフィーチャは、アクティブな樹状突起と何千ものシナプスとを使用すること 。 によりニュ は、細胞の大集団の中で何百ものユニークパ を認識 できます。 ? 我々は、大量 ry でも、ニュ ry を示し ry 。 大量のノイズや変動 でもニュ が、多 パターンを確実に認識できる 我々は示し た。 このモデル 、近位シナプスは細胞のフィードフォワード受容野を定義します。 基底および頂端シナプスは細胞を脱分極し、予測を表す
? 我々は、これらのニュ の ｰクが一連のデータの予測モデルを学習 ry を示し ry 。 ｰタのストリームの予測モデルをこれらニュ の ｰクが学習 を我々は示 した。 基礎シナプスは、次のフィードフォワード入力を予測する文脈パ を検出 。 頂端 プスは、シーケンス全体を予測するフィードバックパターンを検出 ? ry の動作は、神経活動がまばらである ry 。 ｰロンと ｰクのオペレーションは、ニューラルアクティビティが疎であることに依存 。 ｰケンスメモリモデルは継続 学習し、予測を行う に可変量のコンテキストを使用し、複数の同時予測を行い、ローカル学習規則に依存し、ｰク要素の障害、ノイズ、 変動に ロバスト 。
6 0040yamaguti2019/09/13(金) 07:27:00.57ID:TSAd9aQm ? ry と呼びますが ry 。 ネットワークモデルを「シーケンスメモリ」と我々は呼びますが、実際には遷移のメモリです。 ? ｰケンスの長さや格納されているシｰ の数に関する表現や概念はありません。 ｰケンス長又は格納シーケンス数、の、表現と概念とを有しません。 ネットワークは入力間の遷移のみを学習 。 したがって ｰクの容量は、特定のネットワークが格納できるトランジション数によって測定されます ? これは、個々のニュ の予想されるデューティサイクル（列あたり 数/列の希薄度） ry 数の積 ry 。 ｰロン個々の予想デューティ比（カラム毎のセル数 / カラムのスパース度）と、各ニュ がその基底樹状突起上で認識できるパターンの数と、の積 、2％の列がアクティブで、各列に32個のセル 、各セルが基底樹状突起上の200個のパ を認識するネッ 、約32万 遷移を格納できます（32 / 0.02）* 200 ? 容量は、列あたりのセル数と各 ry ｰンの数に比例して増加します。 カラムあたりのセルの数と、各ニュ の基底シナプスによって認識されるパ の数と、に伴って容量はリニアにスケール 。
? ry 、混乱することなく特定の入力が異なる時間的状況で何回現れることができ ry 。 別の重要な容量測定基準は、異なる時間的文脈に於て特定単一入力が混乱なく現れる事が何回できるか です ? これは、特定の音程が混乱することなくメロ ｰに現れる回数、または特定の単語が異なる文章に何回記憶されるかに似てい 。 は、混乱なく特定休符 ( 間 ) がメロディ内に現れる回数、又は異なる文の中に特定単語が何回記されるか、のアナロジ 。 ? ミ ムに32個のセルがある場合でも、特定のパ が32個の異なる表現しか持てないという意味ではありません。 セル 32個をミニカラムがもしも持つ場合それは、異なる表現 32 個だけを特定パターンは持つ事ができる、事を意味しません。 、入力あたり40個のアクティブ列、1列 32個のセル、1列 1個のアクティブセルを想定すると、各入力パ には3240個の可能な表現があり、事実上無制限 。 したがって、実際的な制限は表現的なものではなく、メモリベース 。 ? ry 、特定のスパース列セットでいくつの遷移を学 ry 。 容量は、幾つの遷移をカラム群の特定単一スパースセットで学習できるかによって決まります。 0041yamaguti2019/09/13(金) 07:27:18.39ID:TSAd9aQm これまでのところ ｰク内のすべてのセルが他のすべてのセルに同じ尤度で接続 可能性があるセルラーレイヤについて 説明 した。 これは小規模ネッ ではうまく機能しますが、大 ネ うまくいきませ ? ry 新皮質 ほとんどのリージョンが位相的な組織をしていることがよく知られています ? ry 、領域Ｖ１の細胞は、網膜のごく一部からのみフィ ry 入力を受 ry 、Ｖ１の局所領域からのみ横方向入力を受 ry 。 例えば、リージョン V1 内セルは、フィードフォワード入力を網膜の小部分からのみ受け取り、横方向入力を V1 の局所リｰ からのみ受け取 ? HTMネッ は、列を2D配列に配置し、 ｰロンを中心とする2D ry して各 起のシナプス候補を選択することで、このように構成できます。 HTM ｰクをこの様に構成するには、カラムを 2D アレイ内に配置し、各樹状突起の各潜在 プスをニューロン中心な 2D確率分布を使用して選択します。 ? トポロジ的に組織されたネットワークは、任意に大きく できます
この理論から得られる検証可能な予測がいくつかあります 1） ? ry 的に予測 ry 感覚の流れの間に全体 ry なるという実験 ry された現象 ry 。 理論は、連続的予測可能な感覚ストリーミング単一の経過中に於て実験的に観察された、全体的な細胞活性がより疎 現象 のアルゴリズム的説明を提供 （Martin and Schr er、2013; Vinje and Gallant、2002; Yen et al。、2007 ? さらに、予期しない入力がより高いセル ィビティをもたらすことを予測し、それはミニコラム内で垂直方向に相関させるべきです。 更にそれが予測するのは、予期しない入力の結果としての、ミニカラム内で垂直方向に相関させるべきな、より高いセルアクティビティ 。 一方、予想される入力は、ミニコラム内では相関のないアクティビティになります。 ミニカラムがこの理論の厳密な要件ではない は注目に値 。 ? ry 応答を共有し、相互に阻害的な小 ｰプの細胞の存在 ry 。 このモデルは、フィードフォワード応答共有接続且つ相互抑制的、な細胞、の各小グループの存在のみ 要 ? ry と呼 が、柱状の側 ry 無関係になる可能性があります。 これらのグループをミニカラムと我々は呼びますが、柱状な側面は必須ではなく、グループ化は実際のミニカラムとは無関係である事ができます。 0042yamaguti2019/09/13(金) 07:27:36.38ID:TSAd9aQm 2） 理論の第二のコア予測は、細胞活動の現在のパターンが過去の刺激についての情報を含む こと 。 この予測を支持する初期の実験結果が報告 （Nikoli et al。、2009 ? ry 動的細胞アクティビティの正確な性質および高次シーケンス内テンポラル文脈の役割を検証 ためにさらなる研究 要 3） ? ry a back action potential. ? ryに逆活動電位が続く。 プス可塑性は、シナプス入力を介して脱分極された樹状突起セグメントに局在化されるべきであり、その後短時間後に逆伝播活動電位 ( 逆活動電位 ? ) が続く。 この現象はまだ広く確立 ないが 効果は報告 （Losonczy et al。、2008 4） ? ry 、ほとんど、理想 ry だけ存在 ry 。 所与の軸索と所与の樹状突起セグメントとの間に形成される興奮性シナプスは、二三個だけ、理想的には１つだけ、存在するはず 。 興奮性軸索が単一の樹状突起上に非常に近接して多数の プスを作った場合、シナプス前細胞はNMDAスパイクを引き起こすことに 優位を占めるであろう ? ry が、軸索突起が日常的に単一 ry メントへより ry プスを作っ ry ラーにつながる。 単一の軸索から単一の樹状突起セグメントへの2、3、さらには4 シナプスが許容される可能性があるが、より多くの プスを単一の樹状突起セグ へ軸索突起が恒常的に作っ はエラーを導く。 純粋なHebbian学習は、複数のシナプスを形成 促進するように思われるでしょう ? ry ために、我々は1つが確立された後に複数の プスの形成 ry を予測 。 これが起こらないようにする為に、 1 シナプス確立後の複数形成を積極的に妨げるメカニズムの存在を我々は予測 ? 軸索は問題を引き起こさずに同じニュ の異なる樹状 ry 上に プスを形成することができ、それゆえ我々はこのメ ムが樹状 ry 軸索アーバーの局所領域に空間的に局在することを予測 。 軸索は同ニューロンの別樹状突起セグメント上へのシナプス形成を問題を引起こさずできそれゆえこのメカニズムが、樹状突起セグ 内または軸索側枝ローカルエリア、に空間的局在 、と我々は予測 。 0043yamaguti2019/09/13(金) 07:29:12.82ID:TSAd9aQm _ttp://rio2016.2ch.net/test/read.cgi/future/1545018277/45-56# Singyurarithi2023 ## 言種 _ttp://rio2016.2ch.net/test/read.cgi/future/1564778477/847-850# Singyurarithi2024 0044yamaguti2019/09/13(金) 07:29:37.25ID:TSAd9aQm 5） ? ＮＭＤＡ ry よって脱分極され ry を阻害する ry 。 脱分極をＮＭＤＡスパイクによってされた細胞がその後に近位入力を介して活動電位を生成するとき、それは他の全ての近くの興奮性細胞を抑制 要 。 これは速い、おそらく単一のスパイク、抑制を必要とします ? 高速スパイクバスケット阻害細胞 ry な阻害の ry 高い起源です（ ry 。 Fast-spiking 型籠細胞は、この急速な抑制の最も可能性の高いソース （Huら、2014 6） ミニコラム内のすべてのセルは、共通のフィードフォワード応答を学 要 ? ry 、ミニカラム内のすべてのセルを同時 ry 。 これには、 ｰドフォワードパターンを学習しながら、そのミニカラム内の各セル出来れば全てを同時にアクティブにするためのメカニズム 要 ? 相互励起の 要件 ry の以前の要件 ry 。 興奮性相互作用のためのこの要件は、１つまたは複数の細胞がわずかに脱分極しているときの相互抑制のための従来要件とは相反 思われる。 これら2 要件をどのように満たすか 、具体 案はありませんが、列内のセルが相互に興奮し、他の時には相互に抑制 メカニズムを予測 。
錐体ニューロンは海馬では一般的 ? したがって、私たちのニュ と ｰクモデルの一部 ry 。 故に、ニューロンとネットワークとの私達のモデルの一部は海馬に当てはまるかも ? ry は急速な学習が知られ ry プス形成に ry 、新しいシナプスの成長とは ry Trachtenberg et al。）。ら、２００２年）。 しかしながら、海馬は高速学習で知られ 、成人では プス編成に何時間もかかることがあるため、新シナプスが成長する事とは相容れない （Holtmaat and Svoboda、2009; Knott et al。、2002; Niell et al。、2004; Trachtenberg ら、２００２年）。 新 プスを成長させるのではなく、細胞に多数の非活性または「サイレント」シナプスがある場合、私たちのモデルでは迅速な学習が可 （Kerchner and Nicoll、2008）。 その後、サイレントシナプスをアクティブシナプスに変えることで 速な学 ? ry 、細胞がさらにシナプスを必要 ry 。 マイナス面は、更に多くのシナプスを細胞が必要とすること 。 は代謝的に高価 。
7 0045yamaguti2019/09/13(金) 07:31:25.08ID:TSAd9aQm ? 海馬領域ＣＡ２の ry 。 海馬リージョン CA2 の錐体細胞は、新皮質の錐体細胞の数倍の数のシナプスを有する（Ｍｅｇ ｓら、２００１ ? これらのシナ 分が沈黙していたなら ry 我々の提案されたシｰ ry 。 これらシナプスの大部分がサイレント ならば 領域CA2も我々提案なシーケンス記憶の変形を実行 を示唆する証拠であろう。
我々の提案した生物学的配列記憶機構を機械学習の分野で使用される他の配列記憶技術と比較 は有益 。 最も一般的な手法は、隠れマルコフモデル（HMM （Rabiner and Juang、1986 ? ＨＭＭは、特に音声認識において広く適用 ry 。 HMM は広範に、特に音声認識に於て、適用されている ? ry ベーシックな HMM は一次モデルであり 精度は図６Ａに示す一次モデルと同様であろう >>34-35>>34>>35 ? ＨＭＭの変形は、高次 ry よって制限 ry ｰケンスをモデ ry 。 HMM のバリエーションは、制限された高次シーケンスを高次状態を手で符号化 によってモデル化 できる。 最近になって、リカレントニュｰ ｰク、特に長期短期記憶（ＬＳＴＭ）（ＨｏｃｈｒｅｉｔｅｒおよびＳｃｈｍｉｄｈｕｂｅｒ、１９９７）が普及してきており、多 場合ＨＭＭより優 ? ry ｰクとは異なり、 ry ようなものとして、それらは ｰロンまたは新皮質機能 ry 。 HTMネットワークと様相を異にした、HMMもLSTMも、生物学を詳細にモデル化しようとはしません。 そのようなそれらは、ニューロン的又は新皮質的な機能に対する洞察を提供しない。 ? ry な機能上の利点 ry 。 これら両方の技術に対するＨＴＭモデルの主な機能的利点は、その継続的な学習能力、その優れたロバスト性、および複数の同時予測を行う能力 。 より詳 較はS1 Table >>330046yamaguti2019/09/13(金) 07:31:53.25ID:TSAd9aQm ? 多くの論文が配列の文脈でスパ ry モデルを研究 ry 。 スパイキングニューロンモデルを多くの論文がシーケンス文脈で研究 （Ghosh-Dastidar and Adeli、2009; Maass、1997）。 これらのモデルは、機械学習の文献で使用されているニューロンモデルよりも生物物理学的に詳 ? 彼らは、スパ ry （ＳＴＤＰ）が、シナ ry ｰケンスおよび各 ry 延に対して細胞がどのように反応するようになるかを示 ry 。 シナプス前スパイクの特定シーケンスとそして各スパイク間の特定の時間遅延と、に対して細胞が敏感になって行く様に誘導する事 をスパイクタイミング依存可塑性 ( STDP ) がどの様にすればできるかを彼らは示 （ＲａｏおよびＳｅｊｎｏｗｓｋｉ、２０００；ＲｕｆおよびＳｃｈｍｉｔｔ、１９９７）。 これらのモデルは HTMモデルよりも詳細度が低 ? ry しており、対応する時間 ry 。 それらはシナプス後電位の積分時間を明確にモデル化しており、そこでの時間遅延は典型的にサブミリ秒から数ミリ秒 ? ry また、典型的には非常に小さいシナプスのサブセットを扱い、そして非線形活性樹状突起を明示的にモデル化しない。 それらはまた プスの微小サブセットを典型的には扱い、そしてノンリニアなアクティブな樹状突起を明示的モデル化しない。 私たちの仕事の焦点はより高いレベルにありました。 ? ry は、そのようなニューロンの ｰク化された層の、そして ry ｰケンスメモリの出現の、シナプスと ry 突起のフルセットのモデルです。 この論文で提示された研究は プスとアクティブな樹状突起とのフルセットそのようなニュ がネットワーク化されたレイヤの、そして計算的に洗練されたシーケンス記憶の創発の、モデル 。 ? ry な細胞層のレベルで機能する生物物理学的に詳細なモデル ry 。 将来の研究にとって興味深い方向は、これら2つのレベルのモデリングを結び付けること、すなわち完全な細胞レイヤのレベルでのオペレートをする詳細な生物物理学的モデルを作成すること 。 進歩が報告されています（Billaudelle and Ahmad、2015）が、この面でやるべき はまだたくさん 。 0047yamaguti2019/09/13(金) 07:34:03.07ID:TSAd9aQm ? ry おける重要な考慮事項は、一般化の問題、または ry を堅牢に処理 ry 。 学習アルゴリズムにおける 1 つの鍵となる考慮事項は、般化の問題です、又は新規パターンを堅牢処理する能力です。 ? ry 、まばらなパ の流れの中で活動的な ｰロンの小さいサンプルにシナプスを形成 ry 。 我々が概説したシーケンス記憶メカニズムは、スパースパターンのストリームの中でアクティブニューロン群の各小サンプルにシナプス形成 によって学 。 まばらな表現の性質は当然そのようなシステムを一般化 を可能にする。 ランダムに選択された2つの疎パターンは、ほとんど重なりがありませ ? ry わずかな重複（ ry 、表現が重要な意味的意味を共有 ry 。 僅かなオーバラップ（20％など）でも非常に重要 、 な意味論的意味を各表現が共有 を意味します ? ry ため、セグ は新規だが意味 ry するパ を ry して認識する。 樹状突起閾値は、各セグメント上の プスの実際の数よりも低い為、意味的に関連するしかし新規なパターン、を類似 と セグメントが認識する。 ? ry システムは、別シーケンス間の類似性を見て、類推ベースな新規予測をする。
