(強いAI)技術的特異点/シンギュラリティ151

**オーバーテクナナシー** · 2019/02/24(日) 16:57:44.25

2045年頃に人類は技術的特異点(Technological Singularity)を迎えると予測されている。
未来技術によって、どのような世界が構築されるのか？人類はどうなるのか？
などを様々な視点から網羅的に考察し意見交換する総合的なスレッド

■技術的特異点：収穫加速の法則とコンピュータの成長率に基づいて予測された、
生物的制約から開放された知能[機械ベース or 機械で拡張]が生み出す、
具体的予測の困難な時代が到来する起点

■収穫加速の法則：進歩のペースがどんどん早くなるという統計的法則
ここでの進歩とは、技術的進歩だけでなく生物的進化、生化学的秩序形成も含む

★ 関連スレ(特化した話はこちらで)
(AI) 技術的特異点と政治・経済・社会 (BI)
http://goo☆.gl/riKAbq
(情報科学) 技術的特異点と科学・技術 (ナノテク)
http://goo☆.gl/RqNDAU

※URL部分をコピーし、☆を消してペースト※

※前スレ
(強いAI)技術的特異点/シンギュラリティ150
https://rio2016.5ch.net/test/read.cgi/future/1550339001/

(強いAI)技術的特異点/シンギュラリティ149
https://rio2016.5ch.net/test/read.cgi/future/1549848644/

(強いAI)技術的特異点/シンギュラリティ148
https://rio2016.5ch.net/test/read.cgi/future/1549315166/

**yamaguti** · 2019/02/24(日) 22:24:38.40

>43 yamaguti 190205 1241 X9C1Zb0H? \>27 yamaguti 190123 1436 mAoFHgII?
> :
>
> http://arxiv.org/abs/1505.02142/
>
> Google 翻訳
>
> :
>> arXiv：1505.02142v2 [q-bio.NC] 2016年2月9日
>>
>>
>> ハイデルベルクニューロモルフィックコンピューティングプラットフォームへのHTMモデルの移植
>>
>>
>> セバスチャンビローデル1、*、
>> Subutai Ahmad 2、†
>>
>> 1キルヒホッフ物理研究所、ハイデルベルク、ドイツ
>> 2 Numenta、Inc.、レッドウッドシティー、CA
>>
>>* ：sebastian.billaudelleATkip.uni-heidelbergde
>>† ：sahmadATnumenta

http://rio2016.2ch.net/test/read.cgi/future/1549315166/27-37#26-45# 0
http://rio2016.2ch.net/test/read.cgi/future/1549315166/43-51#41-56# 2

**yamaguti** · 2019/02/24(日) 22:25:21.72

>41 yamaguti 190205 1240 X9C1Zb0H? \ \ \ \ \ \>10 yamaguti 1121 0904 sfyGuXNf?
|||||| :
|||||||| http://rio2016.2ch.net/test/read.cgi/future/1511446164/36-89#-#819-#831-837#868##823-826# HTM Ronbun
|7|
|||||||| :
|||7| 階層的時間的記憶理論 ( HTM )
|||7| http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#nyuumenta
|||7| 短縮版
|||7>http://rio2016.2ch.net/test/read.cgi/future/1427220599/539-676##
|||7| http://rio2016.2ch.net/test/read.cgi/future/1489740110/22-30
|||7>http://rio2016.2ch.net/test/read.cgi/future/1481407726/6-82
||| :
|||>http://rio2016.5ch.net/test/read.cgi/future/1427220599/478-509#742# DensiZunou SekkeiGaiyou
||>http://rio2016.2ch.net/test/read.cgi/future/1481407726/205#-## KanseiZumi HannyouAI/AL
|| :
||
|>世界の構造を学習する事を新皮質内カラムが如何にして可能たらしめるかの理論
|| http://rio2016.2ch.net/test/read.cgi/future/1547171604/43-67
||
||>423 ｰ 190116 1128 3ISQmIwx
||>Numentaがブレイクスﾉ
|||
||| Numenta publishes breakthrough theory for intelligence and cortical computation
||>http://eurekalert.org/pub_releases/2019-01/kta-np011119.php

**yamaguti** · 2019/02/24(日) 22:26:05.21

3 結果

前のセクションで示したｰクモデルは、それらの動作を調査するためにソフトウェアでシミュされました

以下に実験とその結果を示す。
さらに、塑性則および位相的要件がHMFに関して議論されています。

3.1 ネットワークシミュレーション

図5

80
: 　すべての列
: 　アクティブコラム
50
40
30
20
? 10年
10
0
＃

入力イベント
0 20 30 40 50 60

各列が受け取る重複スコアの分布を示すヒストグラム。
空間プールネットワークによってアクティブ化された列が強調表示されます。
? ry 持つ競合他社だけ ry 。
これは、最も高いインプットを持つ競合達だけがィブ状態に入ることを確認します。
さらに、同じ重複スコアを持つ列間の結合状況は正しく解決されます。

**yamaguti** · 2019/02/24(日) 22:27:35.37

空間プールは、1,000列にまたがるｰクとサイズ10,000の入力ベクトルについて分析されました。
シミュを高速化するために、刺激ベクトルを接続性行列に乗算することによって入力接続性をソフトウェアで前処理

最初の実験は、基本的なkWTA機能を検証するために設計。
ランダムパターンがネットワークに提示されました。
図5に示すように、列ごとのアクティブ入力数 - 入力オーバーラップスコア - をヒストグラムで視覚化できます。 >>91
その特定の刺激によって活性化された列を強調表示することによって、人はネットワークの選択基準を調査できます。
空間プールの要件に準拠して、最も入力数の多い列を表す最も右側のバーだけが強調表示

? さらに、同じ入力カウントを受け取る列間の関係を解決するモデルの機能が示され ry として選択されず、少数の列のみが ry 。
更に、同カウントの入力を受取るカラム達の関係を解決するモデルの能力が立証されています。決定境界のバーは全体としては選択されず、少数のカラムのみが選択されました。
これは空間プール特性2を検証します。 http://rio2016.2ch.net/test/read.cgi/future/1548169952/31

**yamaguti** · 2019/02/24(日) 22:28:16.23

図6

6
5
4
3
2
1
出力スパース性[％]

入力スパース性[％]
1 2 3 4 5 6

アクティブな列の相対数は、入力ベクトルのスパース性に対してプロットされます。
一定レベルの入力希薄性に達すると、列はィブ状態に入り始めます。
? シナプス前活性が高まると、円柱状の競争が激しくなり、出力の希薄性はプラトーに達する。
シナプス前活性が高いと、カラム状の競争が激しくなり、出力の疎性はプラトーに達する。
? 曲線の正確な経過は、 ry 。
曲線の正確な軌跡は、プラトーのサイズと同様に、ニューロンのパラメータによって操作できます。
エラーバーは５回の試行にわたる標準偏差を示す。

? 2番目のシナリオでは、図6に示すように、スパース性が異なる入力ベクトルが ry 。
第 2 シナリオ内では、図 6 に示す様に、変化のあるスパース性を持つ入力ベクトルがｰクに入力されました。
ィブ列の数は、幅広い入力スパース性にわたってほぼ一定。

4

**yamaguti** · 2019/02/24(日) 22:29:25.64

図7

1.0
0.8
0.6
0.4
0.2
0.0
出力オーバーラップ

入力オｰップ
0.0 0.2 0.4 0.6 0.8 1.0

参照データ
シミュレーション1
シミュ 2
シミュ 3
シミュ 4
シミュ 5

入力ベクトルのオーバーラップスコアの依存関係としての出力オｰップ。
５回のシミュ実行の各々において、刺激はランダムベクトルから始めて徐々に変化した。
空間プーラに要求されるように、２つの類似した入力刺激は類似した出力パターンにマッピングされるが、分離した入力ベクトルは低いオｰップスコアをもたらす。
? シミュは、この図にも示されている既存のソフトウェア実装からデータを完全に再現します。
シミュはこの図に示されてもいる様に、データを既存ソフトウェア実装によって完全再現

**yamaguti** · 2019/02/24(日) 22:30:15.88

さらに、プロットは、列がアクティブになるためには最小限の入力を受け取る必要示
? ry と空間 ry 4を検証します。
これは、根底にあるkWTAアプローチと、空間プール特性1および4とを検証。 http://rio2016.2ch.net/test/read.cgi/future/1548169952/31-33

特性3で表される空間プールの一般的な機能性を検証するために、3番目の実験が設定されました。
可変オｰップを有する入力データセットは、初期ランダムバイナリベクトルから開始して生成された。
?
各刺激について、入力のオｰップを掃引しながら、カラム的アクティビティと初期データセットとの重なりを計算した。
?
入力と出力のオｰップスコアの結果の関係を図7 。 >>94
オリジナルの仕様[Hawkins et al。、2011]に直接従った、空間プーラーのカスタムPython実装で実行された同様の実験の結果も含
?
多重シミュ、得られたすべての結果がリファレンスデータと完全に一致し、従って特性 3 の検証となります。 http://rio2016.2ch.net/test/read.cgi/future/1548169952/33

実験は、このセクションで提示されたモデルが空間プーラーの要件を満たしており、堅実なkWTA実装示。
もちろん、具体的な結果は個々のネットワークサイズと構成によって異。
この場合、ネットワーク - 最も重要なのは柱状ニューロンの時定数 - はT = 50 msの比較的短い時間ステップに設定。
さまざまなパラメータセットを選択することで、ｰクをさまざまな運用シナリオ。たとえば、モデルの安定性がさらに向上

?
時間的記憶は、第１の配列予測実験において検証
?
リファレンスソフトウェア実装は、長さ3の3つの分離シーケンスでトレーニング。
連続した配列はランダムな入力パターンによって分離。
訓練されたネットワークのラテラル接続はダンプされ、シミュにロードされました。
同じ刺激を与えた場合、図8に示すように、LIFベースの実装ではシーケンスを正しく予測。

5

**yamaguti** · 2019/02/24(日) 22:31:21.98

3.2 学習アルゴリズム

図9

1.0
0.8
0.6
0.4
0.2
0.0
出力オーバーラップ

入力オｰップ
0.0 0.2 0.4 0.6 0.8 1.0

? 参照データ
リファレンスデータ

シミュレーション1
シミュ 2
シミュ 3
シミュ 4
シミュ 5

訓練された空間プールのための出力と入力の重なりの依存性
? ry と、カスタムソフトウェアの実装からの参照データが表示されます。
5回の独立したシミュレーションの実行結果と、カスタム実装ソフトウェアからのリファレンスデータとが示さ。

**yamaguti** · 2019/02/24(日) 22:32:07.29

? ry ことは、特に高速化 ry 。
ｰロモルフィックハードウェアでオンライン学習メカニズムを実装する事は特に、高速化されたシステムにとっては課題です。

? ry 特徴としていますが[ ry ]、実装するのはより複雑です。
HMFは最近傍スパイクタイミング依存塑性（STDP）と短期塑性（STP）の実装をフィーチャしていますが[Friedmann、2013a、Billaudelle、2014b]、より複雑な更新アルゴリズムを実装するのは困難です。
Numentaのｰクは、これらのメカニズムを超えた構造的可塑性規則に依存

? ry 刺激は学習 ry 対して著しく変化します。
空間プールの刺激達の変化は学習された入力パターン達に対して顕著です。
? ry 条件下でその機能を検証することは重要です。
これらの条件下でのその官能性の検証は重要。
HTM仕様にできるだけ厳密に従うために、監視された更新規則が外側のループに実装されました。各タイムステップについて、接続の永続値を含む行列が前のタイムステップのアクティビティパターンに従って更新されます。

これにより、元のホワイトペｰに示されている構造的可塑性の概念を実装できます。
ターゲットプラッｰムでは、HICANNチップの次期バージョンで計画されているPlasticity Processing Unit（PPU）で学習アルゴリズムを実装することができます[Friedmann、2013b]。

? 上記の実施形態の ry 図９に示す。
上記実装のシミュレーション結果を図 9 に示す。 >>96

HTM構造塑性則を古典的な最近傍STDPモデルで置き換える実験では、望ましい結果は得られませんでした。
ＨＴＭ学習規則は、細胞活性に寄与するセグメントにおける不活性シナプスへの負の修正を必要とする。
対照的に、STDPは非アクティブシナプスに影響を与えません。

**yamaguti** · 2019/02/24(日) 22:32:52.16

> 643 ｰ 190131 2135 PsX8CnTj
>AIが「動画を動画」として学習し始めた意義
>http://newswitch.jp/p/16300

**yamaguti** · 2019/02/24(日) 22:34:35.76

3.3 地図とルート
ｰドウェアプラッｰムに抽象ｰクモデルを適用するには、ｰロン集団を配置し、シナプス接続をルーティングするアルゴリズムが必要。
最良のシナリオでは、この処理ステップは、ｰクグラフのハードウェアトポロジへの同形投影をもたらす。
? ただし、極端 ry では、シナプス ry 。
極端な接続性が要求されるネットワークでは、但し、シナプス損失が予想されます

シミュされたｰクをマッピングすることは、ルーティングアルゴリズムにとって難題ではありません。
時間的記憶は、シナプス喪失なしに単一のウエハに投影
? 横 ry も同じことが依然として当てはまり、約200万のシナプスが生じる。
約 200 万のシナプスに於て横方向の全対全接続性を仮定しても同じ事が依然として当嵌る。
後者のｰクは、ハードウェアシナプスを作成および削除しなくても、学習アルゴリズムの探索を可能にする100％の潜在的プールを持つｰクに対応

? ry 、セルあたりの求心性接続数とニューロン数の間の ry 。一方、 ry 。
ｰドウェアプラッｰムでは、セルあたりの求心性連結接続数と多数のｰロンとの間のトレードオフを考慮する必要があります。一方、
単一のｰロンがおおよそ14ﾗ10^3個のシナプスを聴取できるように樹状膜回路を接続することは可能であるが、そのようなｰクはウエハ当たり約3ﾗ10^3個のｰロンのみからなることができる。
たった２２６個のシナプスで、２００ﾗ１０^３個未満のｰロンがウェハ当たりに割り当てられることができる。

? しかし、概念実証モデルを生産目的 ry することは、投影 ry トポロジーにも挑戦する。
コンセプト実証モデルをプロダクト目的に有用なサイズに拡大する事は、しかし、投影アルゴリズムへのと同様にハードウェアトポロジへにもチャレンジとなる。

最小限の便利なHTM ｰクは、それぞれ8セルの1024列にまたがります。
このようなシナリオでは、ｰロンは32個の樹状突起セグメントにラテラル入力を受け取。
樹状突起セト当たり約１ﾗ１０^３の求心性接続を可能にすると、このｰクは、約１ﾗ１０^６樹状膜回路、すなわち６枚のウエハ上で実現することができる。
ＢＳＳ用にセットアップされた既存のシステムはこのシナリオには十分であろう。
さらに大規模なｰクでも、HBPのプラッｰムに移行できます。