知能研究スレ2©2ch.net

**オーバーテクナナシー転載ダメ©2ch.net** · 2016/12/11(日) 07:08:46.32

　　三　　　　　　　　　三三
　　　　　　/;:"ゝ　三三　　f;:二iュ　　何でこんなになるまで放っておいたんだ！
三　　　＿ゞ::.ﾆ!　　　 ,..'´￣｀ヽﾉﾝ
　　／.;: .:}^（　　 <;:::::i:::::::.::: :}:}　　三三
　　〈::::.´ .:;.へに)二/.::i :::::::,.イﾄヽ__
　　,へ;:ヾ-､lｌ＿＿/.:::::､:::::f＝ｰ'＝＝､`ｰ-="⌒ヽ　 ←上坂すみれ
.　〈::ﾐ/;;;iーﾞii====|:::::::.｀ Y￣￣￣,.シ'=llー一'";;;ド'
　　};;;};;;;;!￣ll￣￣|:::::::::.ヽ＼-‐'"´￣￣ll

　　　　　　　　　　oﾉ　oﾉ
　　　　　　　　　　|　　|　　三
　_,,..-―'"⌒"~⌒"~￣ﾞﾞ"'''ｮ　　ミ
ﾞ~,,,....-=-‐√"ﾞﾞＴ"~￣Y"ﾞ=ﾐ　　　　|`----|
Ｔ　　|　　 l,＿,,/＼　,,/l　　|
,.-r '"l＼,,j　　/　 |/　 L,,,/
,,/|,／＼,/　_,|＼_,i_,,,/ ／

**オーバーテクナナシー** · 2016/12/11(日) 17:47:09.75

>>1は
酢豚(RKBホークス)7
http://potato.2ch.net/test/read.cgi/tubo/1471830639/
実況板などの荒らしだから、このスレは使わない様に
この荒らしは、スレ立て時>>1が不快なAAだから。

**長木よしあきの告発** · 2016/12/13(火) 07:59:54.41

http://denjiha.main.jp/higai/archives/category/%E6%9C%AA%E5%88%86%E9%A1%9E

https://www.youtube.com/watch?v=AlsJX79Kcvo

**YAMAGUTIseisei~貸し** · 2017/04/09(日) 09:23:13.77

Date: Sun, 26 Jun 2016 16:07:05 +0900 (JST)

<< 技術課題名* >>
ミウラ mruby 方式電子頭脳 VM

<< 技術課題を乗り越えて実現したい目標* >>
( 純国産 ) 電子頭脳 ( 搭載人造人間 )

謹啓お中元の準備も整わずの応募をご容赦願えましたら .

* 実現への道筋
有機分散化前提超細粒度並列 RT 機構模索
自然言語ラベルベース自律記憶装置 ( 型システム根源 )
mruby 版幾何エンジンベース自律スプライト電脳空間 ( CellBE / シャープ社 X )

* その他
ログサンプル
0　　ENTER　　62
1　　LOADSELF　　6000001
2　　LOADI　　38900c1
1　　　　　　LOADSELF　　-　　-
1　　　　getarg_a　　6000001
1　　　　getarg_a　　6000001
1　　　　　　LOADSELF　　2　　-
1　　　　　　LOADSELF　　2　　2
3　　SEND　　0a00001
2　　　　　　LOADI　　-　　-
2　　　　getarg_sbx　　38900c1
2　　　　getarg_a　　38900c1
2　　　　　　LOADI　　41　　3
0　　ENTER　　6200002
:

**yamaguti~kasi** · 2017/04/09(日) 09:24:15.43

>>4 http://rio2016.2ch.net/test/read.cgi/future/1449403261/87
> 87 : YAMAGUTIseisei 2016/09/02(金) 20:19:09.47 ID:dnyMZM3F
> 私の不徳の致す所であれまたしても国に支援をоられる事態に至ってしまった以上
> 電子頭脳の仕組に付いて発表しても売о奴の誹りは免れ得ましょう
> 純国産の夢が潰える事になり申訳なく思います

4 · 2017/04/09(日) 09:26:17.39

Page 51

フェーズ 2
ry 各セルの予測状態を計算する。セルのどれかのセグメントがアクティブになると、
そのセルの predictiveState がオンになる。
即ち、十分な数の横方向の接続先が、フィード・フォワード入力によって現在アクティブ
であればオンになる。この場合、そのセルは以下の変更を待ち行列に加える：
a) 現在アクティブなセグメントを強化56する（47-48 行目）、
b) このアクティベーション57を予測し得たセグメント
（即ち、前回の時刻ステップでアクティビティに（弱いかも ry ）マッチしたセグメント）
を強化する（50-53 行目）。

42. for c, i in cells
43. 　　for s in segments(c, i)
44. 　　　　if segmentActive(s, t, activeState) then
45. 　　　　　　predictiveState(c, i, t) = 1
46.
47. 　　　　　　activeUpdate = getSegmentActiveSynapses(c, i, s, t, false)
48. 　　　　　　segmentUpdateList.add(activeUpdate)
49.
50. 　　　　　　predSegment = getBestMatchingSegment(c, i, t-1)
51. 　　　　　　predUpdate = getSegmentActiveSynapses(
52. 　　　　　　　　c, i, predSegment, t-1, true)
53. 　　　　　　segmentUpdateList.add(predUpdate)

6 · 2017/04/09(日) 09:27:16.04

フェーズ 3
ry 実際に学習を実施する。
待ち行列に追加されたセグメントの更新は、フィード・フォワード入力を得てセルが
学習セルとして選択されたときに実施される（55-57 行目）。
そうではなく、もしセルが何らかの理由で予測を停止した場合、
そのセグメントをネガティブ58に強化する（58-60 行目）。

56 reinforcement。フェーズ 3 で強化学習をする処理対象を segmentUpdateList に記憶する。
57 44 行目の if 文の条件が成立したこと
58 逆に弱める方向に学習する

4 · 2017/04/09(日) 09:28:15.39

http://rio2016.2ch.net/test/read.cgi/future/1489740110/22-30

**美魔女** · 2017/04/11(火) 20:36:36.30

哲学板一ヶ月目で一覧制覇した美魔女です🍒宜しくお願いいたします。💗

5 · 2017/04/16(日) 11:25:47.18

>>4-5
http://rio2016.2ch.net/test/read.cgi/future/1449403261/165

4 · 2017/04/16(日) 11:27:22.30

Page 52

54. for c, i in cells
55. 　　if learnState(s, i, t) == 1 then
56. 　　　　adaptSegments (segmentUpdateList(c, i), true)
57. 　　　　segmentUpdateList(c, i).delete()
58. 　　else if predictiveState(c, i, t) == 0 and predictiveState(c, i, t-1)==1 then
59. 　　　　adaptSegments (segmentUpdateList(c, i), false)
60. 　　　　segmentUpdateList(c, i).delete()
61.

11 · 2017/04/16(日) 11:29:05.95

実装の詳細と用語説明

ry 。各セルは二つの数値でアクセスする。カラムの添字 c と、セルの添字 i である。
セルは樹状突起セグメントのリストを保持する。各セグメントはシナプスのリストと、
各シナプスごとに永続値を保持する。 ry 変更は、セルが
フィード・フォワード入力によってアクティブになるまでは一時的とマークされ ry
segmentUpdateList によって保持される。
各セグメントはまた、論理値のフラグsequenceSegment を保持する。
これはそのセグメントが次の時刻ステップにおけるフィード・フォワード入力
を予測するかどうかを示している。

シナプス候補の実装は空間プーリングの実装とは異なっている。
空間プーリングでは、シナプス候補の完全なリストが明示的に示される。
時間プーリングでは各セグメントが固有のシナプス候補の（ときには大きな）リスト
を保持することができる。実際には各セグメントごとに大きなリスト ry は、計算量 ry
メモリ消費 ry 。そこで ry 時間プーリングでは学習の際に各セグメントごとに
アクティブなシナプスをランダムに追加する（newSynapseCount パラメータで制御する）。
ry 候補のリスト ry と同様の効果があり、しかも新たな時間的パターンを学習でき ry
リストはずっと小さくなる。

疑似コードはまた、異なる時刻ステップのセル状態の推移 ry 小さな状態遷移マシンを使用 ry
。各セルごとに三つの異なる状態を維持管理する。
配列activeState と predictiveState は各セルの各時刻ステップごとの
アクティブ状態及び予測状態の推移を追う。
配列 learnState はどのセルの出力が学習のときに使用されるかを決定する。
入力が予測されなかったときは、
その特定のカラムのすべてのセルが同じ時刻ステップ内に同時にアクティブになる。
これらのセルのうちの一つだけ（入力に最もマッチするセル）で learnState がオンになる。
learnState がオンのセルだけにつ

**オーバーテクナナシー** · 2017/04/18(火) 19:44:28.05

人工知能で「私は裸」であることを認識させる知能というのは可能かな？
その構造はどういったものになるのか、知能研究的な方法の意見が聞きたい。

**オーバーテクナナシー** · 2017/04/23(日) 03:36:36.69

https://goo.gl/F7hPF0
これは嫌だなー。。本当だったら落ち込むわー。。

11 · 2017/04/30(日) 18:09:44.44

Page 53

いて、シナプスを追加する（これは
樹状突起セグメントの中で完全にアクティブになったカラムを強調しすぎないように ry ）。

5 · 2017/04/30(日) 18:16:12.16

http://rio2016.2ch.net/test/read.cgi/future/1449403261/255-256

15 · 2017/04/30(日) 18:22:25.30

Page 54

以下のデータ構造が時間プーリング疑似コードで ry

cell(c,i)
すべてのセルのリスト。iとcで指し示される。
cellsPerColumn
各カラムのセルの数
activeColumns(t)
フィード・フォワード入力によって勝者となったカラム（空間プーリング関数の出力）
のインデックスのリスト
activeState(c, i, t)
各セルが一つずつ持つ論理値のベクトル。カラムc セルi時刻tにおけるアクティブ状態を表す。
これは現在のフィード・フォワード入力と過去の時間的文脈から与えられる。
activeState(c, i, t) が1なら、そのセルは現在フィード・フォワード入力を持ち、
適切な時間的文脈を持つ。
predictiveState(c, i, t)
各セルが一つずつ持つ論理値のベクトル。カラムc セルi時刻tにおける予測状態を表す。
これは他のカラムのフィード・フォワード状態と過去の時間的文脈から与えられる。
predictiveState(c, i, t) が1なら、そのセルは現在の時間的文脈から
フィード・フォワード入力を予測している。
learnState(c, i, t)
カラムc セルi が学習対象のセルとして選択されたことを表す論理値

17 · 2017/04/30(日) 18:24:00.60

activationThreshold
あるセグメントをアクティブにするしきい値。 ry
接続されたアクティブなシナプスの数が activationThreshold より大 ry アクティブに ry
learningRadius
横方向の接続を持つ、時間プーリングセルの周囲の領域の範囲
initialPerm
シナプスの永続値の初期値
connectedPerm
あるシナプスの永続値がこの値より大 ry 接続している ry
minThreshold
学習の際の、アクティブなセグメントの最小数
newSynapseCount
学習のときにセグメントに追加されるシナプスの最大数
permanenceInc
アクティビティによる学習が発生したとき、シナプスの永続値を増加させる量
permanenceDec
ry 減少させる量

**オーバーテクナナシー** · 2017/04/30(日) 18:30:17.12

同じ脳の原理があってもこういう奴みたいに、駄目なのと凄いのができる
理由はなんでだろ

**オーバーテクナナシー** · 2017/04/30(日) 18:38:01.91

文章じゃなくて箇条書きのメモみたいなもんでしょ。
ry ryaku (略)
人工知能で生成された書き込みなら凄い実験だと思うけど。

4 · 2017/04/30(日) 22:10:29.19

仰る通り皮肉切返しができない理系は少なくありませんがこういったご主旨でしたか

>> 285 : YAMAGUTIseisei 2016/09/20(火) 18:30:05.12 ID:6OGBdxmX
>> お役人様が技術がお得意でない事はやむを得ない面も
>> 大問題の一つは 300 万円という所 ( 億や兆のお話ならいざ知らず )
>> 電子頭脳 VM に 300 万円の価値すらないとのご判断は
>> 本当に私の不徳の致す所で我ながら不甲斐なく情けない
>>
>> 中国に引取って貰いたい
>>感覚レベル感情レベル魂 ( ゴースト ) レベル融合用粒度リアルタイム有機分散並列 VM
>> は Cell / SW26010 の為にある
>>
>>> 393 : YAMAGUTIseisei 2016/09/04(日) 17:38:14.73 ID:yWawFej1
>>> 売ればよい ? 軍事利用ならず人類о亡まで現実的なのに ?
>>> 売って下さいはいどうぞという類でない → だからこその国への応募
>>
>>> 確かにオノ・ヨーコ氏辺りに持込ませて頂く案も → `` 電子頭脳です '' `` イタズラなら帰って ''
>>> ( + レディーに研究者がソフトウェアの話をする事程間の抜けた話もない
>>>オノ氏になら `` 俺の子供を産んでくれ '' とでも申上げる方がまだ無礼がない )
http://rio2016.2ch.net/test/read.cgi/future/1449403261/135

**オーバーテクナナシー** · 2017/05/03(水) 19:03:44.46

中国にAIの魂研究まで持っていかれてしまうのかぁ、それは嫌だな。
ところで？書き綴られているものはＨＴＭ理論のダイジェスト版みたいなもんかな？

21 · 2017/05/04(木) 12:22:44.49

生意気を口に致しました

**yamaguti~貸** · 2017/05/04(木) 12:28:25.86

Page 55

segmentUpdate
与えられたセグメントを更新するときに必要な情報を保持するデータ構造で、
以下の3項目からなる。a) セグメントの添字（新しいセグメントのときは-1）、
b) 既存のアクティブなシナプスのリスト、c) このセグメントが順序セグメントと
マークされべきかどうかを表すフラグ（デフォルト値はfalse）。
segmentUpdateList
segmentUpdate 構造体のリスト。segmentUpdateList(c,i) はカラムc セルi の
変更内容のリストである。

以下の補助関数が上記のコードで ry

segmentActive(s, t, state)
セグメントs 時刻t において、state で与えられた状態によってアクティブになった接続状態
のシナプスの数がactivationThreshold より大きい時、真を返す。
state パラメータは activeState 又は learnState である。
getActiveSegment(c, i, t, state)
ry たカラムc セルi について、segmentActive(s,t, state)が真になるセグメントの添字を返す。
ry 、順序セグメントがあればそれ ry なければもっともアクティビティが高いものが優先する。
getBestMatchingSegment(c, i, t)
与えられたカラムc セルi について、アクティブなシナプスが最も多いセグメントを探す。
この関数は積極的にベストマッチを見つける。
シナプスの永続値は connectedPerm より小さくても許される。
アクティブなシナプスの数はactivationThreshold より小さくても許される。
ただし、minThreshold より大きくなければならない。
この関数はセグメントの添字を返す。もしセグメントが見つからなかったら-1 を返す。
getBestMatchingCell(c)
与えられたカラムについて、ベストマッチセグメント（上記参照）を持つセルを返す。
ry マッチ ry なければ、最もセグメントの数が少ないセルを返す。

5 · 2017/05/05(金) 10:29:52.59

失礼乍ら自明の問いでいらっしゃいましたがご言外の寄付のお申出でしたか
http://rio2016.2ch.net/test/read.cgi/future/1484485942/981

**yamaguti~貸** · 2017/05/05(金) 10:33:45.24

Page 56

getSegmentActiveSynapses(c, i, t, s,newSynapses=false)
セグメントs に対して提示された変更のリストを保持するsegmentUpdate 構造体を返す。
activeSynapses を、接続元のセルの時刻t における activeState 出力=1 であるような
アクティブなシナプスのリストとする（s=-1のときはセグメントが存在しないため ry 空 ry
）。 ry 。 newSynapses が真の時は、 newSynapseCount -count(activeSynapses) 個
のシナプスが activeSynapses に追加 ry
シナプスは、時刻t において learnState出力=1 であるセルの中からランダム ry
adaptSegments(segmentList,positiveReinforcement)
この関数は segmentUpdate のリスト要素について繰り返し、各セグメントを強化 ry
。 ry 各要素について、以下 ry
positiveReinforcement が真のとき、アクティブなリスト上のシナプスの永続値は
permanenceInc だけ増加させる。他 ry permanenceDec だけ減 ry
。 positiveReinforcement が偽のとき、アクティブなリスト上のシナプスは
永続値を permanenceDec だけ減 ry
。これらの処理の後、segmentUpdate の中にまだ存在しないシナプスについて、
永続値 initialPerm にて追加する。

**オーバーテクナナシー** · 2017/05/06(土) 00:49:00.30

>>19
寄付を呼びかける時点でわかった、多分ね、研究費がなくて、
誰も信じられなくなって自暴自棄でノイローゼなんだよ。
２ｃｈには適当でいいんじゃないかな。

4 · 2017/05/07(日) 11:07:21.95

>>10
165 山口青星 2017/01/03(火) 11:31:19.99ID:igW+0jZp
> 256 : YAMAGUTIseisei 2016/10/23(日) 23:53:30.82 ID:Dlm82Fb1
> 自分には一言申上げる資格があるでしょう
>
> о隷階級の分際で大変失礼な申上げ様ながら
> この計画案を国が結果的に潰す格好となった事は事実です

> 257 : YAMAGUTIseisei 2016/10/24(月) 00:02:20.63 ID:trJeFV+a
> 野暮な付け加えですがご関係各所様又先生方又支援者の皆様に
> 言葉はよろしくありませんが上納金と申しますをお届けできなくなりました事を
> 謹んでお詫申上げます

**yamaguti~貸** · 2017/05/07(日) 11:08:59.34

Page 57

付録 A: 生体ニューロンと HTM セルの比較

上の画像は左側が生体ニューロンの写真、中央が単純な人工ニューロン、
右側がHTM のニューロンあるいはセル ry 。この付録の目的 ry 比 ry

実物のニューロンは途方もなく複雑で変化に富んでいる。
ここではその最も普遍的な原理に注目し、また我々のモデルに関わる部分に限定する。
ry 、HTM 大脳皮質性学習アルゴリズムで用いられているセルは
多くのニューラルネットワークで用いられている人工ニューロンよりも
はるかに現実に即している。 ry

生体ニューロン

ニューロンは脳内で情報を伝えるセル59である。上記左の画像は標準的な興奮性の
ニューロンである。 ry 外見の大部分は枝分かれした樹状突起で占められている。
ry すべての興奮性の入力は、樹状突起に沿って配置されたシナプスを経由 ry
。近年、ニューロンに関する知識 ry 最大の発見は、
ニューロンの樹状突起が入力を細胞体60に繋ぐ単なる導線ではないと分かったことで

59 cell ry 「セル」と訳したが、生物の細胞を意味する。
60 cell body。ニューロン中央の膨らんだ部分。

**オーバーテクナナシー** · 2017/05/25(木) 00:58:13.18

ＨＴＭ学習による人工知能は人間が工学的に知る能力になると思いますか？

ただのメモリーだと思っていた各々のセルそれ自身が知能の素(演算処理装置)になってるのでしょうか？

だとすれば、Ｎvidiaグラフィックス系の多コア超並列演算処理に行き着くのですが
その多コア演算で知性や思考にどう結びつくのかがよく分かりません。

**yamaguti~貸** · 2017/06/04(日) 12:40:03.65

Page 58

ある。今では樹状突起はそれ自体、複雑な非線形処理部品であることが分かっている。
HTM 大脳皮質性学習アルゴリズムはこの非線形の特性を利用している。

ニューロンはいくつかの部分 ry

細胞体
細胞体はニューロンの中央にある小さな体積を持つ部分である。
セルの出力、軸索61は、細胞体から出ている。
セルへの入力は樹状突起に沿って配置されたシナプスであり、それは細胞体に入力される。

主要樹状突起62
細胞体に最も近い ry 枝は主要樹状突起 ry 図 ry いくつかを緑色の線 ry

ry 突起上の複数のアクティブなシナプスは、細胞体に対して概ね線形の加算 ry
。5 つのアクティブなシナプスは 1 つのアク ry 概ね 5 倍の脱分極63を細胞体に ry 引き起 ry
。対照的に、ある一つのシナプスが後続の素早い活動電位64によって繰り返しアクティブ
になったとしても、2 番目、3 番目と続く活動電位による細胞体への影響は、
最初のものよりずっと小 ry

このため、主要樹状突起への入力は細胞体に対して線形に加わること、単一のシナプスに
届いた複数の素早いパルスの影響は一つのパルスより少し大きいだけであることが言える。

新皮質のリージョンへのフィード・フォワード接続は主要樹状突起に優先的に接続 ry
。これは少なくとも、各リージョンの ry 主要な入力層である第 4 層のニューロンについて ry

31 · 2017/06/04(日) 12:41:55.82

末梢樹状突起65
細胞体から遠く ry 枝は末梢樹状突起 ry 図 ry いくつかを青色の線 ry

61 axon
62 proximal dendrite
63 depolarization。神経細胞内の電位は通常は-70~-60mV 程度。
ニューロンが刺激を受けたためにこの電位が上がることを脱分極という。
脱分極により電位があるしきい値を超えるとニューロンが発火する。
64 action potential。なんらかの刺激に応じて細胞膜に生じる一過性の膜電位の変化。
65 distal dendrite

**オーバーテクナナシー** · 2017/06/06(火) 13:15:49.40

ご連投のご自身目線での必要度減少傾向

4 · 2017/06/11(日) 12:57:37.93

>>5
> 137 山口青星 2016/11/27(日) 07:21:54.12 ID:vHhUl6EA
> >>135
>> 100 : YAMAGUTIseisei 2016/09/22(木) 11:25:57.87 ID:PmVnGSgy
>> 只々不甲斐なく情けない

**yamaguti~貸** · 2017/06/11(日) 13:05:55.21

Page 59

末梢樹状突起は主要樹状突起よりも細い。これらは樹状突起の木の中の他の樹状突起の枝に
接続されていて、細胞体に直接接続されていない。これらの違いにより末梢樹状突起は
ユニークな電気・化学特性を持っている。
末梢樹状突起で一つのシナプスがアクティブになっても、細胞体に対して最小限の影響しか ry
。シナプスで局所的に発生した脱分極は、それが細胞体に届くときには弱くなっている。
このことは長年のなぞであった。
ニューロンのシナプスの大多数を占める末梢のシナプスはあまり多くのことを ry

今では末梢樹状突起の各断片が半独立の処理領域として働くことが分かっている。
もしその樹状突起の短い区間内で十分な数のシナプスが同時にアクティブになると、
樹状突起のパルスを生成することができ、
それは細胞体にまで届いて大きな影響を及ぼすことができる。
例えば 40μm 間隔の 20 個のアクティブなシナプスは樹状突起のパルスを生成 ry

従って、末梢樹状突起は域内同時発生事象の検出器 ry

末梢樹状突起上のシナプスは、圧倒的にそのリージョン内の付近の他のセルから形成 ry

画像では上方向に伸びる大きな樹状突起の枝 ry 先端樹状突起66 ry
。ある理論 ry 、この構造によりニューロンは付近にいくつかの末梢樹状突起を形成し、
この付近を通る軸索により容易に接続 ry 。
この解釈によれば、先端樹状突起はセルの延長として働く ry

35 · 2017/06/11(日) 13:06:46.13

シナプス
標準的なニューロンには数千個のシナプスがある。これらの大多数(多分 90%)は
末梢樹状突起にあり、残りは主要樹状突起にあると思われる。

長年に渡って、学習はシナプスの影響度ないし「重み」を強くしたり弱くしたり
することを含む ry
。このような影響は観測されるものの、各シナプスはどこか確率的な様子である。
アクティブになったとき、それが神経伝達物質67を放出することに信頼性がない。
よって脳が ry 各シナプスの重みの精度や忠実度に依存しているはずがない。

さらに今では、シナプス全体が素早く形成されたり切断 ry
。この柔軟性は学習の強力な表現形式であり、素早く知識を獲得 ry
。シナプスは軸索と樹状突起がある距離の範囲内にあるときにだけ形成されうることから、
シナプス「候補」の概念 ry 、学習は主にシナプス候補から有効なシナプスが形成 ry

66 apical dendrite。apical は「頂点の，頂上の」という意味。
67 neurotransmitter

27 · 2017/06/11(日) 16:12:40.32

>>34
それは、2chには関係ないから、適当に投稿は続ければ良いんじゃないかな？と思う。

4 · 2017/06/11(日) 23:09:14.36

22 様共々 HTM に些かのご興味とはご同慶

22 · 2017/06/12(月) 12:28:36.29

まぁ、22も自分なんだけどね。多スレでポンコツ呼ばわりされてっけど通じる日本語書けるんジャン。
その調子で、チンプンカンプンなHTM理論もエクセルシートで説明してもらえないかな？

39 · 2017/06/12(月) 12:30:20.45

あ、いや、生意気申しました。。。

**オーバーテクナナシー** · 2017/06/13(火) 14:14:44.80

ヒント

知能は創造ではない、夢や希望は論理や技術ではない、

**オーバーテクナナシー** · 2017/06/14(水) 07:14:01.61

>>41
リバース

創造は知能ではない？、論理や技術は夢や希望ではない？

34 · 2017/06/25(日) 08:11:41.35

http://rio2016.2ch.net/test/read.cgi/future/1449403261/152
> 152 山口青星 2017/01/03(火) 10:26:23.58 ID:igW+0jZp
> > 101 : YAMAGUTIseisei 2016/09/25(日) 10:10:01.00 ID:a7u+8KXH
>> > 385 : YAMAGUTIseisei 2016/09/04(日) 16:55:27.34 ID:yWawFej1
>>> 今回政府にоられて流石にもう後がないとの前提成立
>>> できるだけ包み隠さず無料公開しての同業者様の飯の種へのご迷惑も平に平にご容赦
>>
>> > 386 : YAMAGUTIseisei 2016/09/04(日) 17:01:11.52 ID:yWawFej1
>>> △ 今回政府にоられて
>>> ○ 今回またしても政府にоられて
>
>> 102 : YAMAGUTIseisei 2016/10/02(日) 14:52:12.45 ID:sozmwdUT
>>もしや単なるお手違いとも

**yamaguti~貸** · 2017/06/25(日) 08:12:44.91

Page 60

ニューロンの出力
ニューロンの出力は軸索に沿って伝搬するパルス68あるいは「活動電位」である。
軸索はセルから伸びて、ほとんど常に二つに分かれる。
枝の一つは水平に伸びて近くの他のセルと数多く接続する。
他の枝は他の層のセルや脳内の他の場所へと遠く伸びる。
上記のニューロンの画像では軸索は見えない。２本の矢印を追加して軸索を示した。

ry 出力は常にパルスであるが、この解釈には異なる見方ができる。
有力 ry （特に新皮質に関しては）、パルスの発生頻度が重要というもの ry
。よってセルの出力はスカラー値と見なすことができる。

いくつかのニューロンは数個の連続したパルスを短時間に素早く出力する「バースト」反応
を示すことも ry

ry 上記 ry HTM セルの特徴に関連する属性に注目して述べ ry 詳細は無視 ry
ここで述べたすべての特徴が幅広く受け入れられているとは必ずしも言えない。
ry 、我々のモデルにとって必要 ry

単純な人工ニューロン

この付録の最初に示した中央の図は、多くの古典的な ry に模した構成要素 ry
これらの人工ニューロンはシナプスの集合を持ち、各シナプスはウェイトを持っている。
各シナプスはスカラー値のアクティブ化を受け取り、それにシナプスのウェイトが掛け合 ry
。すべてのシナプスの出力は非線形の方法で足し合わされ、人工ニューロンの出力となる。
学習はシナプスのウェイトを調整 ry 恐らく非線形の関数 ry
。このタイプの人工ニューロン、そしてそのバリエーションは、
コンピュータ ry アプリケーションにおいて有益 ry しかし ry 多くの複雑さを捉えておらず ry
能力を活用していない。 ry もっと精巧なニューロンモデルが必要 ry

68 spike。短時間の尖った波形のこと。pulse とは少し違うが、パルスと訳した。

4 · 2017/07/02(日) 21:28:32.09

強い AI ( AL ) ( を越えます物 ) の応募は
多少不備があろうと追加枠臨時創設をしてでも国策として推進
とのご方針 ?

**yamaguti~貸** · 2017/07/02(日) 21:29:41.57

Page 61

HTM セル

図の右側は、HTM 大脳皮質性学習アルゴリズムで用いられているセル ry
HTM セルは実物のニューロンの多くの重要な能力を捉えているが ry 単純化も ry

主要樹状突起
各 HTM セルは単一の主要樹状突起を持つ。セルへのすべてのフィード・フォワード入力
はシナプス（緑色の点で示した）経由で入力される。アクティブなシナプスの効果は
線形に加算され、フィード・フォワード入力によるセルのアクティブ化を生み出す。

我々は、カラム内のすべてのセルが同じフィード・フォワード応答を持つよう求めている。
実物のニューロンではこれは恐らく抑制タイプのセルによって行われる。
HTMでは我々は単にカラム中のすべてのセルが単一の主要樹状突起を共有するように強制 ry

隣のセルとの競合に決して勝つことができない ry 避けるため、 ry
隣と比較して十分に勝利していないときには、そのフィード・フォワード入力
によるアクティブ化をブーストする。よってセル間には常に競合 ry
我々はこれをセル間ではなくカラム間の競合として HTM でモデル化 ry 図では示されていない。

最後に、主要樹状突起はリージョンへのすべての入力の部分集合となるシナプス候補の集合を
一つ持っている。セルが学習すると、その主要樹状突起上のすべてのシナプス候補の
「永続」値を増加ないし減少させる。しきい値を超えたシナプス候補だけが有効となる。

ry 候補 ry 生物学 ry シナプスを形成するのに十分に近くにある軸索と樹状突起 ry
拡張して、HTM セルで接続する可能性のある、より大きな集合を意味する ry
。生体ニューロンの樹状突起と軸索は学習によって成長したり縮退 ry
よってシナプス候補の集合は成長に伴って変化する。
HTM セルのシナプス候補の集合を大きめにすることで、我々は概ね、
軸索や樹状突起の成長と同じ結果を得た。
シナプス候補の集合は図示されていない。

46 · 2017/07/02(日) 21:30:48.70

カラム間の競合、シナプス候補の集合による学習、 ry カラムのブースト
の組み合わせにより、HTM ry ンは脳に見られるのと同様の強力な可塑性を得た。
HTM リージョンは入力の変化に応じて各カラムが何を表す

**オーバーテクナナシー** · 2017/07/02(日) 21:31:29.71

>>1 マジ？
http://raou.jp/
ラ王への道 toritatenin 岩間好一 aiueo700 監視カメラ 110番ウィルス公明党
ラ王への道江南署集団ストーカークレーマー悪質卒論コピペランサムウェア
ラ王への道クレーム馬鹿舌味音痴味覚障害嫌われ者ワンクリック詐欺共産党
ラ王への道長谷川亮太チンフェちばけんまクズけんまくん創価学会
ラ王への道森園祐一生活保護ドールオタビッコマン涼子P ナマポ苦情
ラ王への道岡尚大色盲絵師三村侑意アフィリエイトヘーボ広告マルウェア

45 · 2017/07/09(日) 16:24:13.89

強い AI ( AL ) ( を越えます物 ) の応募は人類の喫緊の命運を左右もご承知の通り
その上で昨年度は審査員様ご一任状況にしてご関知なさらず ?

**yamaguti~貸** · 2017/07/09(日) 16:26:03.45

Page 62

のかを（主要樹状突起上のシナプスの変更によって）自動的に調整し、
カラム数の増加ないし減少を自動的に調整 ry

末梢樹状突起
各 HTM セルは末梢樹状突起セグメントのリストを管理している。
各セグメントはしきい値検出器として働く。
ry アクティブなシナプス（冒頭の図で青い点で示した）の数がしきい値を超えると、
そのセグメントはアクティブになり、それに接続されたセルが予測状態になる。
セルの予測状態はアクティブなセグメントの OR ry

樹状突起セグメントは、以前のある時点で互いに同時にアクティブになった複数のセル
への接続を形成することでリージョンの状態を記憶する。そのセグメントは、
以前にフィード・フォワード入力によってアクティブになったセルの状態を記憶する。
よってそのセグメントはセルがアクティブになることを予測する状態を探す。
樹状突起セグメントの標準的なしきい値は 15 である。
ry 有効なシナプスが 15 個同時にアクティブになると、その樹状突起はアクティブになる。
数百から数千個の周囲のセルがアクティブになるかも知れないが、
15 個の接続だけで十分により大きなパターンを理解 ry

各末梢樹状突起セグメントはそれに関連付けられたシナプス候補の集合を持つ。
そのシナプス候補の集合はリージョン内のすべてのセルの部分集合である。
そのセグメントが学習 ry 、それらすべてのシナプス候補の永続値を増加ないし減少 ry
。しきい値を超えたシナプス候補だけが有効 ry

50 · 2017/07/09(日) 16:27:05.61

ある実装では、我々はセルあたり固定の数の樹状突起セグメントを用いた。
他のある実装では、訓練を通じてセグメントを追加ないし削除するようにした。
ry 。セルあたりの樹状突起セグメントの数を固定にすると、
同じセグメントに対していくつかの異なるシナプスの集合を保存することができる。
例えば、セグメント上に 20 個の有効なシナプスがあり、しきい値が 15 とする。
（一般に ry ノイズへの耐性 ry しきい値をシナプスの数よりも少 ry ）
これでそのセグメントは周囲のセルの特定の一つの状態を理解できるようになる。
もし周囲のセルのまったく異なる状態を表現する、20 個の他のシナプスを
その同じセグメントに追加 ry するとそのセグメントは、
あるパターンの 8 個のアクティブなシナプスと他のパターンの 7 個のアクティブなシナプスを
持つことで間違ってアクティブになるかも知れないので、エラーが起こる可能性 ry
。我々は実験的に、20 個の異なるパターンまでならエラーなしで一つのセグメントに保存 ry
従って十数個の樹状突起セグメントを持つ HTM セルは多くの異なる予測に関与 ry

**yamaguti~貸** · 2017/07/16(日) 17:38:53.91

Page 63

シナプス
HTM セルのシナプスは二値の重みを持つ。ry
重みをスカラー値にすることを妨げるものは何もないが、
疎分散パターンを用い ry 今のところスカラー値の重みを使う必要性がない。

しかし ry セルは「永続値」というスカラー値を ry 学習を通じて調整する。
永続値 0.0 は有効でないシナプス候補を表し、 ry しきい値（標準的には 0.2）
を超える永続値は接続したばかりで容易に切断するシナプスを表す。
高い永続値、例えば 0.9 は、接続状態でしかも容易には切断しない ry

HTM セルの主要樹状突起セグメントや末梢樹状 ry にある有効なシナプス
の数は固定ではない。それはセルがパターンに触れるに従って変化する。
例えば、末梢樹状突起の有効なシナプスの数はデータの時間的構造に依存する。
リージョンへの入力に時間的に永続的なパターンが何もないときは、
末梢セグメントのすべてのシナプスは低い永続値を持ち、
わずかな数のシナプスだけが有効になるだろう。
入力列にたくさんの時間的構造があるときは、高い永続値を持つ有効なシナプスが多数 ry

52 · 2017/07/16(日) 17:39:43.49

セル出力
HTM セルは 2 つの異なる二値出力を持つ： 1) セルがフィード・フォワード入力によって
（主要樹状突起経由で）アクティブである、2) セルが横方向の接続により
（末梢樹状突起経由で）アク ry 。前者を「アクティブ状態」と呼び、後者を「予測状態」 ry

冒頭の図では、この 2 つの出力は瑞ｳ方形の細胞体ｂｩら出ている 2 つの線で表されている。
左側の線はフィード・フォワードによるアクティブ状態、右側の線は予測状態である。

フィード・フォワードによるアクティブ状態だけがリージョン内の他のセルに接続され、
これにより予測は常に現在の入力（及び文脈）に基づいて行われる。
予測に基づいて予測が行われることは望ましくない。 ry
そうなると、数回処理を繰り返しただけでリージョン内のほとんどすべてのセルが予測状態 ry

リージョンの出力はすべてのセルの状態を表すベクトルである。
もし階層構造の次のリージョンがあるなら、このベクトルがその入力となる。
この出力はアクティブ状態と予測状態の OR である。
アクティブ状態と予測状態を結合する ry 出力は入力よりも安定する（ゆっくりと変化する）。
このような安定性はリージョンの推論における重要な特性である。

49 · 2017/07/23(日) 08:30:42.83

http://rio2016.2ch.net/test/read.cgi/future/1449403261/97

**yamaguti~貸** · 2017/07/23(日) 08:31:44.51

Page 64

参考文献

ry 。ニューロサイエンス ry 膨大で、全般的知識を得るには多くの異なる文献 ry
。新しい発見は学術ジャーナル ry 、読み解くのが難しく大学関係者でない限り ry

この付録で ry 2 冊 ry

Stuart, Greg, Spruston, Nelson, Hausser, Michael, Dendrites, second edition
(New York: Oxford University Press, 2008)

この本は樹状突起に関するあらゆる ry
16 章では HTM 大脳皮質性学習アルゴリズムが用いている樹状突起セグメントの
非線形な性質 ry この章は、この分野で数多くの考察をした Bartlett Mel によって書 ry

Mountcastle, Vernon B. Perceptual Neuroscience: The Cerebral Cortex
(Cambridge, Mass.: Harvard University Press, 1998)

この本は新皮質に関するあらゆることに関する良い入門 ry 細胞の種類とその接続関係 ry
樹状突起の性質 ry 得るには古 ry 、読者は皮質性ニューロンに関するすぐれた見識 ry

**yamaguti~貸** · 2017/07/30(日) 10:26:53.69

Page 65

付録 B: 新皮質の層と HTM リージョンの比較

ここでは HTM リージョンと生体新皮質のリージョンの間の関係 ry

特に、HTM 大脳皮質性学習アルゴリズム、
及びそのカラムとセルが、新皮質の層やカラム構造とどのような関係 ry
。新皮質の「層」の概念やそれが HTM の層とどう関係 ry 、多くの人が困惑 ry
。本稿がこの混乱を解決し、また HTM 大脳皮質性学習アルゴリズムの生物学的基礎 ry

新皮質の神経回路網

人の新皮質は面積約 1,000cm2、厚さ 2mm のニューロンの皮である。
ry 食事に使うナプキンの布 ry 、新皮質の面積と厚さのちょうど良い近似 ry
。新皮質は十数種類の機能的なリージョン ry
、そのいくつかは視覚に関係し、あるいは聴覚、言語などに ry
。顕微鏡で見ると、異なるリージョンの物理的な特徴は驚くほど良く似ている。

新皮質全体を通じて各リージョンには器官原理69がいくつか見られる。

69 organizing principles。生体器官の働きの原理的しくみ。

**オーバーテクナナシー** · 2017/07/30(日) 13:01:45.99

＞器官原理69 organizing principles。生体器官の働きの原理的しくみ。
"働きの原理"が詳しく知りたい。

**ロシアの声** · 2017/08/01(火) 21:51:38.78

独自言語を開発して会話を始めたロボット、フェイスブックが停止
https://jp.sputniknews.com/world/201708013947295/

**yamaguti~貸** · 2017/08/20(日) 23:37:33.46

Page 66

層
新皮質は一般に 6 つの層を持つと言われている。
それらの層のうち 5 つはセルを持ち、1 つの層はほとんどが接続線である。
層は染色技術の出現と共に 100 年以上前に発見された。
上記の画像（Cajal による）は 3 種類の異なる染色法を用いて新皮質の小さな断片 ry
垂直方向の軸索は約 2mm の新皮質の厚さ全体に及んでいる。
画像の左側は 6 つの層 ry 最上部の第 1 層はセルがない層である。
最下部の「WM」は白質が始まるところを示しており、
セルからの軸索はそこから新皮質の他の部分や脳の他の部分へと伸びている。
画像の右側は髄鞘を持つ軸索だけを示す染色法である。（髄鞘形成70とは
一部の軸索を覆っている脂肪質の鞘71である。ただしすべての軸索 ry ではない）
この部分の画像から新皮質の 2 つの主要な器官原理である、層とカラムを見 ry
。多くの軸索はニューロンの本体から出た直後

70 myelination。ずいしょうけいせい。ミエリン化。
71 sheath。さや。

**yamaguti~貸** · 2017/09/10(日) 18:05:56.76

Page 67

に 2 つに枝分かれする。枝の一つは主に水平に伸び、他の枝は主に垂直 ry
。水平の方の枝は同じ層や近くの層の他のセルと多数の接続 ry
。 ry 新皮質の断片 ry
。多くの軸索がこの画像で示された部分から出たり入ったりしているので、
軸索は画像に見られるものよりも長い。
新皮質の 1mm の立方体に含まれる軸索や樹状突起の総延長は 2km から 4km ry

画像の中央部はニューロンの本体だけを示す染色法で、樹状突起や軸索は見えない。
ニューロンの大きさや密度が層によって変化する様子 ry
。この画像ではカラムは少ししか分からない。第 1 層にいくつかのニューロン ry
の数はあまりに少ないので、この層はやはりセルのない層 ry
。ニューロ科学者は新皮質の 1mm の立方体ごとに約100,000 個程度のニューロン ry

画像の左側はほんのわずかな数のニューロンの本体、軸索、樹状突起だけを示す染色法 ry
。異なる層や異なるセルごとに、樹状突起の「主軸」の大きさは異なっている様子 ry
。いくつかの「先端樹状突起」72 ry は細胞体からそびえ立ち、他の層と接続 ry
。先端樹状突起が存在するか否か、及びその接続先は各層ごとに特徴 ry

まとめると、新皮質の層とカラム構造73は ry 染色され顕微鏡で観察 ry 明らか ry

60 · 2017/09/10(日) 18:08:33.13

リージョンの違いによる層のバリエーション
新皮質のリージョンの違いによって層の厚さにバリエ ry 、層の数についても多少違う。
このバリエーションはどの動物を研究するかに依存し、
どのリージョンを観察するかにも依存し、また観察した人によっても違う。
例えば上記の画像では、第 2 層と第 3 層は容易に識別できるが一般的にはそうではない。
いくつかの科学者 ry この 2 つの層を識別できないと報告 ry まとめて「第 2/3 層」 ry
。他の科学者は逆の方向に向かい、例えば 3A と 3B のようなサブレイヤを定義 ry

第 4 層は、新皮質のリージョンの中で感覚器官にもっとも近い部分で最もよく定義されている。
いくつかの動物（例えばヒトやサル）では、第 1 視覚野の第 4 層は明確に細分化 ry
。他の動物ではそれは細分化されていない。
第 4 層は感覚器官から遠いリージョンでは階層構造から消えて無くなっている。

72 apical dendrite
73 columnar organization。一般には柱状構造。他と統一するためカラム構造とした。

**yamaguti~貸** · 2017/09/10(日) 18:55:01.01

Page 68

カラム
新皮質の 2 つ目の主要な器官原理はカラムである。
いくつかのカラム構造は染色された画像にも見られるが、カラムに関する多くの証拠は
異なる入力に対してセルがどのように反応するかに基づいている。

科学者が針を使って、何がニューロンをアクティブにするのかを見てみると、
異なる層を横断する垂直方向に揃った複数のニューロンがだいたい同じ入力に反応 ry

この図は、網膜からの情報を処理する最初の皮質性リージョンである V1 の、
セルのいくつかの応答特性 ry

最初の発見の一つは、V1 のほとんどのセルは
網膜の特定の領域で、異なる角度の線や縁に反応 ry
。カラム状に垂直に配列された複数のセルすべてが、同じ角度の縁に反応する。
図を注意深く見れば、各区画の最上部に異なる角度の小さな線が描かれている ry
。これらの線はその場所のセルがどの角度の線に反応するかを示している。
垂直に配列された複数のセル（うすい垂直の縞模様の一つに含まれる）は
同じ角度の線に反応する。

V1 にはいくつかの他のカラム型の特徴があり、そのうちの 2 つが図示されている。
左目と右目の情報の似た組み合わせにセルが反応する「眼球優位性カラム」74がある。

74 ocular dominance column。片方の眼からの入力に強く反応するセルの集まり。

**yamaguti~貸** · 2017/09/10(日) 19:38:23.80

Page 69

そしてセルが主に色を感知する「ブロブ」75がある。
眼球優位性カラムは図の大きなブロックである。各眼球優位性カラムは角度のカラムを含む。
「ブロブ」は濃い色の楕円である。

新皮質の一般的な規則は、角度と眼球優位性のようにいくつかの異なる応答特性が
互いに重ね合わさっているということである。皮質の表面を水平に移動してゆくに従って、
セルから出力される応答特性の組み合わせは変化する。
しかしながら、垂直に配列されたニューロンは同じ応答特性の組み合わせを共有している。
聴覚・視覚・体性感覚野についてはこのような垂直の配列になっている。
新皮質のあらゆる場所でそう ry 、全部ではなく多くの部分について言うならそれは正しい ry

ミニカラム
新皮質の最小のカラム構造はミニカラムである。ミニカラムは直径約 30μm で、
セルを持つ 5 つの層全体に及ぶ 80-100 個のニューロンが含まれている。
新皮質全体はミニカラムから構成されている。小さなスパゲッティのかけらを端同士を
積み重ねたものを思い浮かべるとよい。ミニカラムの間には
セルが少ししかないわずかなすきま ry 、染色された画像でそれを見 ry

左側は新皮質の一部の断片に見られるニューロンの細胞体を示す染色画像である。
ミニカラムの垂直の構造がこの画像から明白に分かる。
右側はミニカラムの概念図である（Peters と Yilmez による）。
実際にはこれよりずっと細い。カラムの中の各層に複

75 blob。小塊、小球体。

**yamaguti~貸** · 2017/09/10(日) 21:11:24.72

Page 70

数のニューロンがあることに注意してほしい。
ミニカラムのすべてのニューロンが類似の入力に反応する。
例えば、先ほど示した V1 の図では、ミニカラムは特定の眼球優位性を伴い、
特定の角度の線に反応するセルを含んでいる。隣にあるミニカラムのセルは
少し違う角度の線に反応し、違う眼球優位性を示すのかも知れない。

抑制ニューロンがミニカラムを定義する本質的な役割を果たしている。
ry 画像や図に示されていないが、抑制ニューロンはミニカラムの間のまっすぐな線に沿って
軸索を送っており、ミニカラムの一部を物理的に分離している。抑制ニューロンはまた、
ミニカラム中のニューロンが同じ入力に反応するよう強制することに役立っていると ry

ミニカラムは HTM 大脳皮質性学習アルゴリズムで用いられているカラムの原型である。

カラム反応の例外
カラム反応の例外が一つあって、それは HTM 大脳皮質性学習アルゴリズムにも関係する。
科学者は通常、実験動物に単純な刺激を与えることでセルが何に反応するのかを発見する。
例えば、動物の視覚空間の小さな部分に 1 つの線を見せて、V1 のセルの応答特性を調べ ry
。単純な入力を用いると、科学者はセルが常に同じ入力に反応することを発見するかも ry
。しかしながら、もしその単純な入力が自然な場面の動画像に組み込まれたなら、
セルはもっと選択的になる。あるセルが高い信頼性で独立した垂線に反応するとしても、
その垂線が自然な場面の複雑な動画像に組み込まれた場合は必ずしも反応するとは ry

64 · 2017/09/10(日) 21:12:20.16

HTM 大脳皮質性学習アルゴリズムでは
カラム中のすべての HTM セルが同じフィード・フォワード応答特性を共有しているが、
時間的なシーケンスを学習すると HTM カラムの 1 つのセルだけがアクティブになる。
このメカニズムは可変長シーケンスを表現する手段であり、
ニューロンについて先ほど説明した特徴と似ている。
文脈を伴わない単純な入力はカラム中のすべてのセルをアクティブにする。
同じ入力でも、学習したシーケンスに含まれるときは 1 つのセルだけがアクティブになる。
ミニカラム中で一度に 1 つのニューロンだけがアクティブになると提唱しているわけではない。
HTM ry 、予期しない入力に対してはカラム中のある層のすべてのニューロンがアクティブ ry
、予期した入力に対してはその一部のニューロンがアクティブ ry

**yamaguti~貸** · 2017/09/10(日) 21:48:56.38

Page 71

なぜ層とカラムがあるのか？

新皮質になぜ層があり、なぜカラムがあるのか、はっきりしたことは誰も知らない。
HTM 大脳皮質性学習アルゴリズムは、カラム状に構成したセルの層が
可変長の状態遷移を記憶する大容量メモリとなりうることを示した。
もっと単純に言えば、セルの層はたくさんのシーケンスを学習できる ry
。同じフィード・フォワード反応を共有するセルのカラムは可変長の遷移を学習 ry の鍵 ry

この仮説はなぜカラムが必要なのかを説明しているが、しかし 5 つの層については ry ？
もし 1 層の皮質でシーケンスを学習して予測できるのであれば、なぜ ry 5 つ ry ？

我々が提唱するのは、新皮質に観察される異なる層はすべて同じ基本メカニズムを用いて
シーケンスを学習しているが、各層で学習したシーケンスは異なる方法で使用 ry
。これについて我々が理解していないことはたくさん ry 考えを述べることはできる。
その前に、各層のニューロンが何に接続しているのかを述べる ry

上の図は 2 つの新皮質のリージョンとそれらの間の主要な接続関係 ry
このような接続は新皮質の中の互いに関係し合う 2 つのリージョンで一般によく見 ry
。左の箱は、右の（箱の）リージョンよりも低い階層構造にある皮質性のリージョン
を表しているので、フィード・フォワード情報は図の左から右へと流れる。
各リージョンは層に分け ry 2 層と第 3 層は一緒にして第 2/3 層として表されている。

**yamaguti~貸** · 2017/09/10(日) 21:56:13.71

Page 72

色のついた線は異なる層からのニューロンの出力 ry
その層のニューロンから出ている軸索の束である。軸索はすぐに 2 つに分か ry
一つの枝は主にそれと同じ層の中で、リージョン内で水平方向に広がる。
よって各層のすべてのセルは相互によく接続し合っている。
ニューロンと水平方向の接続は図に示されていない。

2 つのフィード・フォワード・パス76がある。オレンジ色で示した直接パスと、
緑色で示した間接パスである。第 4 層は主要なフィード・フォワード入力層で、
両方 ry から入力を受け取る。第 4 層は第 3 層に向かう。

第 3 層は直接フィード・フォワード・パスの始点でもある。
よって、直接フィード・フォワード・パスは第 4 層と第 3 層に限定 ry

いくつかのフィード・フォワード接続は第 4 層を飛ばして直接第 3 層に至る。
そして、上記で述べたように、第 4 層はセンサ入力から遠くにあるリージョンでは
消えて無くなっている。
そこでは直接フォワード・パスは単に第 3 層から次のリージョンの第 3層に繋 ry

2 つめのフィード・フォワード・パス（緑色で示した）は第 5 層から始まる。
第 3層のセルは次のリージョンに至る道筋の中で第 5 層へと接続している。
皮質性の皮から出発した後、第 5 層のセルからの軸索は再び枝分かれする。
1 つの枝は運動の生成に関わる脳内の皮質下部77へと向かう。
これらの軸索は運動指令（下方向の矢印で示した）であると信じられている。
他の枝は脳内の視床78と呼ばれる門として働く部分へと向かう。
視床は次のリージョンに情報を通したり止めたりする。

最後に、黄色で示した主要フィードバック・パスが第 6 層から第 1 層に向かっている。
第 2, 3, 5 層のセルは先端樹状突起（図に示されていない）を経由して第 1 層に向か ry
。第 6 層は第 5 層から入力を受け取る。

67 · 2017/09/10(日) 21:57:02.82

この説明は層から層への接続に関して知られていることを限定的に概説 ry 。 ry

異なる層が何をするのかに関する仮説

我々は第 3, 4, 5 層がすべてフィード・フォワード層でありシーケンスを学習していると ry
。第 4 層は一次シーケンスを学習する。第 3 層は可変長シーケンスを学習

76 pathway。通り道。
77 sub-cortical area。大脳皮質の下の神経中枢。
78 thalamus。ししょう。

**yamaguti~貸** · 2017/09/10(日) 22:01:19.08

Page 73

する。第 5 層はタイミングを含む可変長シーケンスを学習する。 ry

第4層
HTM 大脳皮質性学習アルゴリズムを用いて一次シーケンスを学習するのは容易である。
もしカラム中のセルが互いに抑制するように強制しなかったとしたら、
つまりカラム中のセルが以前の入力の文脈を区別しなかったとしたら、一次学習が起こる。
新皮質では、同じカラム内のセルを抑制する効果を取り除くことで成されるだろう。
ry HTM ry では、単にカラムごとに1 つのセルを割り当てることで同様の結果を生む。

一次シーケンスは入力の空間的変形79を表す不変表現80を作る上で必要 ry
例えば視覚では、x-y 変換、縮尺、回転はすべて空間的変形である。
移動する物体について、一次の記憶を持つ HTM リージョンを訓練すると、
異なる空間的パターンが同等であることを学習する。
結果の HTM セルは「複雑型細胞」と呼ばれるもののように振舞う。
その HTM セルはある範囲の空間的変形に対してアクティブな状態（予測状態）を保つ。

Numenta では、視覚についてこのメカニズム ry 実験を行い、
いくつかの空間的不変性が各レベルで達成 ry 。

第 4 層で一次シーケンスを学習していることは、第 4 層で複雑型細胞が見られることや、
なぜ新皮質の高階層のリージョンで第 4 層が消えて無くなるのかということと符合している。
階層構造を上がるにつれて、その時点での表現はすでに不変のものになっているため
それ以上空間的不変性を学習することはできなくなる。

69 · 2017/09/10(日) 22:02:36.18

第3層
第 3 層は第 2 章で述べた HTM 大脳皮質性学習アルゴリズムに最も近い。
それは可変シーケンスを学習し、予測を行い、その予測は入力よりも安定している。
第 3 層は常に階層構造の次のリージョンに向かい、そのため ry 時間的安定性 ry 増 ry
。可変シーケンス記憶は「方位選択性複雑型細胞」81と呼ばれるニューロンに形成され、
それは第 3 層で最初に観察された。
方位選択性複雑型細胞は例えば左に動いている線と右に動いている線など、
時間的文脈による識別をする。

79 spatial transformation
80 invariant representation
81 directionally-tuned complex cell

**yamaguti~貸** · 2017/09/10(日) 22:23:19.92

Page 74

第5層
最後のフィード・フォワード層 ry 3 層と似ているが 3 つの違い ry
。第一の違いは第 5 層が時間の概念を付加 ry
。第 3 層は次に「何」が起こるかを予測するが、それが「いつ」起こるかを教えてくれない。
しかしながら、話し言葉 ry 音の間の相対的なタイミングが重要 ry
運動動作 ry 筋肉の活性化のタイミング ry
。我々は、第 5 層のニューロンが期待した時刻の後にだけ次の状態を予測すると提唱する。
この仮説を裏付ける生物学上の詳細がいくつかある。一つは第 5 層が新皮質の運動出力層 ry
。いま一つは第 5 層が視床の一部から発して第 1 層から来る入力（図に示されていない）
を受け取るということである。我々はまた、この情報こそが時間をコード化したものであり、
視床を経由して第 1 層に入力される多くのセル（図に示されていない）
にこの情報が分散されると提唱する。

ry の第二の違いは第 3 層が可能な限り未来を予測して
時間的安定性をもたらすことが望ましいということである。
第 2 章で述べた HTM 大脳皮質性学習アルゴリズムはこれを行う。
対照的に、第 5 層については次の項目（ある特定の時点の）を予測することしか求めていない。
我々はこの違いをモデル化していないが、
遷移が常に時間を伴って保存されるならそれは自然に起こる。

ry 第三の違いは図から見て取れる。
第 5 層の出力は常に皮質下部の運動中枢に向かい、
そのフィード・フォワード・パスは視床の門を通る。
第 5 層の出力は、あるときは次のリージョンへと通過し、またあるときは止められる。
我々（及び他の人）はこの門の働きが潜在的注意82に関係すると提唱する
（潜在的注意は運動行動を伴わずに貴方が入力に注目することである）。

71 · 2017/09/10(日) 22:24:24.96

まとめると、第 5 層は特定のタイミング、注意、運動行動を結びつける。
これらが互いにどのように関わりあうかについては多くの謎 ry 。
ry ポイントは、HTM 大脳皮質性学習アルゴリズムのバリエーションが
特定のタイミングを容易に組み入れることができ、別々の皮質の層を結合することができる ry

第2層と第6層
第 6 層は下位のリージョンへフィードバックする軸索の起点である。
第 2 層についてはほとんど知られていない。 ry 2 層が第 3 層と比べて
ユニークな点があるかどうかですら、しばしば議論 ry
いまのところ ry 言えることはほとんどないが、他のすべての層と同様に ry
層はたくさんの水平方向の接続パターンを持ち、カラム単位で反応する特徴があること

82 covert attention

**yamaguti~貸** · 2017/09/10(日) 22:54:45.25

Page 75

だけは指摘することができる。よって我々はこれらもまた、
HTM 大脳皮質性学習アルゴリズムの一形態を実行していると提唱する。

HTM リージョンは新皮質の何に相当するか？
我々は 2 種 ry 実装した。
一方は可変長記憶のためにカラムごとに複数のセルを持たせるもので、
他方は一次記憶のためにカラムごとに単一のセルを持たせるものである。
我々はこの 2 種類が新皮質の第 3 層と第 4 層に相当 ry
。これら 2 種類を単一の HTM リージョンに結合することを我々はまだ試みていない。

HTM 大脳皮質性学習アルゴリズム（カラムごとに複数のセルを持つ）が
新皮質の第 3 層に最も近いものの、我々のモデルは脳にもない柔軟性 ry
新皮質のどの層にも相当しない複合型のセルを持つ層を創ることができる。
例えば、我々のモデルでは樹状突起セグメント上でシナプスが形成される順序が分かる。
我々はこの情報を使って、将来起こることのすべてをより一般的に予測した上で
次に何が起こるかを予測 ry 。我々は多分、同様にしてタイミング特有のことを追加 ry
。従って単一の層の HTM リージョンに第 3 層と第 5 層の機能を結合したものを作 ry

73 · 2017/09/10(日) 22:59:37.17

まとめ

HTM 大脳皮質性学習アルゴリズムは我々が新皮質の神経器官の基本構成要素
と信じているものを具現化するものである。それは水平接続されたニューロンの層が
どのようにして疎分散表現のシーケンスを学習するのかを示している。
HTM 大脳皮質性学習アルゴリズムの各バリエーションが、
互いに関連するが異なる目的を持つ、新皮質の異なる層で使われる。

我々は新皮質リージョンへのフィード・フォワード入力は、
第 4 層であれ第 3 層であれ、主要樹状突起に主に入力されると提唱する。
それは抑制セルの働きにより、入力の疎分散表現を作成する。
我々はまた、第 2, 3, 4, 5, 6 層のセルがこの疎分散表現を共有していると提唱する。
このことは、それらの層をまたがるカラム中のすべてのセルが
同じフィード・フォワード入力に反応するように強制することによって達成される。

ry 4 層のセルが、もしそれが存在するなら、HTM 大脳皮質性学習アルゴリズムを用いて
一次の時間的遷移を学習する ry 。これは空間的遷移に対して不変の表現を構成する。
第 3 層のセルは HTM 大脳皮質性学習アルゴリズムを用いて可変長の時間的遷移を学習し、
皮質の階層を上っていって安定した表現を構成する。
第 5 層のセルはタイミングを伴う可変長の遷移を学習する。
第 2 層と第 6 層については特に提唱

**yamaguti~貸** · 2017/09/10(日) 23:01:06.59

Page 76

するものはない。しかしながら、これらの層でよく見られる水平接続を考えると、
何らかの形でシーケンス記憶を学習 ry

**yamaguti~貸** · 2017/09/24(日) 19:11:04.82

Page 77

用語の説明

ノート： ry 、一般的な意味とは異なるものもある。
説明文中で大文字で示されたもの83は、この用語説明で説明されていることを示す。

76 · 2017/09/24(日) 19:15:45.10

アクティブ状態
（Active State）
フィード・フォワード（Feed-Forward）入力によってセル（Cells）がアクティブになった状態
ボトムアップ
（Bottom-Up）84
フィード・フォワード（Feed-Forward）と同義語
セル
（Cells）
HTMにおいて、ニューロン（Neuron）に対応するもの。
セル（Cells）はHTMのリージョンにおいてカラムを構成する。
同時発生アクティビティ
（Coincident Activity）
同時に2個又はそれ以上のセルがアクティブになること
カラム
（Column）
１個又はそれ以上のセルのグループで、HTMリージョンの中で1単位として機能するもの。
カラム中のセルは、同じフィード・フォワード入力の異なる文脈を表現する。
樹状突起セグメント
（DendriteSegment）
シナプスが集約した単位で、セルやカラムに結び付けられる。
HTMには二つの異なるタイプの樹状突起セグメントがある。
一つは、あるセルの横方向の接続に結び付けられる。
樹状突起セグメントのアクティブなシナプスの数がしきい値を超えると、
結び付けられたセルが予測状態になる。
もう一方は、あるカラムのフィード・フォワード接続に結び付けられる。
あるカラムのアクティブなシナプスの数がしきい値を超えると、
フィード・フォワードによるアクティブ状態になる。

83 用語説明では、例えば Cell の場合「セル（Cell）」のように示した。
84 原文では Bottom-Up と Feed-Forward ry 、同様の意味 ry 「フィード・フォワード」と訳 ry

**yamaguti~貸** · 2017/09/24(日) 19:19:00.49

Page 78

望ましい密度
（Desired Density）
リージョン（ Region ）へのフィード・フォワード（Feed-Forward）入力によって
アクティブになるカラム（Column）の望ましいパーセンテージ。
このパーセンテージは、フィード・フォワード入力のファンアウト85に依存して変化
する半径86内にのみ適用される。パーセンテージは個別の入力に応じて変化するものなので
ここでは「望ましい」と呼んでいる。
フィード・フォワード
（Feed-Forward）
階層構造（Hierarchy）の中で、入力が低いレベル（Level）から高いレベル（Level）
に向かって移動すること（しばしば、Bottom-Upと呼ぶ）
フィードバック
（Feedback）
ry 、高いレベル（Level）から低 ry に向かって移動 ry （しばしば、Top-Downと呼ぶ）
一次予測
（First Order Prediction）
過去の入力には無関係に、 ry 予測 ry 。可変長予測（Variable Order Prediction）参照。
HTM
（Hierarchical Temporal Memory）
新皮質の構造的・アルゴリズム的機能のいくつかを模写する技術
階層構造
（Hierarchy）
要素間の接続がフィード・フォワード（Feed-Forward）ないし
フィードバック（Feedback）によってユニークに識別されるネットワーク
HTM大脳皮質性学習アルゴリズム
（HTM Cortical Learning Algorithms）
空間プーリング（Spatial Pooling）、時間プーリング（Temporal Pooling）、
学習と忘却を行う関数一式。HTMリージョン（HTM Region）を構成する。
またの名をHTM学習アルゴリズム（HTM Learning Algorithms）と言う。

78 · 2017/09/24(日) 19:21:16.24

HTMネットワーク
（HTM Network）
HTMリージョン（HTM Region）の階層構造（Hierarchy）
HTMリージョン
（HTM Region）
HTMにおいて、記憶と予測（Prediction）を行う主要構成要素。
ry 、カラムの中に配置された高度に相互接続された層からなる。
現状 ry 一層のセルからなるが、
新皮質では（そして完璧なHTMでは）リージョンは複数のセルの層からなる。
階層構造の中の位置という文脈 ry 、リージョンはレベルと呼ばれることがある。

85 fan-out。広がり具合
86 radius

**yamaguti~貸** · 2017/09/24(日) 19:25:21.56

Page 79

推論
（Inference）
空間的ないし時間的入力パターンが、以前に学習したパターンと似ていると認識すること
抑制半径
（InhibitionRadius）
カラム（Column）の周囲の領域で、その範囲でアクティブなカラムが抑制をする ry
横方向の接続
（Lateral Connections）
同じリージョン内でのセル（Cells）間の接続関係
レベル
（Level）
階層構造（Hierarchy）の中の HTMリージョン（HTM Region）
ニューロン
（Neuron）
脳内で情報処理を行うセル（Cells）。
本書では、特に生物学的な意味でセルを示すときにニューロンという用語を用い、
単にセルと表記したときはHTMの計算単位を意味する。
永続値
（Permanence）
シナプス候補（Potential Synapse）の接続状態を表すスカラー値。
永続値がしきい値を下回るときシナプスは形成されていないことを表す。
ry しきい値を超えていたら、そのシナプスは有効である。
HTMリージョン（HTM Region）の学習は
シナプス候補（Potential Synapse）の永続値を変更すること ry
シナプス候補
（Potential Synapse）
ある樹状突起セグメント（Dendrite Segment）でシナプスを形成する可能性があるセル（Cells）
の部分集合。ある時刻においては、シナプス候補の一部分だけが、有効なシナプスとなる。
有効なシナプスは永続値に基づいて決まる。

80 · 2017/09/24(日) 19:27:11.74

予測
（Prediction）
フィード・フォワード（Feed-Forward）入力によって、
セル（Cells）が近い将来アクティブになるであろうということを、
（予測状態の）アクティブ化によって示すこと。
HTMリージョン（HTM Region）はしばしば、将来起こりうる入力を同時に多数予測する。
受容野
（Receptive Field）
カラム（Column）ないしセル（Cells）が接続されている入力の集合。
HTMリージョン（HTM Region）への入力がビットの2D配列で構成されているとき、
受容野は入力空間内のある半径範囲で表現することができる。
センサー
（Sensor）
HTMネットワーク（HTM Network）への入力源
疎分散表現
（Sparse Distributed Representation）
多くのビットで構成され、 ry わずかなパーセンテージだけがアクティブであり、
単一のビットだけでは意味を表現するには不十分であるような表現。

**yamaguti~貸し多大** · 2017/09/24(日) 19:30:33.55

yamaguti~貸し多大

Page 80

空間プーリング
（Spatial Pooling）
入力に対して疎分散表現を計算する処理。空間プーリングの一つの特徴は、
オーバラップする入力パターンを同じ疎分散表現に対応付けられることである。
サブサンプリング
（Sub-Sampling）
大きなパターンのうちのほんのわずかなアクティブビットをマッチングするだけで、
大きな分散パターンを認識すること
シナプス
（Synapse）
学習によって形成されるセル（Cells）間の接続
時間プーリング
（Temporal Pooling）
入力パターンのシーケンスの表現を計算する処理。結果の表現は入力よりも安定 ry
トップダウン
（Top-Down）
フィードバック（Feedback）の同義語
可変長予測
（Variable Order Prediction）
それが依存する直前の文脈の量が変化するような予測。一次予測（First Order Prediction）参照。
直前の文脈を維持管理するためのメモリを必要に応じて割り当てるため、「可変長」と呼ばれる。
そのため ry 、指数関数的 ry メモリ ry なく、文脈を時間的に後戻りすることができる。

**yamaguti~貸** · 2017/09/24(日) 19:46:14.55

>492 ：オーバーテクナナシー：2017/09/23(土) 19:54:47.75 ID:vY4r2i0B
> 脳の大脳新皮質の学習は100ミリ秒未来の予測と実際との誤差を教師信号として学習される説を提案。
> 視床枕が予測を映し出すスクリーンの役目を担い、α波に従って予測と実際を切り替えその誤差が各領域に伝搬され逆誤差伝搬法と同じ更新がされる
>http://arxiv.org/abs/1709.04654
>http://mobile.twitter.com/hillbig/status/911091101024399362

http://translate.google.jp/
コーネル大学図書館
定量的生物学>ニューロンと認知
タイトル：深い予測学習：3つのビジュアルストリームの包括的なモデル著者： Randall C. O'Reilly 、 Dean R. Wyatte 、 John Rohrlich

要旨：新皮質 ry 高次認知能力の基礎を学び、どのように発展 ry ？
レベル間の明確な理論的連続性を持ち、生物学的、計算的、および認知的なレベルにわたる
包括 ry 提示し、各レベルでの広範なデータによって ry 一貫した答えを提供する。
学習は、感覚が100msec（ ry ）間隔 ry 、予測精度 ry シナプスの重みを ry に基づいている。
視床の脊髄核は、複数の脳領域からの深層6大脳皮質の入力および抽象化のレベルによって、
予測 ry 投影スクリーン ry
。層5内因性バーストニュ ry の疎駆動入力は標的信号 ry 予測との間の時間差は皮質全体に反映され、
詳細な生物物理学 ry の局所活性化信号のみを用いて誤差逆伝播に近似するシナプス変化を引き起こすモデル。
ビジョンでは、予測学習には、 ry 、3つの経路（What、Where、W ry e）の ry と解剖学 ry 必要 ry
。低レベルの感覚 ry 予測のために; ry 抽象化の学習を促進する分離可能な因子の抽出 ry ために、
集合的な低レベルの予測誤差を漸進的かつ機敏に分割しなけ ry
モデルは、 ry ムービーから100種類のオブジェクトを体系的に不変なオブジェクト表現で構成し、
幅広いデータを扱い、多くのテスト可能な予測を

コメント： 64ページ、24図、291の参照。出版のために提出
次のように引用： arXiv:1709.04654 [q-bio.NC] （またはこのバージョンではarXiv：1709.04654v1 [q-bio.NC] ）
投稿者：Randall O'Reilly [ 電子メールを見る ] [v1] Thu, 14 Sep 2017 08:02:37 GMT (6601kb,D)

**yamaguti~貸** · 2017/09/26(火) 16:44:33.68

> 750 オーバーテクナナシー 2017/09/26(火) 15:15:40.52 ID:g8erRGmf
> Intelがクラウドに依存せずチップ単体で自律的に学習していけるAIチップ「Loihi」を開発中 - GIGAZINE
> http://gigazine.net/amp/20170926-intel-loihi
> ほんとぉ？

> 752 オーバーテクナナシー 2017/09/26(火) 15:21:41.28 ID:lqqUzEBp
> Intelがクラウドに依存せずチップ単体で自律的に学習していけるAIチップ「Loihi」を開発中
> http://gigazine.net/news/20170926-intel-loihi/

Google Translate | url = http://newsroom.intel.com/editorials/intels-new-self-learning-chip-promises-accelerate-artificial-intelligence/

> Loihiテストチップの機能は次のとおりです。
>
> * 完全に非同期のニューロモルフィックな多数のコアメッシュ。
> 幅広いスパース、階層、リカレントニューラルネットワークトポロジをサポートし、
> 各ニューロンは何千もの他のニューロンと通信できます。
> * 各ニューロモルフィックコアには、運転 ( 翻訳ミス : チップ稼働 ) 中に
> ネットワークパラメータを適応させるようにプログラムすることができる学習エンジンが含まれ、
> 監督付き、監督なし、強化およびその他の学習パラダイムをサポートします。
> * ry 14nmプロセス ry
> * ry 130,000のニューロンと1億3000万のシナプス。
> * パスプランニング、制約充足、スパースコーディング、辞書学習、動的パターン学習および適応
> を含む問題に対する高いアルゴリズム効率 ry

**オーバーテクナナシー** · 2017/09/26(火) 18:28:52.52

言語とか数字みたいなメタ認知も大脳新皮質なの？

**yamaguti~貸** · 2017/10/12(木) 18:20:45.42

>167 オーバーテクナナシー 2017/10/09(月) 23:01:57.90 ID:5Ggq/e4S
:
> 再帰型ニューラルネットワーク（RNN）による長期的な学習の困難さを解決する方法として、DilatedRNN というモデルが提案された。
> 再帰の間隔を空けた層を用いることで、勾配消失問題が緩和され、並列計算も容易になる。
>http://arxiv.org/abs/1710.02224

> Title: 拡張リカレントニューラルネットワーク
> 著者： Shiyu Chang , Yang Zhang , Wei Han , Mo Yu , Xiaoxiao Guo , Wei Tan , Xiaodong Cui , Michael Witbrock , Mark Hasegawa-Johnson , Thomas Huang
>
>要約：悪名高いことに、長いシーケンス上の ry （RNN）を用いた学習は難 ry
>。 3つの大きな課題 ry ：1）複雑な依存関係の抽出、2）消滅と爆発の勾配、3）効率的な並列化です。
>本稿では、シンプルで効果的なRNN接続構造であるDILATEDRNNを紹介 ry これらの課題を同時に解決します。
>ry 、多重解像度拡張再帰スキップ接続 ry 、異なるRNNセルと柔軟に組み合 ry
>。さらに、 ry 、パラメータの数を減らし、トレーニングの効率を大幅に向上 ry
>、非常に長期間の依存性を伴うタスクで最先端のパフォーマンス（バニラRNNセル ry ） ry
>。 ry メモリ容量測定値、すなわち平均反復長さを導入する。これは、長いスキップ接続を有するRNNが ry 適し
>
>次のように引用： arXiv:1710.02224 [cs.AI] （またはこのバージョンではarXiv：1710.02224v1 [cs.AI] ）
> [v1] Thu, 5 Oct 2017 21:28:01 GMT (2327kb,D) [v1]

86 · 2017/10/12(木) 18:23:57.41

http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#71##72#74#
http://rio2016.5ch.net/test/read.cgi/future/1481407726/66-75##67-68#71-72# HTM
http://google.jp/search?q=skiplist+hash+array&;tbm=isch
http://google.jp/?q=bomberman+password+algorithm+guide+OR+4tanni+OR+comptiq+OR+377221725030600705
http://google.jp/search?q=mpeg1+ipb+4frame+OR+4tanni
ttp://google.jp/?q=algorithm+tereka+jiki+data+OR+4tanni

**オーバーテクナナシー** · 2017/10/12(木) 18:29:52.21

おい答えろ
著作物転載ガイジ

**オーバーテクナナシー** · 2017/12/24(日) 09:23:12.85

参考までに、未来技術というか自分で簡単にＰＣで収入を得られる方法など
⇒　『山中のムロロモノス』というブログで見ることができるらしいです。

グーグル等で検索⇒『山中のムロロモノス』

SB27GME400

2018/01/18(木) 10:16:37.23

アルマジモンは強烈だよ
アルマジモンは強豪だよ
アルマジモンは強剛だよ
アルマジモンは強靭だよ
アルマジモンは強者だよ
アルマジモンは強大だよ
アルマジモンは強力だよ
アルマジモンは強いよ
アルマジモンの連勝
アルマジモンの戦勝
アルマジモンの制勝
アルマジモンの優勝
アルマジモンの楽勝
アルマジモンの圧勝
アルマジモンの全勝
アルマジモンの完勝
アルマジモンの必勝
アルマジモンの奇勝
アルマジモンの完全勝利
アルマジモンの大勝利
アルマジモンの勝利
アルマジモンの勝ち

**オーバーテクナナシー** · 2018/02/04(日) 16:32:33.90

>>83
ホーキンスはこれを15年以上前に気づいていた。

感覚器官からの入力とは逆向きの入力が、記憶の連想による予測を行っているというホーキンスの理論は正しかった。

**オーバーテクナナシー** · 2018/02/04(日) 16:36:41.60

>>83
ホーキンスはこれを15年以上前に気づいていた。

感覚器官からの入力とは逆向きの入力が、記憶の連想による予測を行っているというホーキンスの理論は正しかった。

**オーバーテクナナシー** · 2018/02/04(日) 16:41:56.67

シナプスの結合パターンで幾らでも高度な連想が可能。

**オーバーテクナナシー** · 2018/02/04(日) 16:57:35.70

あらゆる思考は感覚器官とは逆向きの入力、つまり連想と言える。

推論や想像などの言葉は普遍的な連想パターンで区別しているにすぎない。

これがホーキンス氏が提唱する知能の本質。

>>93
ホーキンス氏は現在、この「シナプスの結合パターン」、
脳の柔軟な認識が可能な記憶の繋がりがどのようにして形成されているのか研究している。

2018/02/09(金) 03:05:25.22

デジモンフロンティアの連勝
デジモンフロンティアの奇勝
デジモンフロンティアの全勝
デジモンフロンティアの完勝
デジモンフロンティアの必勝
デジモンフロンティアの優勝
デジモンフロンティアの制勝
デジモンフロンティアの戦勝
デジモンフロンティアの楽勝
デジモンフロンティアの圧勝
デジモンフロンティアの完全勝利
デジモンフロンティアの大勝利
デジモンフロンティアの勝利
デジモンフロンティアの勝ち
デジモンフロンティアは強烈だよ
デジモンフロンティアは強豪だよ
デジモンフロンティアは強剛だよ
デジモンフロンティアは強靭だよ
デジモンフロンティアは強者だよ
デジモンフロンティアは強大だよ
デジモンフロンティアは強力だよ
デジモンフロンティアは強いよ

**オーバーテクナナシー** · 2018/03/10(土) 23:45:22.75

>>94
んなコターねぇー、だから、ダメなんだ。
もっとよく考えて見ろ、違うだろ、気づかないのか？

**オーバーテクナナシー** · 2018/03/10(土) 23:53:58.68

>>94
プログラムの動作は演算の組み合わせだ
みたいなことを言うのと同じだと思う。
あたりまえだしだったらあれするには
こう作ればいいにできない。

**オーバーテクナナシー** · 2018/05/17(木) 12:55:21.17

いろいろと役に立つPCさえあれば幸せ小金持ちになれるノウハウ
暇な人は見てみるといいかもしれません
グーグルで検索するといいかも『ネットで稼ぐ方法　モニアレフヌノ』

UDKLJ

**yamaguti** · 2018/05/21(月) 00:40:19.15

>>84
>427 オryｰ 0518 1130 MoLfZWhr
>354 オryｰ /0517 1422 z3hpZn2q
> 【IT】IntelのAIチップ「Loihi」、2019年に小型ネズミの頭脳レベルに
> http://egg.5ch.net/test/read.cgi/bizplus/1526478901/
:

**yamaguti** · 2018/06/29(金) 12:37:19.26

>844 オryｰ 180628 1126 8Ecc/3xB
> DeepMindが偽(既存)のAI特許出願をしているベン・ゲーツェル[馬鹿馬鹿しい]
> http://multiverseaccordingtoben.blogspot.com/2018/06/google-deep-minds-bogus-ai-patent.html

>851 オryｰ 0628 1246 TPCgic+r
> >844
> やっぱりヌメンタがナンバーワン！

> Google 翻訳
>
> Saturday, June 23, 2018
> 2018年6月23日土曜日
> Google Deep Mind's Bogus AI Patent Filings
> Google Deep Mindの●のAI特許提出
> :
>ry Google Deep Mind has filed a bunch of patent applications for well-known ry , all or nearly all of which certainly are not their original inventions.
>ry 、 Google Deep Mindがよく知られている ry の特許申請 ry 。そのほとんどまたはすべてが確かにオリジナルの発明ではありませ
:

**yamaguti** · 2018/06/29(金) 12:49:01.96

>>100
> , for instance:
> 。たとえば、
:
> 溺ethods, systems, and apparatus, including computer programs encoded on a computer storage medium, for environment simulation.
> "環境シミュレーションのためのコンピュータ記憶媒体上にコード化されたコンピュータプログラムを含む方法、システム、および装置。
> In one aspect, a system comprises a recurrent neural network configured to, at each of a plurality of time steps, receive a preceding action for a preceding time step,
> update a preceding initial hidden state of the recurrent neural network from the preceding time step using the preceding action,
> update a preceding cell state of the recurrent neural network from the preceding time step using at least the initial hidden state for the time step,
> and determine a final hidden state for the time step using the cell state for the time step.
> 一態様では、システムは、複数の時間ステップのそれぞれにおいて、先行する時間ステップのための先行するアクションを受信し、
? > 前の時間ステップから前の時間ステップから先行 ry 備える。
前の時間ステップから先行する初期の隠れた状態を更新するように構成されたリカレントニューラルネットワークを備える。
> 時間ステップのための少なくとも初期隠れ状態を使用して前の時間ステップからリカレントニューラルネットワークの先行セル状態を更新し、
> 時間ステップのセル状態を使用して時間ステップの最終隠れ状態を決定する。
> The system further comprises a decoder neural network configured to
> receive the final hidden state for the time step and process the final hidden state to generate a predicted observation characterizing a predicted state of the environment at the time step.”
> システムは、時間ステップの最終隠れ状態を受信し、最終隠れ状態を処理して、時間ステップで環境の予測状態を特徴付ける予測観察を生成する
ように構成されたデコーダニューラルネットワークをさらに備える。
:
> Posted by Benjamin Goertzel
> 投稿者ベンジャミンGoertzel

**yamaguti** · 2018/06/29(金) 13:00:17.27

>>100-101
>174 yamaguti 180527 1946 36TMfdUR?
> >152-173
> http://rio2016.2ch.net/test/read.cgi/future/1504872499/116-117# Hannyou AI/AL / HTM Kapuseru # SoBunsan NN
> http://rio2016.2ch.net/test/read.cgi/future/1504872499/138-139# Hannyou AI/AL / HTM # YuugouGijutu <-> NN TuijuuYosoku
> http://rio2016.2ch.net/test/read.cgi/future/1504872499/136-137# HTM Kapuseru

>535 yamaguti~貸 171018 2218 3to/BWop?
> >525
> × 補助なし深層学習ではまともに時間データを扱えないので強い AL 実現絶望的
> ○ 補助なし深層学習ではリージョン化向きとは言えないので強い AL 実現コスト問題
:

>160 : 155 180204 0533 XY7pbVXo? \>178 yamaguti 180528 1227 x4HB0Rxw?
> >152 >155 >149-150
:
> http://rio2016.5ch.net/test/read.cgi/future/1517369897/29#13# HTM ZenHitei
>http://rio2016.2ch.net/test/read.cgi/future/1481407726/6-8## HTM
> http://rio2016.2ch.net/test/read.cgi/future/1511446164/36-89#-#819-#831-837#868##823-826# HTM Ronbun

**yamaguti** · 2018/06/29(金) 15:41:12.77

>924 180629 0633 NiYm+KPI
> 特化型AIをブロックチェーンでつないで汎用型AIを作る＝SingularityNet
>http://aishinbun.com/comment/20180627/1591/
> 画像認識AI、自然言語解析AI、音声認識AI、翻訳AI、文書生成AI・・・。特化型AIはものすごい勢いで進化
>
> 香港在住のAI技術者Ben Goertzel氏率いるSingularityNetは、こうした特化型AIを結びつけることで汎用型AIを構築できるプラットフォームの開発
>
> プラットフォーム ry 、ベースになるのはブロックチェーン
>
> SinularityNetでは、DApp（非中央集権型アプリ）に必要なAI技術の提供を受けることのできるマーケットプレイスの開発 ry
>。マーケットプレイスには特化型AIの開発者が開発した特化型AIが展示され、DAppの開発者が必要なAIの機能を購入できる
>
> とはいっても人間がAI機能の売買をするのではなく、 ry スマートコントラクトと呼ばれる仕様書兼契約書 ry 、DAppと各種AIが自動的に結びつく形
>
> ry トークン機能によって、機能を提供したAIに対してDAppから仮想通貨が支払われ
>
> 特化型AIを組み合わせることによって汎用型AIを作ろうという動きは世界中あちらこちらで進んでいるが、
> マーケットプレイスを作り仮想通貨というインセンティブ ry 加速 ry SingularityNetのやり方
>
> 新しい特化型AIが次々と開発され、 ry マーケットプレイスを通じて自由自在に結びつき、これまでにないような機能やサービス
>
>汎用型AI ry 、こういう仕組 ry 、意外と早く実現するかも
>
> SingularityNetはこれまでに何度かニュース
>
> 昨年末に同社がICOしたところ、１分間で40億円を調達。大きな話題
>
> 人間型ロボットSophiaを開発したことでも有名

2018/08/06(月) 04:22:09.16

拙者はアンドロモンが好きだよ、拙者はアンドロモンが御好みだよ、拙者はアンドロモンが大好きだよ、拙者はアンドロモンを愛好するよ、拙者はアンドロモンを嗜好するよ、拙者はアンドロモンは友好するよ
寧ろ逆にアンドロモンを大切にするよ、他に別にアンドロモンを大事にするよ、例え仮に其れでもアンドロモンを重視するよ、特にアンドロモンを尊敬するよ、もしもアンドロモンを褒めるよ
十中八九アンドロモンを希望するよ、森羅万象アンドロモンを渇望するよ、無我夢中アンドロモンを要望するよ、五里霧中アンドロモンを切望するよ、天上天下アンドロモンを熱望するよ、是非ともアンドロモンを祈願するよ
100%アンドロモンに決定だよ、十割アンドロモンに限定だよ、確実にアンドロモンに指定だよ、絶対にアンドロモンに認定だよ、必ずアンドロモンに確定だよ
当然アンドロモンは斬新奇抜だよ、無論アンドロモンは新機軸だよ、勿論アンドロモンは独創的だよ、一応アンドロモンは個性的だよ、多分アンドロモンは画期的だよ
アンドロモンは強いよ、アンドロモンは強力だよ、アンドロモンは強大だよ、アンドロモンは強者だよ、アンドロモンは強豪だよ、アンドロモンは強剛だよ、アンドロモンは強靭だよ、アンドロモンは強烈だよ
アンドロモンの勝ち、アンドロモンの勝利、アンドロモンの大勝利、アンドロモンの完全勝利、アンドロモンの圧勝、アンドロモンの楽勝
アンドロモンの連勝、アンドロモンの優勝、アンドロモンの戦勝、アンドロモンの制勝
アンドロモンの奇勝、アンドロモンの必勝、アンドロモンの全勝、アンドロモンの完勝

**yamaguti** · 2018/08/12(日) 18:51:21.66

Google 翻訳

arXiv：1803.06617v1 [cs.AR] 2018年3月18日　　http://arxiv.org/abs/1803.06617
Microsoft Researchテクニカルレポート
2014年1月に作成。 2018年3月リリース

面積の効率的な高ILP EDGEソフトプロセッサの実装に向けて

ジャングレイ
グレイリサーチLLC
jsgrayATacm.org

アーロン・スミス
マイクロソフトリサーチ
aaron.smithATmicrosoft。

　抽象- In-OrderスカラーRISCアーキテクチャは、20年にわたってFPGAソフトプロセッサ設計の支配的 ry
? ry 順序外スーパスカラ ry 。
従来のアウトオブオーダスーパスカラ実装は、競合領域または絶対性能を示さなかった。
本稿では、EDGE（Explicit Data Graph Execution）命令セットアーキテクチャを利用して、高速かつエリア効率の優れた順序外のスーパースカラソフトプロセッサを構築 ry
。 EDGEマイクロアーキテクチャ、特にそのデータフロー命令スケジューラを慎重にマッピングすることにより、アウトオブオーダFPGA ry 実証します。
2つのスケジューラ設計の選択肢が比較されます。
　索引用語 - 明示的データグラフ実行（EDGE）; ハイブリッドフォンノイマンデータフロー; FPGAソフトプロセッサ

**>>105** · 2018/08/12(日) 19:02:06.08

1. 前書き

　設計の生産性は、リコンフィギュラブル ry の課題 ry
? ワークロードをゲートに移植し、 ry 。
ワークロードをゲートに移し、10^2〜10^4秒のビットストリーム再設計の設計反復に耐えるのは高価です。
ソフトプロセッサアレイオーバーレイは、これらのコストを軽減 ry
? 高価な初期ポートは、ソフトプロセッサーを対象 ry 。
コストがかかる最初の移植は、ソフトプロセッサを対象とした単純なクロスコンパイルとなります。ほとんどのデザインターンは、迅速な再コンパイルです。
? ry 、または相互接続として公開されているカスタムハードウェア ry 。
アプリケーションのボトルネックは、新しい命令、機能ユニット、自律アクセラレータ、メモリ、または相互接続の公開済機能を持つカスタムハードウェアにオフロードできます。
? 　異種のFPGA ry 相補的な有用性 ry 。
　ヘテロジニアス FPGA とハードARMコアの出現は、ソフトコアの相補的有用性を低下させません。
FPGAの容量が倍増 ry ソフトプロセッサも倍増します。
? いくつかのハード・プロセッサーが一致しないスループット ry 。
中規模のFPGAは現在、何百ものソフトプロセッサとそのメモリ相互接続ネットワｰ ry 。そのような超並列プロセッサとアクセラレータアレイ（MPPAA）は、サイクルごとに数百のメモリアクセスとブランチ -- 一部のハードプロセッサを越えるスループッ
? 　 ry 20年後にはほとんど変わりません。
　汎用ソフトプロセッサーのマイクロアーキテクチャーは20年間余り変わっていません。
? ry インラインパイプライン型スカラーRISC ry 。
Philip Freidinの16ビットRISC4005（1991）は、j32、xr16、NIOS、MicroBlaze [1] -- [4]のように、インオーダパイプライン型スカラ RISC であり、最新バージョンと同様です。
何年もの間、ソフトプロセッサは命令レベルの並列性を高めるためにキャッシュ、分岐予測器、 ry 、基本的なスカラーRISCマイクロアーキテクチャが依然として支配的です。
? ry と1つのライト/サイクルLUT RAM ry 。
これは、この単純なマイクロアーキテクチャと、 ry FPGAプリミティブ要素、特にLUTとライトパーサイクル LUT RAM との間の良好な適合を反映しています。
残念なことに、このようなアーキテクチャでキャッシュミス ry 、実行は停止 ry 。

**>>106** · 2018/08/12(日) 19:05:50.98

? 　 ry ソフトプロセッサの代わりにVLIW [5]、[6]またはベクトル[7]、[8]コア。
　より高い命令レベル並列（ILP）マイクロアーキテクチャをターゲットとする設計研究は、典型的には、アウトオブオーダー（OoO）[9] -- [11]ソフトプロセッサコアの代替としてのVLIW [5]、[6]またはベクトル[7]、[8] アーキテクチャを挙げれます。
スーパースカラOoOマイクロアーキテクチャの問題は、レジスタの名前を変更し、命令をデータフロー順にスケジューリングし、誤特定した後にクリーンアップし、正確な例外のために結果を順序通りにリタイアさせるために必要な機械の複雑さです。
? これは、 ry 多数ポートCAM、 ry 、これらのすべてがFPGAで面積が集中する。
これにより、深い多ポートレジスタファイル、データフロー命令スケジューリングウェイクアップのための多ポートCAM、および多くのワイドバスマルチプレクサおよびバイパスネットワークなどの高価な回路を必要とし、これらのすべてがFPGAの面積消費を加速する。
? ry 、マルチリード、マルチライトRAMは、レプリケーション、 ry 。
例えば、マルチリード、マルチライトRAMは、転送形態の混在、マルチサイクル動作、クロックダブリング、バンクインターリーブ、ライブバリューテーブル、その他の高価な技術を必要とします。
? 　現在の作業は、
　この度の取組は、複雑さとオーバーヘッドのほとんどを伴わずに、高いILP OoOスーパースカラソフトプロセッサを構築 ry
、面積とエネルギー効率の高い高ILP実行 ry 明示的データグラフ実行（EDGE）[12]、[13]命令セットアーキテクチャを実装 ry

1

? ry 、順不同のプロセッサーをインライン・スカラーRISCより ry 。
EDGEアーキテクチャーとそのコンパイラーは、レジスタの名前変更、CAM、複雑さを払拭し、アウトオブオーダプロセッサーをインオーダスカラ RISC よりも数百LUTだけ有効にします。
? 　 ry が、今日のFPGA上で一般的なインオーダRISCとどのように似ているかを解説します。
　本稿では、 ry EDGEマイクロアーキテクチャと、今日のFPGA上で一般的なインオーダRISCとの共通性を解説します。
重要な課題と論文の主な貢献点は、FPGAに小型で高速なデータフロー命令スケジューラを構築する方法です。
最小面積のEDGEソフトプロセッサを開発する途中で、2つの代替FPGA実装を開発して対比 ry 。

**yamaguti** · 2018/08/12(日) 19:10:26.37

http://rio2016.2ch.net/test/read.cgi/future/1489922543/184-216

**>>107** · 2018/08/12(日) 19:11:09.35

II. EDGE の概要

z = x + y;
if (z <= 5) {

　　　　x=R0, y=R7
　　　　ヘッダ
　　　　I[0] READ　　R0　　T[2R]
　　　　I[1] READ　　R7　　T[2L]
　　　　I[2] ADD　　　　T[3L]
　　　　I[3] TLEI　　#5　　B[1P]
　　　　I[4] BRO.T　　B1
　　　　I[5] BRO.F　　B1

↓

　　x += 1;
　　y -= 1;
　　x /= y;

　　　　ヘッダ
　　　　I[0] READ　　R0　　T[2L]
　　　　I[1] READ　　R7　　T[3L]
　　　　I[2] ADD　　#1　　T[4L]
　　　　I[3] SUB　　#1　　T[4R]
　　　　I[4] DIV　　　　W[R0]
　　　　I[5] BRO

}

**>>109** · 2018/08/12(日) 19:12:00.63

インストラクションウィンドウ

? オペラ・バッファ　　BP 0 1
オペランド・バッファ　　BP 0 1
READ　　　　R0
　　2R
READ　　　　R7
　　2L
ADD
　　3L
TLEI　　　　#5

BRO.T

BRO.F

図1：擬似コードおよび対応する命令ブロック。

　7b 　　　　2b 　　2b 　　3b 　　　9b 　　　9b
OPCODE　　PR　　BID　　XOP　　TARGET1　　TARGET0

PR= PREDICATE
BID= BROADCAST ID
XOP= EXTENDED OPCODE

図2：一般的な命令フォーマット

**>>110** · 2018/08/12(日) 19:14:18.99

　EDGEアーキテクチャ[12]、[14] -- [16]は、アトミックにフェッチ、実行、およびコミットされる命令ブロック内で編成された命令を実行する。
ブロック内の命令はデータフローの順番で実行されるため、高価なレジスタの名前変更の必要性がなくなり、効率的なアウトオブオーダ ry 。
? ry 明示的に符号化し、、マイクロアーキテクチャが実行時にこれらの依存性を再発見するのを解放する。
コンパイラは、命令セット・アーキテクチャを通じてデータ依存性を明示的にエンコードし、これらの依存性の実行時再探索からマイクロアーキテクチャを解放する。
? ry 直接データ依存です。
述語を使用すると、ブロック内のすべてのブランチはデータフロー命令に変換され、メモリ以外のすべての依存関係は直接データ依存となる。
このターゲット・フォーム・エンコーディングは、ブロック内の命令がオペランド・バッファを介して直接オペランドを通信することを可能にし、電力を必要とするマルチポート物理レジスタ・ファイルへのアクセス回数を減らします。
ブロック間では、命令はメモリとレジスタを使用して通信します。
? ry サポートしますが、インオーダーの電力効率と複雑さを備えたアウトオブオーダー実行のメリットを享受します。
EDGEアーキテクチャは、ハイブリッドデータフロー実行モデルを利用することにより、命令型プログラミング言語とシーケンシャルメモリセマンティクスをサポートしますが、電力効率と複雑さをインオーダ並に抑えつつアウトオブオーダ実行のメリットを享受します。
　図1は、2つのEDGE命令ブロックの例と、命令がそのターゲットを明示的にエンコードする方法 ry >>109-110 >>109 >>110
。この例では、各ブロックは基本ブロックに対応する。
最初の2つのREAD命令は、ADD命令の左オペランド（T [2L]）と右（T [2R]）オペランドを対象としています。
READは、グローバル・レジスタ・ファイルから読み取る唯一の命令です（しかし、どの命令もターゲットにすることができます。例グローバルレジスタファイルへの書き込み）。
ADDが両方のレジスタ読み出しの結果を受け取ると、それは準備完了となり、実行されます。

**>>111** · 2018/08/12(日) 19:15:45.53

　図2に一般的な命令フォーマットを示します。 >>110
各EDGE命令は32ビットで、最大2つのターゲット命令のエンコードをサポートしています。
? ry 消費者の指示については、コンパイラは移動命令を使用して ry 高いファンアウト命令を割り当てることができます[15]。
ターゲットフィールドより多くのコンシューマを伴う命令については、コンパイラは move 命令を使用してファンアウトツリーを構築するか、ブロードキャストに高ファンアウトな命令を割り当てることができます[15]。
ブロードキャストは、軽量ネットワーク上のオペランドをブロック内の任意の数のコンシューマ命令に送信することをサポートします。
? ry 、TLEI命令（テスト無しイミディエイト命令） ry 。
図1では、TLEI命令（Less / Equal イミディエイトテスト命令）がADDから単一の入力オペランドを受け取ると、それは準備完了となり、実行されます。
? ry 生成されます。
このテストでは、チャネル1（B [1P]）からブロードキャストチャネルでリッスンするすべての命令（この例では2つの分岐予測命令（ry .F））にブロｰ ry トされる述語オペランドがプロデュースされます。
一致する述部を受け取ったブランチは起動します。

? 　EDGE実装のスペクトルは、
　 EDGE スペクトル実装は、さまざまな面積と性能のトレードオフで可能です。
? 以前のEDGEの研究では、スカラーワークロードのパフォーマンスを向上させるために、非常に幅広い問題実装[12]、[13]、複数のコアの融合[14]〜[16]
以前のEDGEの研究では、スカラ処理パフォーマンス向上の為に、超ワイドなイシューの実装[12]、[13]、複数のコアの融合[14]〜[16] 、を用いました。
? この作業では、
この度の取組では、競争力のあるパフォーマンス/面積のコンパクトEDGEソフトプロセッサを使用したMPPAAシナリオに焦点を当てます。
したがって、データとポインタは32ビットです。ブロックは最大32命令までです。マイクロアーキテクチャはクロックごとに1-2命令をデコードし、1命令を発行します。
? 、分岐またはメモリ依存の予測を省略します。
本研究では、ロードストアキュー（LSQ）をシンプルで非投機的な設計に制限し、分岐又はメモリに依存する予測を省略します。

**yamaguti** · 2018/08/12(日) 19:17:02.35

http://rio2016.2ch.net/test/read.cgi/future/1489922543/184-216

**>>112** · 2018/08/12(日) 19:18:17.99

III. FPGAでのEDGE

IF
　　INSN キャッシュデータ
　　nK x 32 x 2 ポート
　　ブロック RAM

DC
　　デコーダー(S)

IS
　　インストラクションウィンドウ
　　　　INSN スケジューラ
　　　　32 ENTRIES

　　　　　　T1 T0 IID

　　　　デコードされた INSNS
　　　　32 x n LUT-RAM(S)

　　　　? オペラのバッファ　　オペランドバッファ
　　　　32 x 32 LUT-RAMS

**>>114** · 2018/08/12(日) 19:19:00.60

EX
　　EX パイプラインの REGS

　　EX
　　TS

　　OPS0
　　32x32

　　×

LS
　　ロード/ストア
　　キュー

　　データキャッシュデータ
　　nK x 32
　　ブロック RAM

　　LS PIPELINE REGS

　　×2

　　REGISTER FILE
　　32 x 32 LUT-RAM

? ry 2つのデコード、シングル発行の ry 。
図3： 2 デコード、シングルイシューのEDGEマイクロアーキテクチャ。

**>>115** · 2018/08/12(日) 19:20:48.94

A. マイクロアーキテクチャ
　図3は、コンパクトEDGEプ ry 例 ry >>114-115 >>114 >>115
? ry 、およびメモリ/データキャッシュアクセスを含む命令およびデータキャッシュおよび5段階パイプライン（従来のインオーダスカラーRISC） LS）。
これは、命令フェッチ（IF）、デコード（DC）、オペランドフェッチ、実行（EX）、およびメモリ/データキャッシュアクセス ( LS ) を含む I/D キャッシュおよび5段階パイプラインを持つほぼ従来型のインオーダスカラ RISC です。
? ry 読み出されます。
インオーダ・プロセッサとは異なり、命令オペランドはレジスタ・ファイルではなくオペランド・バッファから読出され、
? ry データフローの
又データフローの順序で次に実行する命令は、IS（発行）パイプラインステージによって決定されます。
これは、データフロー命令スケジューラと、デコードされた命令バッファと、オペランドバッファとを含む命令ウィンドウを使用する。
? 単純な ry プログラム命令 ry 。
その際に単純なロードストアキューを使用してプログラムされた順の通りのメモリ命令群を発行します。
　フロントエンド（IF、DC）はバックエンド（IS、EX、LS）から切り離 ry
。クロックごとに2つの命令をフェッチし、命令ウィンドウにデコードします。
命令ウィンドウのデータフロースケジューラは、各デコードされた命令の入力すなわち
? その述語とオペランド。
その述語とオペランドのレディステートを保持します。
? 準備完了状態になると、 ry 。
すべての入力（ある場合）がレディ状態になると、命令は起動し、発行準備が整います。
最も低い番号のレディ命令IIDが各サイクルで選択され、そのデコードされた命令および入力オペランドが読 ry
。データマルチプレクサとファンクションユニット制御信号のほかに、この命令は最大2つのレディイベントをエンコードします。
? ry および/またはイベント ry 準備状態を更新する。
スケジューラは、これらの and/or イベントを他のソース（T0およびT1に多重化）から受け取り、ウィンドウ内の他の命令のレディ状態をアップデートする。
このようにして、データフローの実行が開始され、ブロックのレディ0入力命令、次にこれらがターゲットとする命令など ry 。

**>>116** · 2018/08/12(日) 19:21:49.32

B. EDGEデータフロー命令のスケジューリング要件
? 　 ry、コアのリンチピンです。
　命令ウィンドウとスケジューラは、コアの鎹です。
それらの領域、クロック周期、能力、および制限によって、EDGEコアの実現性能と ry が大きく左右されます。

2

　命令スケジューラは、多様な機能と要件を備えています。
? ry 同時です。
それは非常に同時並行的です。
? ry 、デコーダは、命令をデコードし、デコードされた ry 。
各サイクルにおいて、デコーダは、デコードされたレディ状態及びデコードされた命令をウィンドウに書き込む。
? ry バックエンドは準備完了イベント ry 。
各サイクルで、スケジューラは発行する次の命令を選択し、それに応答してバックエンドはレディイベント --
特定の命令の入力スロット（述語、オペランド＃0、オペランド＃1）をターゲットとするターゲットレディイベント、またはブロードキャストIDで待機しているすべての命令をターゲットとしたブロードキャストレディイベントのいずれかを送信します。
これらは命令毎のアクティブレディ状態ビットをセットし、デコード済みレディ状態と共に命令が発行可能であることを知らせる。
? ry を受け付け、発行されたレディ命令の再発行を禁止する必要があることに注意してください。
スケジューラは、まだデコードされていないターゲット命令のイベントを受付けるので、発行されたレディ命令の再発行を禁止 ry
? 　 ry 、または述語の真または偽である可能性 ry 。
　EDGE命令は、述語ではないか、又は true か false という述語である可能性があります。
? ry 、別の命令の述語結果によって ry 。
述語化された命令は、別の命令の述語評価結果によってターゲットにされ、その結果が述語条件と一致するまで、準備ができません。
? ry 発行しません。
述語が一致しない場合、命令は決して発行されません。

**>>117** · 2018/08/12(日) 19:24:42.29

　新しいブロックへの分岐では、すべての命令ウインドウレディ状態がフラッシュクリアされる（ブロックリセット）。
しかし、ブロックがそれ自身に分岐すると（ブロックリフレッシュ）、アクティブレディ状態のみがクリアされ、
デコードされたレディ状態は保存されるので、 ry 再フェ ry 必要はない。
ry 節約するための鍵です。
　ソフトウェアクリティカルパスの一部は、依存する命令の1つのチェーン ( 例
? ry 、連続するバックツーバック命令ウェイクアップのためにパイプラインバブルを追加しないことが重要です。
A → B → C と順にターゲット ) で構成されており、データフロースケジューラは、連続するバックツーバック命令の起動の為のパイプラインバブルを追加しない点は重要です。
? ry レディ・イグジット・ターゲット・レディ・パイプラインの再発行は、クロック・サイクルに深刻 ry
したがって、ISステージのレディ・イシュー・ターゲット・レディ・パイプラインの再発行は、クロック周波数に深刻な影響を与えないと仮定すると、1サイクル ry
　ADDのような命令は、1サイクルの待ち時間を有する。
? ry 、スケジューラはターゲットステージの命令をISステージでウェイクさせることができます。
EXステージの結果転送では、命令が完了する前であっても、スケジューラはISステージでターゲットがターゲットする命令を起動させることができます。
他の命令の結果は、ALUの比較を待つか、複数のサイクルを取るか、または未知の待ち時間 ry
? これらは後で目標を起こすまで待たなければなりません。
これらの場合はターゲットを後で起動する様にウェイトせねばなりません。

**>>118** · 2018/08/12(日) 19:27:23.26

? 　 ry 、予想されるEDGE実装のスペクトルにわたってスケーラブルでなければなりません。各サイクルは、 ry 、1サイクルあたり1〜2の命令を発行します。
　最後に、スケジューラ設計は、予想されるEDGEのスペクトル実装にわたってスケーラブル --
各サイクルは、少なくとも1〜4のデコードされた命令と2〜4つのターゲットレディイベントを受入れ、1サイクルあたり1〜2の命令を発行します -- でなければなりません。
　2つの代替的なデータフロー命令スケジューラ設計を考える：
? ry 、各命令のレディステータスが各サイクルで再評価されます。
FPGAのDフリップフロップ（FF）で命令のレディ状態が明示的に表現されているブルートフォース並列スケジューラでは、各命令のレディステータスが各サイクルで再評価されます。
? よりコンパクトなインクリメンタルスケジューラで、 ry 。
そしてよりコンパクトなインクリメンタルスケジューラでは、LUT RAMにレディ状態を保持し、1サイクルあたり2〜4ターゲット命令のみのレディステータスを更新します。

**yamaguti** · 2018/08/12(日) 19:28:42.23

http://rio2016.2ch.net/test/read.cgi/future/1489922543/184-216

**>>119** · 2018/08/12(日) 19:29:15.90

C. 並列命令スケジューラ

BID
T1
T0
ENs

31
...
3
　　DBID　　　　DRT　　DRF　　DR0　　DR1

　　NEXT RDYS
　　RDY　　RT　　RF　　R0　　R1　　INH

2
1
0

DEC.RDYS
リセット
RESETv リフレッシュ

32→(5,1)
? 優先エンコーダ　　優先度エンコーダ

IID,V

図4：エントリ＃2をより詳細に示す、並列データフロースケジューラのブロック図。

**>>121** · 2018/08/12(日) 19:30:35.06

　図4は、図3の命令ウィンドウのための並列命令スケジューラを示す。 >>121
? アクティブ準備完了状態は、ターゲット準備完了イベントT0、T1および ry ）によって設定され、 ry 。
アクティブレディステートは、ターゲットレディイベントT0、T1及びブロードキャストID BID（存在する場合）によってセットされ、さまざまな入力タイプによって修飾されてENをイネーブルにすることに注意してください。
? ry 、1命令準備回路のインスタンス ry 。
32エントリウィンドウの場合、1命令分の回路のインスタンスが32個あります。
どのサイクルにおいても、32個のRDY信号のうちの1つ以上がアサートされてもよい。
? ry 、これを発行する次の命令の5ビットIIDに縮小する。
32ビット優先度エンコーダは、これを次の発行される命令の5ビットIIDに縮小する。
　各エントリに対して、復号されたレディ状態の6ビットがあり、
? すなわち、それらは命令デコーダによって初期化される。
それらは、例えば次の様に命令デコーダによって初期化される :

• DBID: 2ビットのバイナリブロードキャストID。存在しない場合は00
? • ry が準備完了です。
• DRT, DRF: decoder：述語true（false）がレディ状態です。
• DR0, DR1: デコーダ：オペランド＃0（オペランド＃1）がレディ状態

? ry 符号化し、恐らくブロードキャストチャネルを介して述語および/またはいくつかのオペランドを待つか、 ry 。
これらのビットはともに、命令がデコードされたかどうかを符号化し、述語および/またはいくつかのオペランドを恐らくブロードキャストチャネルを介して待つか、またはすぐに発行する準備ができているかどうかをエンコードする。
これらのビットは、ブロック・リセット時にのみクリアされます。

**>>123** · 2018/08/12(日) 19:32:45.64

?　アクティブ・レディ状態の ry ：
　アクティブレディステータスの6ビットもあります：

? • ryが準備完了です。
• RT, RF: 述語true（false）がレディです。
• R0, R1: オペランド＃0（オペランド＃1）がレディ状態
? • ry 命令を禁止する - 既に発行済み
• INH: 禁止指令 - 既にイシュー済
• RDY: 命令は発行可能です

3

? 命令は、if（RT＆RF＆R0＆R1＆〜INH）の準備ができています。
命令は、（RT＆RF＆R0＆R1＆ ~INH）の場合にのみレディです。
? ry 、RT、RF、R0、R1のいずれかを設定 ry 。
以下の場合、 RT、RF、R0、R1 をどれでも設定することができます。

• 対応するDRXがデコーダによって設定されるか、または
• 実行命令は、明示的に、またはブロードキャストイベント（ブロードキャストID、入力）を介して入力をターゲットにします。

アクティブ・レディ状態ビットは、ブロック・リセットまたはリフレッシュ時にクリアされます。

**>>123** · 2018/08/12(日) 19:34:19.75

　　　　　　　　デコード済みレディ状態　　　　　　アクティブレディ状態
命令　　　　　DBID 　DRT 　DRF 　DR0 　DR1 　　　RT 　RF 　R0 　R1 　INH 　RDY
READ 　　　　　　00 　　1 　　1 　　1 　　1 　　　　1 　　1 　　1 　　1 　　1 　　0
READ 　　　　　　00 　　1 　　1 　　1 　　1 　　　　1 　　1 　　1 　　1 　　0 　　1
ADD 　　　　　　　00 　　1 　　1 　　0 　　0 　　　　1 　　1 　　1 　　0 　　0 　　0
TLEI 　　　　　　　00 　　1 　　1 　　0 　　1 　　　　1 　　1 　　0 　　1 　　0 　　0
BRO.T B1 　　　　　01 　　0 　　1 　　1 　　1 　　　　0 　　1 　　1 　　1 　　0 　　0
BRO.F B1 　　　　　01 　　1 　　0 　　1 　　1 　　　　1 　　0 　　1 　　1 　　0 　　0
デコードされていない　00 　　0 　　0 　　x 　　x 　　　　0 　　0 　　x 　　x 　　x 　　0

? 表I：命令インストラクション・レディ状態
表I：命令スケジューラのレディ状態の例

　表Iは、6つの命令をデコードして最初の命令を発行した後のブロックの命令スケジューラ状態を示す。 >>123
? ry 特定の述語結果を待たないことを反映するDRTおよびDRFセットを有する。
最初の4つの非述語命令は、それらが特定の述語評価結果を待たないことを反映するDRTおよびDRFセットを有する。
? ry ）はすぐに発行する準備ができています。
2つのREAD命令（予測されず、入力オペランドがゼロ）は即時イシューの準備ができています。
? 最初のものが発行されました - そして現在は再発行が禁止されています - R0が設定されているADDのオペランド0を対象とします。
最初のものがイシューされて -- そして現在は再発行が禁止されている -- ADD 命令のオペランド0が対象とされている時、その R0 が設定されます。
2番目のREADは、次のISパイプラインサイクルで発行されます。

**>>124** · 2018/08/12(日) 19:36:10.39

? ry 述語結果をブロードキャストします。
TLEI（test-lessthan-or-equal-immediate）命令は、チャネル1でその述語評価結果をブロードキャストします ;
? 2つの分岐命令、
2つの分岐命令に付いて、
述語部が夫々 true か false か
? 、この述語の結果を待つ。
、この述語の結果を待って。
? ry デコードされていない： ry 。
第7のエントリはデコードされていない命令：（DRT | DRF）= 0。
? 　ry デコードされた命令バッファに ry 。
　データフロースケジューリングのクリティカルパスを減らすために、フロントエンドはデコードされた命令用のバッファにプリデコードされたEDGE命令を書き込む。
命令IIDが発行されると、そのデコードされた命令がバックエンドによって読み取られる。
? とりわけ、命令の0-2（IID、入力）明示的ターゲットを指定する2つのターゲットオペランド準備完了イベントフィールド_T0および_T1、ならびに入力イネーブルの4ビットベクトルを含む：ENs = {RT EN 、RF EN、R0 EN、R1 EN}である。
とりわけ、0-2（IID、入力）で命令のターゲットを明示指定する 2 つのターゲットオペランドレディイベントフィールド_T0および_T1を含む、謂うなれば 4 ビットベクトルとしての入力は以下に示すイネーブル効果を持つ：ENs = {RT EN 、RF EN、R0 EN、R1 EN}
? 図3を参照すると、これらの信号は、他のパイプラインステージからのレディイベントとスケジューラによって入力されたT0およびT1とに多重化される。
図3 に遡るが、これらの信号、他のパイプラインステージからのレディイベントは、スケジューラによって入力されたT0およびT1とに mux される。

**>>125** · 2018/08/12(日) 19:43:56.87

D. 並列スケジューラのFPGA実装
　スケジューラの面積とクロック周期を最小限にするには、FPGA回路設計に注意 ry
? 32命令ウィンドウは、準備完了状態のために32 *（6 + 6）= 384FFを、準備完了イベントを復号して各入力の準備完了状態を更新するために32 *多くのLUTを必要とする。
32 個ある命令ウィンドウは、それらのレディステートの為に 32 *（6 + 6）= 384FF を、レディイベントを復号して各入力のレディステートを更新するために32 *多くのLUTを必要とする。
? 　最新のFPGAは、 ry 。
　現代的 FPGA は、一連のLUT（ ry ）とDフリッ ry （FF）をロジッククラスタにまとめ ry
? ry 各スライスのクラスタに ry 。
ry 、ザイリンクス7 ry 、4つの6-LUTと8つのFFを各 `` スライス ''クラスタにグループ化します。
各LUTは2つの出力を持ち、1つの6-LUT、または5つの共通入力を持つ2つの5-LUTとして ry
? ry 登録することができます。
各出力はFFに登録されるかも知れません。
フリップフロップにはオプションのCE（クロックイネーブル）とSR（セット/リセット）入力 ry 、これらの信号はクラスタ内の8つのFFすべてに共通です。
ry 、アルテラのFPGAに似ています。
　これから、2つの設計上の考慮事項 ry
? 　Fracturable 6-LUTデコーダ： ry 。
　分割可能な 6-LUTデコーダ：ターゲット命令インデックスのデコードでは、インデックスが≦5ビットである限り、2つのデコーダが1つの6-LUTに収まる可能性があります。
　スライスFFパッキングとクラスタ制御セットの制限：領域と配線の遅延を最小限に抑えるため、デザインはクラスタごとに4〜8 FFの高密度FFをパックします。
すべての6ビットデコード済みレディ状態エントリは一緒に書き込まれ（共通RSTおよびCE）、1つまたは2つのスライスにパック ry
　アクティブレディ状態のFFにはもっと注意 ry
? これらの32ﾗ6 ry 。
これらの32*6 = 192個のFFの各々は個別に設定 ry が、スライス当たり4つのFFをパックすることにより、1つのFFがクロックイネーブルされると、全てがクロックイネーブルされる。
準備完了イベントによってFFが設定されると、そのスライス内の他のFFは変更されるべきではありません。
これには、各FFの入力LUTにCE機能を実装し、その出力をその入力にフィードバックする ry 。FF_NXT = FF |（EN＆入力）。

**yamaguti** · 2018/08/12(日) 19:44:31.70

http://rio2016.2ch.net/test/read.cgi/future/1489922543/184-216

**>>126** · 2018/08/12(日) 19:45:03.52

**>>128** · 2018/08/12(日) 19:46:50.84

　リスト1は、N-entry並列スケジューラー用の `` next readys ''を生成するVerilogです。 >>128
4つのレディ・イベント入力タイプ（述部真、偽、オペランド＃0、オペランド＃1）がありますが、
? ry 、真/オペランド＃1ターゲットから偽/オペランド＃0ターゲットを区別するのに単一のターゲットインデックスビットで十分である。
述部ターゲットイベントがオペランドターゲットイベントと同じサイクルで発生しないことを保証することによって、真/オペランド＃1ターゲットと偽/オペランド＃0ターゲットを区別する為のターゲットインデックスビットは一つで済む。
? N = 32エントリの命令ウィンドウの場合、T0とT1は6ビット{入力＃1：0}である（すなわち、特定の{RT / RF / R0 / R1} .
? IID：5}。
（特定の{RT / RF / R0 / R1} EN がイネーブル化する事によってデコーディングが促進される )
すなわち、 N = 32エントリの命令ウィンドウの場合、T0とT1は6ビット{入力＃1： IID：5}である。
? ry （ターゲット0の入力0等）は、ブロードキャスト選択デコーダB ry 。
ターゲットデコーダT00、T01、T10、T11（ターゲット0の入力0 、等）は、放送選択デコーダBと同様に、それぞれ6-LUTである。
? ry 、現在アクティブでデコードされたレディステートでターゲットデコーダ出力を一緒にフォールドします。
次のアクティブレディ状態ロジックは、現在アクティブかデコードされたレディステートでターゲットデコーダ出力を一緒に畳みます。
これにはさらに7つのLUT（INH_NXTでは2つ）が必要で、合計32 * 12 = 384のLUTが必要です。
　これは、32エントリスケジューラを偶数および奇数命令の2つの16エントリバンクに分割 ry 改善 ry
? ある銀行内では、4ビットの銀行IIDで十分である。
1 つのバンクに付き、4ビットのバンク IID で十分である。
? ry 、T5、T10、T11は2つの5,5-LUT、 ry 。
次に、T0、T1は5ビットに狭くなるので、T00、T01、T10、T11は2つの5,5-LUT、INH_NXTは1つの6-LUT、または2 * 16 *（3 + 6）= 288のLUTに収まります。

4

**>>129** · 2018/08/12(日) 19:49:12.10

? 　 ry ：LUTまたはキャリーロジックまたはツリー、キャリーロジックゼロスキャン、および ry ワンショット変換を含む、多くの32ビットエンコーダデザインが評価されました。
　優先順位エンコーダ：LUTまたはキャリーロジックの OR ツリー、キャリーロジックのゼロスキャン、およびF7MAP / F8MAPマルチプレクサを使用したワンホット変換を含む、多くの32ビットエンコーダデザインが評価検討されました。
? ry 、2つのLUT遅延で完了する。
現在の設計では、バンク当たり2つの16→4エンコーダを使用し、2つの LUT の遅延で完了する。
ワン・イシュー・プロセッサでは、後続の2：1マルチプレクサがこれらのエンコーダ出力の1つを選択します。
　特に、各16ビットエンコーダ入力I [15：0]はI [15]、I [14:10]、I [9：5]、I [4：0]にチャンクされる。
? 各5ビットグループは32x4 LUT ROMにインデックスを付け、そのグループのエンコーダ出力を事前計算します。
各5ビットグループはそのグループのエンコーダ出力を事前計算してある 32x4 LUT ROM をインデックスします。
? 3つの5ビットゼロコンパレータ出力とともに、 ry 。
5ビットゼロコンパレータ出力 3 つは共に、3つのグループがすべてゼロのときに 'b1111'を出力するカスタム4ビット3：1セレクタに供給されます。
? 　 ry RPM（Relativeally配置されたマクロ） ry 。
　技術マッピングとフロアプランニング：このデザインではRPM（関連配置マクロ）手法を使用してエリアと相互接続の遅延を改善し、モジュール構成と大規模な複製で簡単なルーティングとタイミングクロージャのための繰り返し可能なレイアウトを実現します。
構造RTLはモジュールをインスタンス化し、それらをスケジューラにタイルします。
6入力モジュール上のXST注釈（* LUT MAP = "yes" *）は、そのロジックを1つのLUTにロックします。（* RLOC = "XxYy" *）は、FPGAプリミティブをクラスタにパックし、相互に相対的にクラスタを配置します。

**yamaguti** · 2018/08/12(日) 19:51:29.03

http://rio2016.2ch.net/test/read.cgi/future/1489922543/184-216

**>>130** · 2018/08/12(日) 19:51:58.10

図5：並列スケジューラのFPGA実装

? 　 ry 、およびデコードされた命令バッファ ry 。
　図5は、スケジューラ、プライオリティエンコーダ、およびデコード済命令用バッファを含む図4のザイリンクス7シリーズの実装であり、クリティカルパスが白 ry
　FPGAスライスの2つの水平な行はそれぞれ、命令ウィンドウの4つのエントリに対応します。
左から右へ：

? • 淡黄色：4つの6ビットデコード済み状態フリップフロップ。
• 淡黄色：4つの6ビットデコード済レディ状態フリップフロップ。
• 黄/緑：B、T00、T01、T10、T11ターゲット・デコーダ;
• オレンジ：アクティブレディ状態のLUT / FF RT_NXT / RTなど。
• 紫色：INH_NXTおよびINH。
• 赤：RDY_NXTとRDY。

? 右側には、複数の32x6ビットトゥルーデュアルポートLUT RAMに実装された、合成された優先エンコーダとマルチプレクサ（青）とデコードされた命令バッファ（白） ry 。
右側には、合成された優先度エンコーダとマルチプレクサ（青）と、複数の 32 x 6 ビットトゥルーデュアルポート LUT RAM に実装されたデコード命令用バッファ（白 ry
? 　 ry デコード済命令LUT RAM、 ry 。
　パフォーマンス：Kintex-7 -1スピードグレードでは、クリティカルパスにRDYクロックトゥーアウト、プライオリティエンコーダ、マルチプレクサ、デコードされた命令LUT RAM、次のreadysロジック、RDYセットアップを含む5.0 nsが必要です。
相互接続遅延はクリティカルパスの85％です。残念ながら、RDYからRDYまでのすべてのパスは、比較的大きな直径のネットリストを通過 ry
? 　 ry バックツーバック問題（連続サイクルで） ry 。
スケジューラクリティカルパス（命令バッファLUT RAMの出力ポート）の途中でパイプラインレジスタを追加することにより、サイクルタイムを2.9nsに短縮することができますが、
これは、単一の従属命令チェーンのバックツーバックイシュー（連続サイクルで）を達成することはできません。

**>>131** · 2018/08/12(日) 19:52:35.34

? ry 準備完了状態
E. 増分データフロースケジューラレディー状態
　並列スケジューラは簡単ですが、32x12bのレディステート（LUT RAMの数少ないLUT）を維持するために何百ものLUTとFFを消費し、命令ウィンドウのサイズが2倍になるとこの領域も2倍になります。
? また、発行された各命令が多くても2つの他の準備完了状態に影響を与えても（ブロードキャストにもかかわらず）、各命令の次のreadys LUTの各サイクルはすべての命令の準備を再計算します。
又、発行された各命令が大抵 2 つの他のレディー状態に影響を与えても（ブロードキャストにもかかわらず）、LUT での各レディーは次の各サイクルで全ての命令のレディーステートを再計算させます。 ?
? ry 、キュー内のレディ命令のフロンティアを維持し、 ry 。
対照的に、インクリメンタルスケジューラは、LUT RAMでデコードされたアクティブレディ状態を保持し、キュー内のレディ命令のフロンティアを整備し、1サイクルあたりわずか2〜4ターゲット命令のレディステータスを評価します。

5

FFの配列と比較して、LUT RAMは高速で高密度ですが、いくつかの欠点があります。フラッシュする方法がなく、1サイクルあたり1つの書き込みしかサポートしていません。

**yamaguti** · 2018/08/12(日) 19:53:48.27

http://rio2016.2ch.net/test/read.cgi/future/1489922543/184-216

**>>133** · 2018/08/12(日) 19:54:36.01

DRDYSS
　　WA ← 　　DC_IID
　　RA ← 　　EVT_IID
　　I ← 　　DC_DRDYS
　　O → 　　READY LOGIC　　DRDYS

ARDYSS
　　WA ← 　　EVT_IID
　　RA ← 　　EVT_IID
　　I ← 　　READYLOGIC　　ARDYS_NXT
　　O → 　　READYLOGIC　　DRDYS

DVS ← 　　RESET
　　O → 　　READYLOGIC　　DV
　　WA ← 　　DRDYSS　　WA
　　RA ← 　　DRDYSS　　RA

AVS ← 　　RESETvREFRESH
　　WA ← 　　ARDYSS　　WA
　　RA ← 　　ARDYSS　　RA
　　O →　　　　READYLOGIC　　AV

READY LOGIC
　　READY →
　　DV ← 　　DVS　　O
　　DRDYS ← 　　DRDYSS　　O
　　AV ← 　　AVS　　O
　　ARDYS → 　　ARDYSS　　O
　　ARDYS_NXT → 　　ARDYSS　　I
　　EVT_RDYS ← 　　EVT_RDYS

**>>135** · 2018/08/12(日) 19:57:14.42

? ry ：準備状態、検証、および準備論理。
（a）設計：レディー状態、検証、およびレディーロジック。

（b）FPGAの実装。

図6： 16エントリスケジューラバンク。

**>>136** · 2018/08/12(日) 19:58:48.86

? 　 ry とFFの `` RAM ''の ry 。
　代わりに、スケジューラはLUT RAMとFF `` RAM '' のハイブリッドを使用します。
? ry 16x4真のデュアルポートLUT RAMのいくつかのバンクに格納され、16x1フラッシュクリア可能セット - 「FC-SO-RAM」
デコードされた（DRT、DRF、DR0、DR1）およびアクティブ（RT、RF、R0、R1）レディ状態は16x4の真のデュアルポート LUT RAM を構成する「 FC-SO-RAM 」に批准する 16 x 1 フラッシュクリア可能セットオンリー RAM であるいくつかのバンクに格納される。
? これには、16個 ry ）すべて。
これは、16個のFF（共通リセット付き）、16個のライトポートアドレスデコーダ（8個の5,5-LUT）、16：1のリードポートマルチプレクサ（4個の6-LUT、2個のMUXF7、1個のMUXF8）の全 3 つのスライスで構成されています。
このハイブリッドからの各読み出しは、4b LUT RAMエントリおよびその有効ビットを読み取る。
各書き込みはLUT RAMを更新し、その有効ビットをセットする。
　複数のLUT RAM書込みポート。
d命令/サイクルのフェッチ/デコード速度およびi命令/サイクルの発行速度を維持するためには、各サイクルでd + 2iレディ状態エントリを更新する必要がある。
? これは1つのライト/サイクル ry 。
これは 1 ライト / サイクルLUT RAMの課題です。
? ry なく、4つ（またはそれ以上）のインタリーブされたディスジョイントバンクにレディ状態を分割します。（偶数、奇数）命令の（デコードされた、アクティブな）準備完了状態を示す。
増分スケジューラは、クロックダブリングまたは複製されたRAMバンクをライブ値テーブルで使用するのではなく、レディ状態を 4つ（またはそれ以上）のインタリーブされたディスジョイントバンクに分割します :
（偶数、奇数）命令の（デコードされた、アクティブな）レディステートを示す。

? その後、フロントエンドは、偶数および奇数のデコード済みレディ状態を書き込むことができ、バックエンドは、偶数および/または奇数ターゲット命令のアクティブレディ状態を更新する。
その後、バックエンドが偶数および/または奇数ターゲット命令のアクティブレディ状態を更新する状態である限りは、フロントエンドは偶数および奇数のデコード済レディ状態を書込む事ができる。

**>>136** · 2018/08/12(日) 20:00:37.05

// ? 準備完了のロジック　　レディーロジック
always @* begin
　　ARDYS_NXT = (DV ? DRDYS : 4'b0000)
　　　　　　| (AV ? ARDYS : 4'b0000)
　　　　　　| EVT_RDYS;
　　READY = &ADRYS_NXT;
end

? ry ：準備完了ロジック
リスト2：レディーロジック

　図6は、結果として16エントリスケジューラバンクの設計と実装を示しています。 >>135-136 >>135 >>136
? 青でデコードされ ry 。
青のデコードされアクティブな状態のLUT RAM DRDYSSおよびARDYSSは、オレンジ/赤のFC-SO-RAM DVSおよびAVSによって検証されます。
各サイクルにおいて、デコーダは、命令DC IIDのデコード済みレディ状態DC DRDYSおよびその有効ビットを書き込む。
? また、各サイクルで銀行の目標準備完了EVT :: = {EVT_IID; EVT_RDYS}は、そのDRDYSおよびEVT_RDYSを使用してEVT_IIDのARDYSの読み取り - 変更 - 書き込みを介して処理されます。
また、バンクのターゲットレディイベント EVT :: = {EVT_IID; EVT_RDYS}は各サイクルで、リードモディファイライトを行う EVT _ID の ARDYS を介し又その DRDYS 及び EVT_RDYS をも使用して処理されます。
リスト2を参照してください。
4つのARDYSビットがすべてセットされると、命令はレディ状態になります。
? このロジック（シアン）はすべて1つのスライスで済みます。最適化として、READYの縮小はキャリーロジックになります。
このロジック（シアン）の全ては 1 つのスライスで済み、最適化として、READY 縮小の為の and はキャリーロジックになります。

? 　 ry ・バンクの競合が存在する可能性があります。
　EDGEコンパイラは、命令の両方のターゲットがディスジョイント・バンクにあることを保証するわけではないため、スケジューラ・バンクの競合が発生する可能性 ry
。 ADD命令は、命令10のオペランドと命令12のオペランドを対象 ry
? ry できないため、1つのイベントが処理され、もう1つのイベントが後のサイクルでキューに入れられます。
同じサイクルで2つの偶数バンク・ターゲットのアクティブ・レディ状態を更新することはできないため、 1 つのイベントが処理された後のサイクルで、もう 1 つのイベントがキュｰ ry

**>>138** · 2018/08/12(日) 20:01:53.31

F. インクリメンタルなデータフロースケジューラの設計、運用、実装
　スケジューラのコア（図7）は次のように構成されています。

• INSN: 2つのターゲットイベントフィールドを持つデコードされた命令
• EVT0, EVT1: 偶数/奇数ペンディングイベントレジスタ
• 偶数/奇数イベントマルチプレクサ、プリデコードされたセレクトによって制御される
• SCH0, SCH1: 偶数/奇数16エントリスケジューラバンク
? • 3つの準備命令IIDキュー：
• 3つのレディ命令IIDキュー：
-- DCRDYQ: デコーダレディキュー。
? -- ISRDYQ: 発行（ ry 。
-- ISRDYQ: イシュー（スケジューラ）レディキュー。
-- LSRDYQ: ロード/ストアレディキュー
• 次のIIDを選択する2つの3：1セレクタ
? • INSNS: デコードされた命令RAM（ ry ）
• INSNS: デコード済命令RAM（リードポート）

? ry 、デコードされた命令レジスタ ry 。
この設計では、スケジューラの繰り返しサイクルが開始され、デコード済命令レジスタで終了 ry
　図1の最初のEDGEコードブロックの実行を検討してください。
? ry 、DVS、SCH0、SCH1のAVSがクリアされます。
スケジューラがリセットされ、 SCH0 、 SCH1 の DVS 、 AVS がクリアされます。
? ry 、その命令をINSNSにフェッチしてデコードします。
フロントエンドはブロックのヘッダをフェッチし、その命令をフェッチして INSNS にデコードします。
? 2つのREADは発行する準備ができているため、 ry 。
2つのREADはイシュー待ちレディーである為、IIDがDCRDYQにエンキューされます。
? これはバックエンドのために ``ポンプを準備する ''。
これはバックエンドの為の ``ポンプの準備 '' 。
? ry 、準備ができていないため、エンキューされません。
他の命令はオペランドまたは述部を待機し、レディーでない為、エンキューされません。

6

**yamaguti** · 2018/08/12(日) 20:02:32.65

http://rio2016.2ch.net/test/read.cgi/future/1489922543/184-216

**>>139** · 2018/08/12(日) 20:03:39.12

0
　　INSN
　　　　T1
　　　　T0

1
　　EVT1
　　EVT0

2 3 4
　　LSRDYQ
　　DCRDYQ
　　ISRDYQ
　　SCH1
　　　　READY →
　　　　EVT ←
　　　　EVT_IID →
　　SCH0
　　　　READY →
　　　　EVT ←
　　　　EVT_IID →

5
　　IID

6
　　INSNS:
　　　　? デコードされた指示　　デコード済命令
　　32xn LUT RAM

（a）デザイン。

**>>141** · 2018/08/12(日) 20:05:03.71

（b）FPGAの実装。

? ry 、デコードされた命令バッファ、レディキューを含む。
図7： 32エントリスケジューラ、デコード済命令バッファ、レディキュー。

? 　ry データフロー実行は次のように実行されます。
　バックエンドのデータフロー実行継続は次の様に承認されます。
? ry 、両方のREADYが否定されます。
最初はINSNが無効で、両方のREADYがネゲートです。
IIDセレクタツリーは、DCRDYQから最初のREAD命令（IID = 0）を選択/デキューします。
デコードされたREAD命令語は、INSNSからINSNに読み出される。
　READ対象ADDオペランド＃1
? そのINSN.T0（バンク対象準備完了イベント） ry 、そのマルチプレクサはSCH0のEVT =（2、 'b0001）を選択する。
そのINSN.T0（偶数バンクターゲットレディーイベント）フィールドは有効であり、そのマルチプレクサは SCH0 用に EVT =（2、 'b0001）を選択する。
これはADDのアクティブレディ状態を更新します： 'b1100 |' b0000 | 'b0001 =' b1101、現在は左オペランド（オペランド＃0）のみを待ちます。
どちらのスケジューラ・バンクもREADY命令を検出していないので、IIDセレクタ・ツリーはDCRDYQからの2番目のREADを選択/デキューします。

　このREADはADDオペランド＃0を対象としています ; そのINSN.T0はEVT =（2、 'b0010）である。
SCH0はADDのレディー状態を 'b1111'に更新し、READYをアサートしてADD（IID = 2）を発行します。
　ADDのT1はSCH1のTLEIレディ状態をターゲットにしています。
? TLEIは準備ができて問題になります。
TLEIはレディーとなりイシューされます。
? 　 ry ISステージ準備完了イベントを指定しない。
　TLEIに関しては、どちらのT0 / T1フィールドもISステージレディーイベントを指定しない。
どうして？
ADDのような単純な1サイクルレイテンシ命令とは異なり、テスト命令のターゲットは、テストがEXステージで実行されるまでレディイベントを受け取ることができません。
テストが完了すると、その真/偽の述語イベントが通知されます。
これらは待ち行列および/またはマルチプレクサ（図示せず）を介してEVT0、EVT1ペンディングイベントレジスタに進み、アイドルスケジューライベントスロットを待つ。

**>>139** · 2018/08/12(日) 20:11:29.75

>>139
>　図1の最初のEDGEコードブロッ

>>109 >>109-110 >>110

**>>142** · 2018/08/12(日) 20:14:12.13

? 　 ry 、多くのエラスティックFIFOレディキュー ry 。
　キュー：このデザインでは、多くの弾力的 FIFO レディキューとイベントキューが採用されています。
? アップダウンカウンタと ry 。
それらは小さく且つ高速でありアップダウンカウンタとザイリンクスSRL32CE 32ビット可変長シフトレジスタLUTで構成されています。
DCRDYQに加えて、現在の設計には2つの他のレディキューがあります。
? 　ISRDYQ：命令が発行され、それが2つを目覚めさせ、偶数命令が次に発行し、奇数命令がISRDYQにキューイングされるときの「1つの問題」の設計では、
　ISRDYQ：「 1 イシュー」の設計に於ては、命令が発行され、それが他の 2 つを目覚めさせ、偶数命令が次に発行し、奇数命令がキューイングされるキューは ISRDYQ
　LSRDYQ： EDGEプロセッサは、ロード・ストア・キューを使用してシーケンシャル・メモリ・セマンティクスを提供します。
? ry 並べ替えます。（ready）ロード/ストアが ry 。
1つのシンプルなエリア最適化LSQは、特定のアクセスを保護して並べ替えます ; （レディ/）ロード/ストアがメモリに発行可能になると、LSQはそれをLSRDYQにエンキューします。
　ブロードキャストウェイクアップ：各EDGE結果ブロードキャストは、ウィンドウ内の任意の数の命令をターゲットにしてウェイクさせることができる。
? ry 、増分スケジューラーではコストがかかります。
これは並列スケジューラーにとっては簡単ですが、インクリメンタルスケジューラではコスト ry
。結果がブロードキャストされると、スケジューラは、そのブロードキャスト入力でデコードされた各命令のレディ状態を順次更新 ry
? ry ）を維持する。
したがって、デコーダは、所定のブロードキャスト入力を有する命令のIIDの待ち行列（BR1Q、BR2Q、BR3Q）を整備する。
? ry SCH0、SCH1に提示されたEVTにデキューし始める。
ブロードキャスト結果が分かれば、スケジューラはBRnQ IIDをSCH0、SCH1へ提示されたEVTにデキューし始める。

**>>144** · 2018/08/12(日) 20:16:00.33

　パフォーマンス：図7aのラベル0〜6は、スケジューラクリティカルパスの各ポイントへの「LUT遅延」の数を示します。図7bの白いパスです。 >>141
? ry を含む4.3 nsです。
Kintex-7 -1スピードグレードでは、INSNクロックトゥーアウト、EVTマルチプレクサ、SCH1のAVSリードポートマルチプレクサ、ARDYS_NXTとREADYロジック、IIDセレクタ、INSNSリード、およびINSNセットアップを含めて 4.3 ns です。
? ry LUTローカルMUXF7 / MUXF8 / CARRY4ネットの使用 ry 。
ここで、相互接続遅延は、比較的短いネットとLUTローカルなMUXF7/MUXF8/ CARRY4ネットなりの使用を反映するクリティカルパスのわずか70％です。
? ry バックトゥーバック問題が排除されます。
スケジューラのクロック周期は、LUT RAMおよびFC-SO-RAMの読み取り後のパイプラインレジスタを追加することで2.5 nsに減らすことができますが、並列スケジューラと同様に、パイプライン処理によって依存命令のバックトゥーバックイシューの余地がなくなります。

**>>145** · 2018/08/12(日) 20:17:17.24

? G. 並列スケジューラと増分スケジューラの比較
G. 並列とインクリメンタルとのスケジューラの比較

メトリック　　　　パラレル　　インクリメンタル　　ユニット

エリア, 32エントリ　　288　　78　　　　LUTs
面積、合計、32エントリ　340　　150　　　　LUTs
期間　　　　　　　　　5.0　　4.3　　　　ns
期間、パイプライン　　2.9　　2.5　　　　ns
面積、合計*期間　　1700　　645　　　　LUT*ns

ブロードキャスト　　　　? フラッシュ反復　　フラッシュインタリーブ
イベントバンクの競合？　　決してない　　sometimes

エリア、4イベント/サイクル　　288　　156　　　　LUTs
エリア、64エントリ　　　　576　　130　　　　LUTs

? 表II：並列スケジューラと増分スケジューラの比較
表II：並列とインクリメンタルとのスケジューラの比較

**>>146** · 2018/08/12(日) 20:18:03.97

　表2は、2つのデータフロースケジューラ設計の違いをまとめたものです。 >>146
インクリメンタルスケジューラのコアは、並列スケジューラのサイズの3分の1以下ですが、キューとマルチプレクサの追加オーバーヘッドが追加されるとサイズの利点が小さくなります。
? ry 、エリア*期間のメトリック ry 。
インクリメンタルスケジューラも高速で、エリア*時間のメトリックは2.6倍優れています。

7

しかし、並列スケジューラはいくつかの強引な利点を保持しています。
? 増分スケジューラは、 ry 割合でブロードキャストキューを反復的に排除する必要があります。
インクリメンタルスケジューラは、ブロードキャストイベントを1サイクルで処理できますが、1サイクルあたり1〜2命令の割合で反復的にブロードキャストキューから排出させる必要があります。
? ry で問題が発生する可能性 ry 。
これにより、一部のワークロードでイシューがストールする可能性があります。
インクリメンタルスケジューラはまた、偶数/奇数のターゲットバンクの衝突を受けやすく、命令ウェイクアップを遅らせる可能性がある。
? ry 実質的な期間の利点を覆い隠す ry 、実際の作業負荷の調査が必要です。
これらの影響が実質的な面積*時間の利点を覆隠すかどうかを測定するには、実際のワークロードの調査 ry
? 　最後に、将来のスケールアップをより広い問題とより大きな命令ウィンドウにまで考慮する。
　最後に、より幅広のイシューとより大きな命令ウィンドウの為の将来のスケールアップを考察する。
? ry 細分されたときには増加せず、 ry 。
並列スケジューラは、サイクルごとに2倍のイベントを処理するために、より多くのバンクに細分されたときには拡大せず、インクリメンタルスケジューラコア領域は2倍になります。
命令ウィンドウを64エントリに拡張するために、並列スケジューラは2倍の面積を必要とし、インクリメンタルスケジューラ領域はより穏やかに増加する。

**>>147** · 2018/08/12(日) 20:18:57.51

IV. 結論
? 　 ry 取り組みを紹介します。
　本稿では、FPGAのための実用的な ry に向けた取組を紹介しました。
ASICのより単純な高ILPマイクロアーキテクチャに最適化された新しいEDGE命令セットアーキテクチャが、FPGAに適しているか、または汎用ソフトプロセッサがスカラーRISC低速レーンに停滞しているかどうか ry
　我々は、2つの異なるデータフロー命令スケジューラ設計と ry を検討した。
? ry 、いずれかのデザインのFPGAリソースコストとクロック周期の影響は限定的であり、 ry 。
市販の200MHz、1,000-2,000のLUTソフトプロセッサのコンテキストでは、いずれのデザインのFPGAリソースコストとクロック周期のインパクトも限定的であり、許容可能で実用的なようです。
? ry 4デコード/ 2つの実装形態に適しています。
両方の設計選択肢は、将来の4デコード/ 2イシュー実装形態へのスケールに適しています。

**yamaguti** · 2018/08/12(日) 20:19:46.85

http://rio2016.2ch.net/test/read.cgi/future/1489922543/184-216

**>>148** · 2018/08/12(日) 20:21:26.79

参考文献
? ry 、「FPGAでRISCをつくる」、 ry
[1] J. Gray、1996年8月、「 FPGA で自家製 RISC をつくる」、 http://fpgacpu.org/papers/j32.ppt
[2] ----、「FPGAにRISCシステムを構築する」サーキットセルラーインク、no。 116 - 118、March、April、2000年5月。
[オンライン]。利用可能な： http://fpgacpu.org/papers/xsoc-series-drafts.pdf
[3]アルテラ・コーポレーション、「Niosエンベデッド・プロセッサ・ソフトウェア開発リファレンス・マニュアル」、2001年3月。
[4]ザイリンクス社の「MicroBlazeプロセッサリファレンスガイド」、 2002。
[5] AK Jones、R. Hoare、D. Kusic、J. Fazekas、およびJ. Foster、「カスタムハードウェア実行によるFPGAベースのVLIWプロセッサ」、
? ry 、2005年、107〜117頁。
フィールドプログラマブルゲートアレイに関する第13回国際シンポジウム予稿集、2005年、pp 107〜117頁。
[6] KOI TiliとJG Steffan、「チルト：マルチスレッドVLIWソフトプロセッサファミリ」、
フィールドプログラマブルロジックとアプリケーションに関する国際会議の議事録、2013年8月。
[7] P. Yiannacouras、JG Steffan、およびJ. Rose、「VESPA：ポータブル、スケーラブル、フレキシブルなFPGAベースのベクタ・プロセッサ」
? 、および組み込みシステムに関する ry 。
コンパイラ、アーキテクチャ、および組み込みシステムの統合に関する国際会議の議事録、2008、pp。61-70。
[8] J. Yu、G. Lemieux、およびC. Eagleston、
? ry 、第16回国際プログラマブルゲートアレイシンポジウム講演予稿集、 ry 。
「ソフトコアCPUアクセラレータとしてのベクトル処理」、第16回プログラマブルゲートアレイ国際 ACM/SIGDA シンポジウム講演予稿集、2008年、pp。222-232。

**>>150** · 2018/08/12(日) 20:22:38.10

[9] R. Carli、柔軟なMIPSソフトプロセッサアーキテクチャ、修士論文、マサチューセッツ工科大学、2008年5月
[10] K. AasaraaiとA. Moshovos、「実行可能な順序外ソフトコアへ：コピーフリー、チェックポイント付きレジスタの名前変更、
フィールドプログラマブルロジックとアプリケーションに関する第19回国際会議の講演会、2009年8月。
[11] BH Dwiel、NK Choudhary、およびE. Rotenberg、「多様なスーパースカラー・プロセッサのFPGAモデリング」、
? ry 」、2012年、188〜199頁。
IEEE国際シンポジウム「システムとソフトウェアの性能解析」論文集、2012年、 pp 188〜199頁。
[12] D. Burger、SW Keckler、KS McKinley、M. Dahlin、LK John、C. Lin、CR Moore、
J. Burrill、R.G. McDonald、W.Yoder、X.Chen、R.Disikan、S.Drolia、J.Gibson、MSS Govindan、
P. Gratz、H。Hanson、C. Kim、SK Kushwaha、H. Liu、R。Nagarajan、N. Ranganathan、
E. Reeber、K.Sankaralingam、S.Sethumadhavan、P.Sivakumar、およびA.Smith、
「EDGEアーキテクチャを用いてシリコンの端までスケーリングする」、IEEE Computer、vol。 37、no。 7、pp。44-55、2004年7月。
[13] M. Gebhart、BA Maher、KE Coons、J. Diamond、P. Gratz、M. Marino、N. Ranganathan、B. Robatmili、A. Smith、J. Burrill、SW Keckler、D. Burger、およびKSマッキンリー、
? ry 、2009年、1〜12頁。
「TRIPSコンピュータシステムの評価」、プログラミング言語とオペレーティングシステムのアーキテクチャサポートに関する第14回国際会議の講演会、2009年、 pp 1〜12頁。

**>>151** · 2018/08/12(日) 20:23:14.09

[14] C. Kim、S. Sethumadhavan、MS Govindan、N. Ranganathan、D. Gulati、D. Burger、およびSW Keckler、
? ry 、2007年、381〜394頁。
「構成可能な軽量プロセッサ」、第40回マイクロアーキテクチャシンポジウム講演予稿集、2007年、 pp 381〜394頁。
[15] B. Robatmili、D. Li、H. Esmaeilzadeh、S. Govindan、A. Smith、A. Putnam、D. Burger、およびSW Keckler、
? 「ヒューズブル ry 」
「フューザブルダイナミックマルチコアアーキテクチャのための効果的な予測とフォワーディングの実装方法」
ry 、2013年、第460 - 471頁。
第19回高性能計算機アーキテクチャ国際シンポジウム講演予稿集、2013年、pp 第460 - 471頁。
[16] MSS Govindan、B. Robatmili、D. Li、B. Maher、A. Smith、SW Keckler、およびD. Burger、
「プロセッサのコンフィギュラビリティによるパワーと性能のスケーリング」、
IEEE Transactions on Computers、2013年3月。

8

**>>152** · 2018/08/12(日) 20:27:13.81

>>105-152
http://rio2016.2ch.net/test/read.cgi/future/1489922543/184-216
>184 yamaguti 180727 0129 pBBIx/eO?2BP(0)
> >>46 >>173 >>152-183
> Google 翻訳
>
> これは、ファイル http://microsoft.com/en-us/research/wp-content/uploads/2016/02/e2-heart2010.pdf
> の html版です。 Google
:
> E2ダイナミックマルチコアアーキテクチャにおける動的ベクトル化
> 2010 HEART 2010の議事に出席する
:

**>>153** · 2018/08/12(日) 20:33:49.65

>>153
http://arxiv.org/pdf/1803.06617.pdf#20180712120421
http://mobile.twitter.com/jangray/status/1004874394957578242
http://www.cs.utexas.edu/~cart/publications/dissertations/asmith.pdf#20150619203042
http://www.cs.utexas.edu/users/mckinley/papers/trips-eval-asplos-2009.pdf#20151129082813
http://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/trips-compiler-cgo4.pdf#20180619043037
ftp%3A//ftp.cs.utexas.edu/pub/dburger/papers/IEEECOMPUTER04_trips.pdf#20170706111151
https://twitter.com/5chan_nel (5ch newer account)

**yamaguti** · 2018/08/27(月) 09:32:30.84

Google 翻訳

　

ページ1

　

好奇心に基づいた学習の大規模研究

ユリブルダ* OpenAI

ハリ・エドワーズ* OpenAI

Deepak Pathak * UCバークレー

アモスストーキー Univ。エジンバラの

トレバーダレル UCバークレー

アレクセイ・エフロス UCバークレー

**>>155** · 2018/08/27(月) 09:33:19.93

抽象

強化学習アルゴリズムは、エージェントへの慎重にエンジニアリングされた外的な環境報酬に依存します。
しかし、手作業で設計された密集した報酬で各環境に注釈を付けることはスケーラブルではなく、エージェントに内在する報酬機能を開発する必要があります。
好奇心は報酬信号として予測誤差を用いる内的報酬関数の一種である。
このペーパーでは、（a）Atariゲームスイートを含む54の標準ベンチマーク環境全体にわたって、純粋に好奇心に基づいた学習、つまり、いかなる外的報酬も伴わない最初の大規模な学習を行います。
私たちの結果は、驚くほど優れたパフォーマンスと、本質的な好奇心の目標と多くのゲーム環境の手作業で設計された外的報酬との高度なアライメントを示しています。
(b) We investigate the effect of using different feature spaces for computing prediction error and show that random features are sufficient for many popular RL game benchmarks,
（b）我々は、予測誤差を計算するために異なる特徴空間を使用することの効果を調べ、多くの一般的なRLゲームのベンチマークではランダムな特徴が十分であることを示し、
but learned features appear to generalize better (eg to novel game levels in Super Mario Bros.).
学習された機能は、より一般化するように見える（例えば、スーパーマリオブラザーズの新規ゲームレベルへ）。
（c）予測ベースの報酬の制限を確率的な設定で実証する。
ゲームプレイ動画やコードは http://pathak22.github.io/large-scale-curiosity/ 。

**>>156** · 2018/08/27(月) 09:34:29.87

前書き

補強学習（RL）は、エージェントが複雑なタスクを実行するための一般的な方法として浮上しています。
RLでは、エージェントポリシーは、タスクに合わせて設計された報酬関数を最大化することによって訓練される。
報酬は代理人の外来であり、彼らが定義する環境に特有のものです。
RLにおける成功の大部分は、この報酬機能が密集してよく整形されているとき、例えばビデオゲームで走っている「スコア」のときに達成された[21]。
しかしながら、うまく整形された報酬機能を設計することは、非常に困難な工学的問題である。
外的報酬を「形作る」のに代わるものは、密接な内在報酬[26]、すなわちエージェント自体によって生成される報酬でそれを補うことである[26]。
固有の報酬の例には、報酬信号として予測誤差を使用する「好奇心」[11,22,27,35,40]、エージェントを拒否する「訪問回数」[3、20、24、30]同じ状態を再訪する。
考え方は、これらの内在的な報酬が、次の外的報酬を見つけるために環境を効率的に探索するように代理人を誘導することによって、疎な外的報酬のギャップを橋渡しするということです。

しかし、外的報酬のないシナリオはどうですか？
これは聞こえるほど奇妙ではありません。
発達心理学者は、発達の初期段階において、内発的な動機づけ（すなわち、好奇心）が主要な要因であると話している[32,41]。生後に役立つ技能を身につけるために、
Minecraftのプレイから、地元の動物園への訪問まで、他にもたくさんの例があります。そこでは、外的報酬は必要ありません。
確かに、固有の報酬だけを使って与えられた環境にエージェントを事前に訓練することは、新しい環境で斬新な仕事に微調整されたときにはるかに速く学習できるという証拠がある[27,28]。
しかし、これまでのところ、本質的な報酬のみで学習する体系的な研究はなかった。

*アルファベット順。最初の3人の著者は等しく貢献しました。

プレプリント。
作業中です。

**>>157** · 2018/08/27(月) 09:35:01.19

ページ2

図1：
このペーパーで調査された54の環境のスナップショット。
エージェントは、外的報酬、またはエピソード終了信号を使わずに、好奇心だけを使って進歩を遂げることができることを示します。
ビデオの結果、コード、モデル http://pathak22.github.io/large-scale-curiosity/ 。

このホワイトペーパーでは、様々なシミュレートされた環境のさまざまな範囲の固有の報酬によって純粋に駆動されるエージェントの大規模な実証研究を行っています。
In particular, we choose the dynamics-based curiosity model of intrinsic reward presented in Pathak et al.
特に、我々はPathak et al。が提示した内在的報酬のダイナミクスに基づく好奇心モデルを選択する。
[27] because it is scalable and trivially parallelizable, making it ideal for large-scale experimentation.
[27]スケーラビリティと並行して並列化できるため、大規模な実験には理想的です。
中心的なアイデアは、エージェントの現在の状態、すなわちエージェントの学習された順動力学の予測誤差を与えられたエージェントの行動の結果を予測する際の誤りとして、内在的な報酬を表現することである。
我々は、図1に示すビデオゲーム、物理エンジンシミュレーション、および仮想3Dナビゲーションタスクの54の環境にわたるダイナミクスに基づいた好奇心を徹底的に調査します。

**>>158** · 2018/08/27(月) 09:35:36.27

好奇心に基づいた学習をより深く理解するために、パフォーマンスを決定づける重要な要因についてさらに検討します。
特に、高次元の生の観測空間（例えば、画像）における将来の状態を予測することは困難な問題であり、最近の研究[27,42]に示されるように、補助的な特徴空間における学習のダイナミクスは改善された結果につながる。
しかしながら、そのような埋め込み空間をどのように選択すべきかは、重要であるが未だオープンな研究課題である。
体系的アブレーションを通じて、エージェントが自分の好奇心によって純粋に動くように、エージェントの観察をコード化するさまざまな方法の役割を調べます。
To ensure stable online training of dynamics, we argue that the desired embedding space should: (a) be compact in terms of dimensionality,
ダイナミクスの安定したオンライントレーニングを確実にするために、我々は、所望の埋め込み空間が、（a）次元的にコンパクトであり、
(b) preserve sufficient information about the observation, and (c) be a stationary function of the observations.
（b）観測に関する十分な情報を保持し、（c）観測の定常関数である。
私たちはランダムなネットワークを介して観測をエンコーディングすることは、多くの一般的なRLベンチマークで好奇心をモデル化するための単純で効果的な手法であることを示しています。
これは、多くの一般的なRLビデオゲームのテストベッドは、一般的に考えられているように視覚的に洗練されていないことを示唆するかもしれません。
興味深いことに、練習ではランダムな機能で十分なパフォーマンスが得られますが、学習した機能は一般的に良く見えます（たとえば、Super Mario Bros.の新しいゲームレベル）。

**>>159** · 2018/08/27(月) 09:36:10.49

要約すれば：
(a) We perform a large-scale study of curiosity-driven exploration across a variety of environments including:
（a）私たちは、好奇心に基づいた探査の大規模な研究を、
the set of Atari games [4], Super Mario Bros., virtual 3D navigation in Unity [1], multi-player Pong, and Roboschool [39] environments.
Atariゲーム[4]、Super Mario Bros.、Unity [1]、マルチプレイヤーPong、Roboschool [39]環境での仮想3Dナビゲーション。
（b）ランダム特徴、画素、逆ダイナミクス[27]、変分オートエンコーダ[15]を用いて、ダイナミクスに基づいた好奇心を学習するための異なる特徴空間を広範囲に調査し、見えない環境への一般化を評価する。
（c）我々は、直接予測誤差に基づく好奇心の定式化のいくつかの限界について議論することによって結論づける。
エージェント自体が環境中の確率論の源であるならば、実際の進歩を伴わずに報酬を得ることができます。
エージェントが環境の異なる部分を制御する3Dナビゲーションタスクで、この制限を経験的に実証します。

2

**>>160** · 2018/08/27(月) 09:36:39.37

Page 3

2
ダイナミクスに基づく好奇心に基づく学習

観測xtを見て、xt + 1の観測で次の状態に移り、次の状態に遷移するエージェントを考えてみましょう。
私たちは、このエージェントを、移行がどれほど有益であったかという報酬と奨励したいと考えています。
この報酬を提供するために、我々は以下の要素を含む探査ボーナスを使用します：
（a）観測値を表現φ（x）に埋め込むためのネットワーク、
（b）前回の観測と行動p（φ（xt + 1）| xt、at）に条件付けられた次の状態の表現を予測するフォワードダイナミクスネットワーク。
Given a transition tuple {xt,xt+1,at}, the exploration reward is then defined as rt = ?
遷移タプル{xt、xt + 1、at}が与えられると、探索報酬はrt =？
log p(φ(xt+1)|xt,at), also called the surprisal [2].
log p（φ（xt + 1）| xt、at）は、驚くべき[2]とも呼ばれます。

この報酬を最大にするように訓練されたエージェントは、予測誤差が大きい遷移を優先します。これは、エージェントが短い時間を過ごした領域で、または複雑なダイナミクスを持つ領域で高くなります。
このようなダイナミクスを基盤とした好奇心はシナリオ全体にわたって非常によく実行されることが示されている[27]。特にダイナミクスが生の観測ではなく埋め込み空間で学習されている。
In this paper, we explore dynamics-based curiosity and use mean-squared error corresponding to a fixed-variance Gaussian density as surprisal, ie, f(xt,at) ?
この論文では、ダイナミクスに基づく好奇心を探り、固定分散ガウス密度に対応する平均2乗誤差を驚くべきもの、すなわちf（xt、at）とする。
φ(xt+1)2 2 where f is the learned dynamics model.
φ（xt + 1）2 2ここで、fは学習された力学モデルである。
しかし、他の密度モデルを使用することもできる。

**>>161** · 2018/08/27(月) 09:37:29.21

2.1
フォワードダイナミクスのための特徴空間
上記の好奇心の定式化におけるφの表現を考えてみよう。
φ（x）= xならば、フォワードダイナミクスモデルは観測空間で予測を行う。
特徴空間の良好な選択は、予測タスクをより扱い易くし、観測空間の無関係な側面を取り除くことができる。
しかし、ダイナミクスの好奇心を生み出すための優れた機能スペースは何になるでしょうか？
優れた機能スペースにはいくつかの特質があります。

•コンパクト：低次元であり、観測空間の無関係な部分をフィルタリングすることで、フィーチャはモデル化が容易でなければなりません。
•十分：機能に重要な情報がすべて含まれている必要があります。
さもなければ、代理人は環境のいくつかの関連する側面を調査するために報われることができないかもしれません。
•安定：非定常報酬は、強化エージェントが学習するのを困難にします。
必要に応じた探査ボーナスは、新規で斬新なものが古くなって時間とともに退屈になるので、非定常性を導入する。
ダイナミクスベースの好奇心の定式化には、非定常性の2つの情報源があります。フォワードダイナミクスモデルは、訓練されていくにつれて進化しており、学習するにつれてそのフィーチャは変化しています。
前者は方法固有のものであり、後者は可能な限り最小化すべきである

本研究では、いくつかの特徴学習法の有効性を体系的に調査し、以下に要約する。

**>>162** · 2018/08/27(月) 09:38:01.07

ピクセル
最も単純な場合は、φ（x）= xであり、我々の前方力学モデルを観測空間に適合させる場合である。
情報は投げ捨てられず、特徴学習コンポーネントがないので安定しているので、ピクセルで十分です。
しかし、観測空間が高次元で複雑なため、ピクセルからの学習は難しい。

ランダム機能（RF）
次の最も単純なケースは、埋め込みネットワーク、畳み込みネットワークを取り、ランダム初期化後に修正するところです。
ネットワークは固定されているため、機能は安定しています。
フィーチャは次元がコンパクトにできますが、制約はありません。
しかしながら、ランダムな特徴が十分でない場合がある。

Variation Autoencoders（VAE）VAEは、変分推論を使用して、観測データxと潜在変数zを潜在変数生成モデルp（x、z）に先行するp（z）に適合させるために[15,31]で導入されました。
この方法は、事後p（z | x）を近似する推論ネットワークq（z | x）を必要とする。
これは、観測値を入力とし、対角共分散を有するガウス分布を記述する平均および分散ベクトルを出力するフィードフォワードネットワークです。

VAE IDF RFピクセル
安定いいえいいえはいはい
コンパクトはいはい多分いいえ
Sufficient Yes Maybe Maybe Yes ? 十分な可能性あり

表1：
考慮される異なる種類の特徴空間の分類を要約した表。

3

**>>163** · 2018/08/27(月) 09:38:35.96

Page 4

次に、埋め込みネットワークφとして平均値への写像を用いることができる。
These features will be a low-dimensional approximately sufficient summary of the observation,
これらの特徴は、観察の低次元の概ね十分な要約であり、
but they may still contain some irrelevant details such as noise, and the features will change over time as the VAE trains.
ノイズなどの無関係な詳細が含まれている可能性があります。その機能は、VAEがトレーニングするにつれて変化します。

逆動力学的特徴（IDF）遷移（st、st + 1、at）が与えられると、逆動力学の仕事は、前と次の状態stとst + 1が与えられた時の行動を予測することです。
特徴は、最初にstとst + 1を埋め込むために共通のニューラルネットワークφを用いて学習される。
直感は、学んだ機能は、エージェントの即時制御下にある環境の側面に対応する必要があるということです。
この特徴学習法は実装が容易であり、原理的にはある種のノイズに対して不変でなければならない（議論については[27]を参照）。
潜在的な欠点は、学んだ機能が十分でないこと、つまりエージェントが直ちに影響を及ぼさない環境の重要な側面を表すものではないことです。
これらの特性の概要を表1に示す。
学習された特徴は、学習が進むにつれて分布が変化するため、安定していないことに注意してください。
安定性を達成する1つの方法は、VAEまたはIDFネットワークを事前にトレーニングすることです。
ただし、ゲームの内部状態にアクセスできない場合は、ゲームシーンの代表データを取得して機能をトレーニングすることはできません。
1つの方法は、ランダムにデータを収集することですが、エージェントが開始した場所に偏ってしまい、さらに一般化しません。
すべての機能には望ましい特性のトレードオフが含まれているため、それぞれの環境がどのように効果的かという経験的な疑問になります。

**>>164** · 2018/08/27(月) 09:39:30.15

2.2
純粋に好奇心によって動かされるエージェントを訓練する際の実際的な考察
特徴空間を決定することは、実用的なシステムを実装する際のパズルの最初の部分に過ぎない。
ここでは、学習アルゴリズムで行った重要な選択について詳しく説明します。
私たちの目標は、学習をより安定したものにするため、非定常性を減らすことでした。
以下に概説する以下の考慮事項により、ハイパーパラメータの変更を最小限に抑えながら、さまざまなフィーチャ学習方法や環境で確実に動作するように探査を行うことができます。

• 姫PO。
一般に、我々は、PPOアルゴリズム[38]が、ハイパーパラメータチューニングをほとんど必要としない頑強な学習アルゴリズムであることを見出したので、我々は実験に固執する。
• 正規化に報いる。
報酬関数は非定常であるので、価値関数が迅速に学習できるように報酬のスケールを正規化することは有用である。
これは、報酬を、割引報酬の合計の標準偏差の実行中の見積もりで除算することによって行いました。
•アドバンテージの正規化。
PPOで訓練している間に、平均値0と標準偏差1を持つバッチの利点[46]を標準化します。
• 観測の正規化。
私たちは目標環境上でランダムエージェントを10000ステップ実行し、観測の平均と標準偏差を計算し、それらを使用してトレーニング時の観測値を正規化します。
これは、初期化時のフィーチャのばらつきが小さく、環境によってばらつきが少ないことを確認するのに便利です。
•より多くの俳優。
使用される並列アクター（バッチサイズに影響する）の数を増やすことによって、メソッドの安定性が大幅に向上します。
私たちは通常、エージェントを訓練する間にデータ収集に同じ環境の128並列実行を使用します。
•機能を正規化する。
内在的報酬と外的報酬を組み合わせる際に、内在報酬の規模が国家空間全体で一貫していることを保証することが有用であることがわかった。
我々は、特徴埋め込みネットワークにおいてバッチ正規化[13]を用いることによってこれを達成した。

**>>165** · 2018/08/27(月) 09:40:16.21

2.3
`死は終わりではない '：無限の地平線との割引好奇心
1つの重要な点は、エピソード信号の終わり（時には「完了」と呼ばれる）を使用すると、実際の報酬機能に関する情報が漏れることが多いことです。
シグナルを取り除かなければ、Atariのゲームの多くは単純すぎるようになります。
For example, a simple strategy of giving +1 artificial reward at every time-step when the agent is alive and 0 on death is sufficient to obtain a high score in some games,
例えば、エージェントが生きているときにステップごとに+1の人工報酬を与えるという簡単な戦略は、いくつかのゲームで高い得点を得るには死亡時に0で十分ですが、
for instance, the Atari game ` Breakout ' where it will seek to maximize the episode length and hence its score.
たとえば、エピソードの長さを最大化しようとするAtariゲームの「Breakout」とそれに伴うスコアです。
否定的な報酬の場合、エージェントはできるだけ早くエピソードを終了しようとします。

4

Page 5

**>>166** · 2018/08/27(月) 09:40:58.45

0 100 200 300 400
0 500 1000 1500 2000 2500 3000 3500 4000

ビームライダー
BreakOut ? 起こる
MontezumaRevenge ? モンテスマ復讐
ポン
マリオ
Qbert
Reverraid ? 反逆
シークエスト
スペースインベーダーズ

フレーム数（単位：百万）
エピソードごとの外来報酬

ピクセル
VAE features ? VAEの機能
Inverse Dynamics features ? 逆動力学の特徴
Random CNN features ? ランダムCNN機能

図2：
8つの選択されたAtariゲームとSuper Mario Bros.の機能学習方法の比較

これらの評価曲線は、報酬またはエピソード終了信号なしに、純粋に好奇心で訓練されたエージェントの平均報酬（標準誤差を伴う）を示す。
私たちは、純粋に好奇心に頼った代理人が、トレーニング時に外的報酬を使用せずにこれらの環境で報酬を集めることができることを確認します。
すべてのAtariゲームの結果は、図8の付録にあります。
私たちは、ピクセル上で訓練された好奇心モデルはどんな環境でもうまく機能せず、VAE機能はランダムおよび逆ダイナミクス機能と同じか悪いかを実行することがわかります。
さらに、逆ダイナミクス訓練されたフィーチャは、アタリのゲームの55％でランダムなフィーチャよりも優れています。
この分析の興味深い結果は、好奇心をモデル化するためのランダムな機能はシンプルでありながら驚くほど強力なベースラインであり、Atariのゲームの半分でうまくいく可能性があるということです。

**>>167** · 2018/08/27(月) 09:42:57.27

これに照らして、純粋な探索エージェントの行動を研究したい場合、エージェントにバイアスをかけてはいけません。
無限の地平線の設定では（つまり、ディスカウントされたリターンはエピソードの終わりに切り捨てられず、バリュー関数を使用して常にブートストラップされます）、死は退屈な場合にだけ避けるべきエージェントへのもう一つの移行です。
したがって、エージェントの探索の利得を単に死のシグナルの利得から分離するために、「done」を削除しました。
実際には、エージェントはゲームの中で死ぬことを避けることができます。それは、ゲームの始め、何度も何度も見られた領域、そしてダイナミクスをうまく予測できる場所に戻ってくるからです。
この微妙さは、外的報酬のない実験を示す以前の研究によって無視されてきた。

3
実験

すべての実験では、ポリシーと埋め込みネットワークの両方がピクセルから直接的に機能します。
ハイパーパラメータやアーキテクチャなどの実装の詳細については、付録Aを参照してください。
別段の記載がない限り、すべての曲線は、異なる種子を用いた3回のランの平均であり、斜線領域は平均の標準誤差である。
私たちは、ウェブサイト上のすべての環境で遊ぶ純粋に興味のあるエージェントのコードとビデオをリリースしました2。

**>>168** · 2018/08/27(月) 09:43:35.46

3.1
外的報酬のない好奇心に基づいた学習外的報酬を使用せずに、多数の環境に対する純粋な好奇心に基づく学習を拡大することから始めます。
We pick a total of 54 diverse simulated environments, as shown in Figure 1,
図1に示すように、合計54の多様なシミュレーション環境を選択し、
including 48 Atari games, Super Mario Bros., 2 Roboschool scenarios (learning Ant controller and Juggling), Two-player Pong, 2 Unity mazes (with and without a TV controlled by the agent).
Super Mario Bros.、Roboschoolシナリオ2（Ant Control and Jugglingを学ぶ）、Two-player Pong、2つのUnity mazes（エージェントによって制御されたテレビの有無にかかわらず）を含む48のAtariゲームを含みます。
この大規模分析の目的は、以下の質問を調査することです。
（a）外的な報酬なしに、さまざまなゲームで純粋な好奇心に基づいたエージェントを実行すると、実際にはどうなりますか？
（b）あなたはこれらのエージェントからどのような行動を期待できますか？
（c）ダイナミクスを基礎とした好奇心における異なる特徴学習の変種がこれらの行動に及ぼす影響は何か？

2
http://pathak22.github.io/large-scale-curiosity/ http://pathak22.github.io/large-scale-curiosity/

5

**>>169** · 2018/08/27(月) 09:44:09.35

Page 6

A）アタリゲームズ
これらの質問に答えるために、我々はよく知られているAtariゲームのコレクションから始め、異なるフィーチャラーニング方法で一連の実験を行いました。
純粋に好奇心を要するエージェントがどれだけうまくいくかを測定する1つの方法は、それが達成できる外的報酬、すなわちゲームをプレイするエージェントがどれほど良いかを測定することです。
我々は、図2の8つの一般的なAtariゲームと、付録の図8のすべてのAtariスイート48の平均外的報酬の評価曲線を示します。
外的報酬は評価のためにのみ使用され、訓練には使用されないことに注意することが重要です。
しかし、これは純粋な探索のプロキシであり、ゲーム報酬は任意であり、エージェントが好奇心からどのように探究するかと全く一致しない可能性があるためです。

カーブから最初に気がつくのは、ほとんどが上がっていることです。
これは、純粋な好奇心に基づいたエージェントが、トレーニング中に外的報酬を使用しなくても外部報酬を得ることを学ぶことができることを示しています。
外的報酬もエピソード信号の終わりもないエージェントは、ある場合には外的報酬での学習に匹敵する得点を得ることを学ぶことができることは注目に値する。
たとえば、「ブレイクアウト」では、パドルをボールに当てて消えるレンガにボールを当てるとゲームスコアが上昇し、打撃を受けたときにポイントが与えられます。
ブリックがボールによって連続して打たれればするほど、レンガのパターンが複雑になり、エージェントはより掘り下げて探索することができます。したがって、ポイントをバイプロダクトとして収集します。
さらに、エージェントの寿命がなくなると、レンガは以前に何度もエージェントに見られた均一な構造に再びリセットされ、したがって非常に予測可能であるため、エージェントは死によってリセットされるのを避けることによって好奇心をそそるために生きている。

**>>170** · 2018/08/27(月) 09:47:25.16

これは予期しない結果であり、多くの一般的なRLテストベッドでは外部報酬が必要ないことを示唆している可能性があります。
ry (similar to architects, urban planners, gardeners, etc.) are
これはゲームデザイナー（建築家、都市計画家、庭師などに似ている）が
very good at setting up curriculums to guide agents through the ry
好奇心のような目的は、多くの人間が設計した環境[6,12,16,48]の外的報酬とうまく一致しています。
しかし、これは必ずしもそうではなく、時には好奇心をそそるエージェントがランダムエージェントよりも悪い場合もあります。
これは、外的報酬がエージェントの探索とほとんど相関しない場合、またはエージェントが効率的に探索できない場合に発生します（図8のゲーム「Atlantis」、「IceHockey」を参照）。
我々はさらに、学習者のスキルをよりよく理解するために、ウェブサイト上で利用可能なエージェントのゲームプレイビデオを参照することを読者に推奨する。

特徴学習法の比較：
図2の4つの特徴学習法、すなわち生のピクセル、ランダムな特徴、逆動力学の特徴、およびVAEの特徴を比較する。
生のピクセルのトレーニングのダイナミクスは、すべての環境で悪い結果をもたらしますが、ピクセルをフィーチャにエンコードする方が優れています。
これは、ピクセル空間で良好なダイナミクスモデルを学習することが難しく、予測誤差が小さな無関係な細部によって支配される可能性があるためです。

驚くべきことに、ランダムフィーチャ（RF）は、タスク間でかなり良好に動作し、学習されたフィーチャを使用するよりも優れていることがあります。
優れたパフォーマンスの理由の1つは、ランダムなフィーチャがフリーズ（安定）していることです。ターゲットの定常性のために、それらの上で学習されたダイナミクスモデルの方が簡単です。
一般に、ランダムな特徴は、視覚的観察が十分に単純な領域ではうまくいくはずであり、ランダムな特徴は、例えばアタリゲームのような生の信号に関する十分な情報を保存することができる。
興味深いことに、ランダムな特徴はトレーニングではうまくいくが、IDFの学習した特徴はMario Brosでより一般化されているように見える（詳細はセクション3.2を参照）。

**>>171** · 2018/08/27(月) 09:48:05.66

VAE法も良好に機能しましたが、やや不安定でしたので、RFとIDFを実験に使用することにしました。
The detailed result in appendix Figure 8 compares IDF vs.
付録の詳細な結果図8は、IDFと
RF across the full Atari suite.
フルアタリスイート全体のRF。
学習された行動を定量化するために、我々は好奇心旺盛なエージェントをランダムに行動するエージェントと比較した。
我々は、IDFに興味のあるエージェントが、Atariゲームの75％でランダムエージェントよりも多くのゲーム報酬を集めることを発見しました.RF好奇心旺盛なエージェントは70％でより良くなります。
さらに、IDFはゲームの55％でRFより優れています。
全体として、ランダムなフィーチャとインバース・ダイナミクスのフィーチャが一般的にうまく機能しまし
付録の詳細。

B）スーパーマリオブラザーズ
図2のMario Brosのさまざまな学習方法を比較します。
スーパーマリオブラザーズは、小規模実験では外的報酬無しの学習[27]という文脈で既に研究されているので、好奇心だけでエージェントを押し込めることができたのです。
マリオのシミュレータの効率的なバージョンを使用して、観察スペース、アクション、ゲームのダイナミクスをそのまま維持しながら、より長いトレーニングのためにスケールアップする方が速くなります。
100倍のトレーニングと最適化のためにPPOを使用しているため、当社のエージェントはいくつかのレベルのゲームを通過することができ、Mario Brosの以前の探索結果を大幅に改善します。
根底にある最適化をより安定させることで、純粋に興味のあるエージェントのパフォーマンスをさらに押し上げることができますか？
1つの方法は、バッチサイズを拡大することです。
これは、実行環境の並列スレッド数を128から2048に増やすことで実現します。

6

Page 7

**>>172** · 2018/08/27(月) 09:48:40.33

0 10 20 30
0 250 500 750 1000 1250 1500 1750 2000

エピソードごとの外来報酬

勾配の更新の数
（a）大きなバッチ付きマリオ
128環境のバッチ
バッチ1024環境

フレーム数（単位：百万）
（b）ジャグリング（Roboschool）
純粋な好奇心（無報酬、無限遠地平線）探査
ジャグリング（Roboschool）

フレーム数（単位：百万）
（c）2人用ポン
純粋な好奇心（無報酬、無限遠地平線）探査
2人のポン

図3：
（a）Left：MarioのRFメソッドと異なるバッチサイズの比較。
結果は外的報酬を使用しない。
（b）センター：ジャグリング（Roboschool）環境におけるボールのバウンス数。
（c）右：マルチプレイPong環境におけるエピソード長の平均。
The discontinuous jump on the graph corresponds to the agent reaching a limit of the environment -
グラフ上の不連続なジャンプは、エージェントが環境の限界に達することに対応します。
after a certain number of steps in the environment the Atari Pong emulator starts randomly cycling through background colors and becomes unresponsive to agent 's actions
環境内の特定のステップ数の後で、Atari Pongエミュレータは背景色をランダムに循環し始め、エージェントのアクションに応答しなくなります

**>>173** · 2018/08/27(月) 09:49:49.73

図3（a）の128と2048の並列環境スレッドを用いた訓練の比較を示す。
グラフから明らかなように、2048パラレル環境スレッドを使用した大きなバッチサイズのトレーニングは、より優れたパフォーマンスを発揮します。
実際には、エージェントはもっと多くのゲームを探索することができます。ゲームの11のレベルを発見し、秘密の部屋を見つけ、上司を倒すことができます。
この大規模実験のポイントは、サンプル効率についての主張ではなく、エージェントのトレーニングに関するパフォーマンスであるため、図のx軸はフレーム数ではなく、グラジエントステップ数です。
この結果は、基本的なRLアルゴリズム（この場合はPPO）のトレーニングが向上するにつれて、純粋に好奇心に基づくエージェントのパフォーマンスが向上することを示しています。
ビデオはウェブサイトにあります。

**yamaguti** · 2018/08/27(月) 09:53:04.76

http://google.jp/?q=2ch+future+furou+cyouju+OR+tokuiten

**>>174** · 2018/08/27(月) 09:53:40.98

C）ロボスジャグリング
私たちはRoboschoolフレームワークからPong環境を修正して、1つのパドルと2つのボールを持つようにしました。
アクション空間は2次元で連続しており、アクション空間を次元ごとに5ビンに離散化し、合計25のアクションを与えました。
ポリシーネットワークと埋め込みネットワークの両方は、ピクセル観測空間で訓練されています（注：状態空間ではありません）。
この環境は、ゲームで使用される玩具物理学よりも制御が難しいですが、代理人は、ボールがその領域に入ったときに、ボールを傍受して打つことを学びます。
図3（b）に示すように、環境との相互作用のプロキシとしてボールのバウンス回数を監視しました。
プロジェクトのウェブサイトのビデオを参照してください。

D) Roboschool Ant Robot ? D）Roboschoolアリロボット
また、トラック上に8つの制御可能なジョイントを持つAntで構成されるAnt環境を使用することも検討しました。
私たちは再び行動空間と訓練された政策とネットワークを生のピクセル（状態空間ではない）に離散化しました。
しかし、この場合、外的距離報酬尺度が競馬場に沿って進行するので探査を測定することは容易ではなかったが、純粋に興味のあるエージェントは任意の方向に自由に移動することができる。
私たちは、歩くような行動が純粋に好奇心に基づく訓練から出てくることを見出します。
私たちは、エージェントが環境と意味のあるやりとりをしていることを示す結果ビデオを読者に紹介します。

E）2人用ポンでのマルチエージェントの好奇心
私たちは既に、純粋に好奇心に基づいたエージェントが報酬なしでいくつかのアタリゲームを学ぶことを知っていますが、その対戦相手がハードコーディングされた戦略を持つコンピュータエージェントであることが原因です。
両方のチームが互いに対して好奇心を持って遊ぶようにするとどうなりますか？
調べるには、ゲームの両面（パドルのパドル）が好奇心に基づいたエージェントによって制御されているTwo-player Pongゲームを行います。
エージェントの初期レイヤーを共有し、異なるアクションヘッドを持ちます。つまり、合計アクションスペースは、プレイヤー1のアクションとプレイヤー2のアクションのクロスプロダクトです。

**>>176** · 2018/08/27(月) 09:54:39.20

エージェントが両面をプレイしているので、この文脈では外的報酬は無意味なので、代わりにエピソードの長さを示します。
結果を図3（c）に示す。
We see from the episode length that the agent learns to have more and longer rallies over time, learning to play pong without any teacher ?
エピソードの長さから、エージェントが時間の経過と共にますます長くなる集会を学び、先生なしでポンをすることを学びます。
purely by curiosity on both sides.
純粋に両側の好奇心によって。
実際には、ゲーム集会は最終的には非常に長くなり、Atariエミュレータを破り、色が急激に変化し、プロットに示すようにポリシーがクラッシュします。

7

Page 8

**>>177** · 2018/08/27(月) 09:55:21.59

3.2
スーパーマリオブラザーズの新レベルでの一般化
前のセクションでは、純粋に好奇心を持ったエージェントが効率的に探索し、ゲームでのゲームの振る舞い、Antでのウォーキングの振る舞いなどの有用なスキルを学ぶことを学ぶことができたことを示しました。
これまでは、エージェントが訓練された環境でこれらのスキルが示されていました。
しかし、無償学習を開発することの利点の1つは、新しい環境に一般化を示すことによって、報酬機能を持たない豊富な「未ラベル」環境を利用できるようにすることです。

これをテストするには、まずMario Brosのレベル1-1で好奇心を使ってエージェントを事前にトレーニングします。
私たちは、RFとIDFベースの好奇心惹起剤が、Marioの新しいレベルに一般化することがどれだけうまくいくかを調べます。
図4では、Marioの1つのレベルのトレーニングと別のテストレベルのfinetuningの2つの例を示し、テストレベルのスクラッチからの学習と比較します。
すべての場合のトレーニング信号は好奇心の報酬だけです。
最初のケースでは、レベル1-1からレベル1-2まで、環境のグローバル統計が一致します（どちらもゲームの「日の環境」、つまり青い背景です）が、レベルには異なる敵、ジオメトリ、難易度があります。
このシナリオでは、両方の方法から強い転送があることがわかります。
しかし、レベル1-1からレベル1-3までの第2のシナリオでは、転送性能は弱い。
これは、図4に示すように、昼間から夜間に色彩がシフトするため、後者のレベルのペアリングでは問題がかなり困難になるためです。

さらに、IDFで学習されたフィーチャは、最初のケースではランダムフィーチャ転送と両方のケースで転送されますが、2番目のシナリオでは翌日から転送されません。
これらの結果は、ランダムな特徴が学習環境で良好に機能する一方、学習された特徴は新規なレベルに対してよりよく一般化するようであることを示唆し得る。
しかし、これは、将来、さまざまな環境でより多くの分析が必要になります。
全体として、私たちは好奇心で学んだスキルが新しい環境で効果的に探索するのに役立つという有力な証拠を見つけます。

**>>178** · 2018/08/27(月) 09:56:11.49

IDFスクラッチ
IDF転送
RFスクラッチ
RF転送

0 10 20 30
0 250 500 750 1000 1250 1500 1750 2000

World 1 level 1 to world 2 level 1 ? 世界1レベル1〜世界2レベル1
0 10 20 30
0 250 500 750 1000 1250 1500 1750 2000
世界1レベル1〜世界3レベル1
フレーム数（単位：百万）
エピソードごとの外来報酬

図4：
マリオ一般化実験。
左側にはレベル1-1からレベル1-2への転送結果が表示され、右側にはレベル1-1からレベル1-3への転送結果が表示されます。
各プロットの下に、ソース環境とターゲット環境のマップがあります。
すべてのエージェントは、外的報酬なしで訓練されています。

**>>179** · 2018/08/27(月) 09:56:52.04

フレーム数（単位：百万）
エピソードごとの外来報酬

Unity迷路

ランダムCNN機能
外来のみ
Inverse dynamics features ? 逆動特性

図5：端末外因+好奇心の報酬で訓練している間のユニティ環境における平均外因的報酬。
外的報酬のみのトレーニングの曲線は常にゼロであることに注意してください。

3.3スパースな外部報酬による好奇心
これまでのすべての実験では、私たちのエージェントは、純粋に好奇心によって動かされるいかなる外的報酬もなく、有用な技能を習得できることを示しました。
しかし、多くのシナリオでは、エージェントが関心のある特定のタスクを実行することが必要な場合があります。
これは、通常、外的報酬を定義することによってエージェントに伝達されます。
報酬が密集している場合（たとえば、フレームごとのゲームの得点）、クラシックなRLはうまく機能し、本質的な報酬は一般的にパフォーマンスに役立ちません。
しかし、高密度報酬を設計することは困難な工学上の問題です（詳細は序論を参照してください）。
このセクションでは、疎外された、または単なる端末の報酬の存在下で、好奇心がエージェントがどのようにタスクを実行するのに役立つかを評価します。

端末報酬設定：
多くの実際の問題、例えばナビゲーションの場合、唯一の端末報酬が利用可能であり、古典的なRLは典型的には貧弱に動作する。
したがって、我々は9つの部屋と疎な端末報酬を持つUnity ML-agentフレームワークで設計された迷路の3Dナビゲーションを検討する。

8

**>>180** · 2018/08/27(月) 09:57:26.92

Page 9

前方への移動、15度左を見る、15度右を見る、そして何も操作しない離散的なアクション空間があります。
エージェントは部屋1から開始します。部屋1はエージェント9の目標を含む部屋9から最も離れています。
私たちは、外的報酬で訓練されたエージェント（目標に達すると+1、それ以外の場合は0）を外的+内的報酬で訓練されたエージェントと比較します。
外来のみ（古典的なRL）は、すべての試行において目標を見つけることは決してありません。意味のある勾配を得ることは不可能です。
外因性+内在性は、典型的に毎回報酬を得ることに集中するのに対し、
図5の結果は、バニラPPO、PPO + IDF-好奇心およびPPO + RF-好奇心の結果を示す。

Sparse reward setting: In preliminary experiments, we picked 5 Atari games which have sparse rewards (as categorized by [3]), and compared extrinsic (classic RL) vs.
疎な報酬設定：予備実験では、疎な報酬（[3]で分類される）を持つ5つのAtariゲームを選び、外的（古典的なRL）vs.
extrinsic+intrinsic (ours) reward performance.
外因性+内在性（私たちの）報酬のパフォーマンス。
5つのうち4試合では、好奇心のボーナスによりパフォーマンスが向上します（付録の表2を参照してください）。
これは本書の焦点ではないことを強調したいと思います。これらの実験は完全性のために提供されています。
外因性（係数1.0）と内因性報酬（係数0.01）を調整することなく直接結合しました。
私たちは、内在的報酬と内在報酬を将来の方向性として最適に組み合わせる方法について質問を残します。

**>>181** · 2018/08/27(月) 09:58:05.09

4
関連作業

本質的な動機づけ：
A family of approaches to intrinsic motivation reward内在的なモチベーション報酬へのアプローチのファミリー
an agent based on prediction error [2, 27, 36, 42], prediction uncertainty [11, 44], or improvement [19, 34] of a forward dynamics model of the environment that gets trained along with the agent 's policy.
エージェントの方針とともに訓練された環境のフォワードダイナミクスモデルの予測誤差[2,27,36,42]、予測不確実性[11,44]、または改善[19,34]に基づくエージェント。
A family of approaches to intrinsic motivation reward an agent based on prediction error , prediction uncertainty , or improvement of a forward dynamics model of the environment that gets trained along with the agent 's policy.
内在的動機づけへのアプローチの一群は、予測誤差、予測不確実性、またはエージェントの方針とともに訓練される環境の順動力学モデルの改善に基づいてエージェントに報酬を与える。
その結果、フォワードダイナミクスモデルの予測が困難な領域にエージェントが移動し、モデルはこれらの領域の予測を改善します。
この敵対的および非定常的な力学は複雑な挙動を引き起こす可能性がある。
この分野では、外部報酬が存在しない純粋な探査環境では、ほとんど進んでいません。
Of these mostly closely related are those that use a forward dynamics model of a feature space such as Stadie et al.
これらの大部分は、Stadieらのような特徴空間の順動力学モデルを使用するものである。
[42] where they use autoencoder features, and Pathak et al.
[42]オートエンコーダー機能を使用する場所、Pathak et al。
[27] where they use features trained
[27]訓練された機能を使用する場所
逆動力学の仕事で。
これらは、セクション2.1で詳述されているVAEとIDFメソッドにほぼ対応しています。

**>>182** · 2018/08/27(月) 09:58:40.51

内在的な報酬には、州訪問回数の平滑化されたバージョンを使用することができる[3,9,24,47]。
Count-based methods have already shown very strong results when combining with extrinsic rewards such as setting the state of the art in the Atari game Montezuma 's Revenge [3],
カウントベースの方法は、AtariのゲームMontezuma's Revenge [3]で最新の状態を設定するなどの外的な報酬と組み合わせると、非常に強力な結果を示しています。
and also showing significant exploration of the game without using the extrinsic reward.
また、外的報酬を使用せずにゲームの重要な探索を示しています。
カウントベースのアプローチがダイナミクスベースのアプローチよりも好まれるべきである状況はまだ明確ではない。このペーパーでは、ダイナミクスベースのボーナスに重点を置くことを選択しました。
私たちの予備実験では、既存のカウントベースの実装では大規模な研究のためのスケールアップで十分な成功を収めていませんでした。

外的報酬や適性機能のない学習は、進化的コンピューティングでも広く研究されており、「新規性検索」と呼ばれている[17,18,43]。
そこでは、イベントの新規性は、距離を計算するためにイベントのいくつかの統計を使用して、以前のイベントの間で最も近い隣にイベントの距離として定義されることが多い。
この文献からの興味深い発見の1つは、多くの場合、フィットネスのためだけに最適化する以外には、はるかに興味深い解決策を見つけることができるということです。

**>>183** · 2018/08/27(月) 10:04:22.65

Other methods of exploration are designed to work in combination with maximizing a reward function, such as those utilizing uncertainty about value function estimates [5, 23], or those using perturbations of the policy for exploration [8, 29].
他の探査方法は、価値関数推定値に関する不確実性を利用する報酬関数や探索のための方針の摂動を用いる報酬関数などの報酬関数を最大化することと組み合わせて機能するように設計されている[8]、[29]。
Schmidhuber [37]とOudeyer [25]、OudeyerとKaplan [26]は、内在的動機づけへのアプローチに関する初期の研究のいくつかについて素晴らしいレビューを提供する。

**>>184** · 2018/08/27(月) 10:04:55.85

Alternative methods of exploration include Sukhbaatar et al.
探査の代替方法には、Sukhbaatar et al。
[45] where they utilize an adversarial game between two agents for exploration.
[45]彼らは探索のために2つのエージェントの間で敵対的なゲームを利用する。
In Gregor et al.
Gregor et al。
[10], they optimize a quantity called empowerment which is a measurement of the control an agent has over the state.
[10]、エージェントはエンパワーメントと呼ばれる量を最適化します。これは、エージェントがその状態を超えた制御の測定値です。
In a concurrent work, diversity is used as a measure to learn skills without reward functions Eysenbach et al.
並行作業では、報酬機能なしにスキルを習得するための手段として多様性が使用されます。Eysenbach et al。
[7].
[7]。

**>>185** · 2018/08/27(月) 10:06:03.78

ランダムな特徴：
この論文の発見の1つは、ランダムな特徴の驚くべき有効性であり、ランダム投影法およびより一般的にはランダムに初期化されたニューラルネットワークに関する著しい文献がある。
Much of the literature has focused on using random features for classification [14, 33, 49] where the typical finding is that whilst random features can work well for simpler problems,
文献の多くは、分類のためにランダムな特徴を用いることに焦点を当てている[14,33,49]。典型的な発見は、ランダムな特徴がより簡単な問題のためにうまくいく一方、
feature learning performs much better once the problem becomes sufficiently complex.
問題が十分に複雑になると、フィーチャラーニングははるかに良好に機能します。
literature has focused on using random features for classification where the typical finding is that whilst random features can work well for simpler problems, feature learning performs much better once the problem becomes sufficiently complex.
文献では、ランダムな特徴がより単純な問題に対してはうまくいくが、問題の学習がはるかに良好になるという典型的な発見がある場合、分類にランダムな特徴を用いることに集中している。
このパターンがダイナミクスに基づく探索にも当てはまると期待していますが、学習したフィーチャがMario Brosの斬新なレベルでより一般化するように見える予備的な証拠があります。

9

**>>186** · 2018/08/27(月) 10:06:35.97

Page 10

5
討論

私たちのエージェントは純粋に好奇心を持って訓練され、有益な行動を学ぶことができることを示しました。
（a）エージェントは報酬を使わずに多くのアタリゲームをプレイできます。
（b）マリオは報酬なしで11レベル以上を越えることができる。
（c）Ant環境で起こったような行動を歩く。
（d）Robo-school環境における挙動のようなジャグリング
（e）両者の好奇心に基づくエージェントを用いたTwo-player Pongでのラリー作成行動。
しかし、環境の探索が外的報酬に対応していないAtariゲームがあるので、これは必ずしも真実ではありません。

より一般的には、これらの結果は、人間によって設計された環境では、外的報酬は、しばしば新規性を求めるという目的と一致していることを示唆している。
ゲームデザイナーは、ゲームをプレイしながらユーザーを誘導するためのカリキュラムを設定し、その理由を説明します。好奇心のような目的は、多くの人間が設計したゲームでは外的な報酬とうまく一致します[6,12,16,48]。

**>>187** · 2018/08/27(月) 10:07:25.34

0.0 0.2 0.4 0.6 0.8 1.0
0 1 2 3 4 5 6 7 8

フレーム数（単位：百万）
エピソードごとの外来報酬

テレビをオフにしたRF
TV付きのRF
IDFでテレビをオフにする
TV付きIDF

図6：
3.3節では、ユニティ環境に雑音の多いTVを追加します。
私たちはIDFとRFをテレビの有無にかかわらず比較します。

予測誤差に基づく好奇心の限界：
より深刻な潜在的な限界は、確率論的ダイナミクスの取り扱いです。
環境内の遷移がランダムである場合、完全な力学モデルであっても、予想される報酬は遷移のエントロピーであり、エージェントはエントロピーが最も高い遷移を求める。
環境が本当にランダムではなくても、学習アルゴリズムが悪いため予測不可能であっても、貧弱なモデルクラスまたは部分的な観測可能性はまったく同じ問題につながります。
私たちはゲームの実験でこの効果を観察しなかったので、その点を説明する環境を設計しました。

**>>188** · 2018/08/27(月) 10:07:53.87

我々は3.3節の迷路に戻り、ノイズの多いTV問題と呼ばれる共通の思考実験を経験的に検証する。
そのアイデアは、アクションが取られたときにチャンネルをランダムに変更するテレビのような環境におけるエントロピーのローカルソースは、エージェントにとって不可欠な誘因であることがわかっているはずです。
私たちは文字通りこの思考実験を行い、チャンネルを変更するアクションとともに迷路にテレビを追加します。
図6では、ノイズの多いTVの追加がIDFとRFのパフォーマンスにどのように影響するかを示しています。
予想どおり、テレビの存在は学習を大幅に遅くしますが、実験を長時間実行すると、エージェントは時には外的報酬を一貫して得ることに集中することがあります。
経験的には、確率論が問題になる可能性があることを経験的に示しているので、今後の研究ではこの問題を効率的に扱うことが重要です。

Future Work:今後の仕事：
私たちは、報酬機能やエピソードの終わりの信号なしに、多様な環境にわたる重要でない行動を学ぶことができるシンプルでスケーラブルなアプローチを提示しました。
この論文の驚くべき発見の1つは、ランダムなフィーチャがかなり機能することですが、学習されたフィーチャはより一般化するように見えます。
環境が複雑になると、学習機能は重要になると考えていますが、今後はそれを探求していく予定です。
しかし、私たちのより広い目標は、関心のある課題のパフォーマンスを向上させるために、多くの未ラベル（すなわち、報酬機能を持たない）環境を利用できることを示すことです。
この目標を前提にすると、一般的な報酬機能を備えた環境でパフォーマンスを示すことは、最初のステップにすぎません。将来の作業では、ラベルのない環境からラベルの付いた環境への移行を調査できます。

**>>189** · 2018/08/27(月) 10:09:00.93

謝辞

私たちはUnity環境、Phillip Isola、Alex Nicholsの助けを借りてChris Luに感謝の意を表する。
実りある議論のために、BAIRとOpenAIのメンバーに感謝します。
DPはFacebookの卒業生のフェローシップによってサポートされています。

参考文献

[1] Unity ML-agents. ? [1]統一MLエージェント。
http://github.com/Unity-Technologies/ml-agents 。
2

10

**>>190** · 2018/08/27(月) 10:11:18.00

Page 11

[2] J. AchiamおよびS. Sastry。深い強化学習のためのサプライズベースの内的動機。
arXiv：1703.01732,2017。3,9
[3] M. Bellemare、S. Srinivasan、G. Ostrovski、T.Schaul、D. Saxton、およびR.Munos。
カウントベースの探索と固有のモチベーションの統一。 NIPSでは、2016年1月9日
[4] MG Bellemare、Y. Naddaf、J. Veness、およびM. Bowling。アーケード学習環境：一般エージェントの評価プラットフォーム。
Journal of Artificial Intelligence Research、47：253279、jun 2013. 2
[5] RY Chen、J. Schulman、P. Abbeel、およびS. Sidor。
q-ensembles.arXiv：1706.01502、2017.によるUCBとインフォゲイン探査
[6] G. Costikyan。ゲームの不確実性。 Mit Press、2013. 6、10
[7] B. Eysenbach、A. Gupta、J. Ibarz、およびS. Levine。
ダイバーシティはあなたが必要とするすべてです：報酬機能のない学習スキル。 arXivプレプリント、2018
[8] M. Fortunato, MG Azar, B. Piot, J. Menick, I. Osband, A. Graves, V. Mnih, R. Munos, D. Hassabis, O. Pietquin, C. Blundell, and S. Legg.
M. Fortunato、MG Azar、B. Piot、J. Menick、I. Osband、A. Graves、V. Mnih、R. Munos、D. Hassabis、O. Pietquin、C. Blundell、およびS. Legg 。
探査のための騒々しいネットワーク。 arXiv：1706.10295,2017。9
[9] J. Fu、JD Co-Reyes、およびS. Levine。 EX2：深層強化学習のための模範モデルによる探査。 NIPS、2017. 9
[10] K. Gregor、DJ Rezende、およびD. Wierstra。バリアント固有制御。 ICLRワークショップ、2017年9月
[11] R. Houthooft, X. Chen, Y. Duan, J. Schulman, F. De Turck, and P. Abbeel.
R. Houthooft、X. Chen、Y. Duan、J. Schulman、F. De Turck、およびP. Abbeel。
Vime：探索情報を最大化する変分情報。 NIPSでは、2016年1月9日
[12] R. Hunicke、M. LeBlanc、およびR. Zubek。
Mda：ゲーム設計とゲーム研究への正式なアプローチ。ゲームAIにおける課題に関するAAAIワークショップ（2004年6月10日）
[13] S.IoffeおよびC.Szegedy。バッチ正規化：内部共変量シフトを減らすことにより、深いネットワークトレーニングを加速します。
arXiv preprint arXiv：1502.03167,2015 4

**>>191** · 2018/08/27(月) 10:12:16.58

[14] K. Jarrett、K. Kavukcuoglu、Y. LeCun、et al。オブジェクト認識のための最善のマルチステージアーキテクチャとは何ですか？
IEEE, 2009. 9コンピュータビジョン、2009年IEEE第12回国際会議、21462153ページ、IEEE、2009. 9
[15] DP KingmaとM. Welling。変分ベイズの自動エンコーディング。 arXiv preprint arXiv：2013年2月3日、1312.6114
[16] N. Lazzaro。ゲームをする理由：プレイヤーの経験でより多くの感情への4つの鍵。 Proceedings of GDC、2004. 6、10
[17] J. LehmanおよびKO Stanley。新規性の探索を通じて問題を解決するためのオープンエンド性の活用。 ALIFE、2008. 9
[18] J.リーマンとKOスタンレー。放棄する目的：進化だけで斬新さの探索。進化的計算、2011. 9
[19] M. Lopes、T. Lang、M. Toussaint、およびP.-Y. Oudeyer. Oudeyer。
経験的に学習進展を推定することによるモデルベースの強化学習の探索。 NIPS、2012. 9
[20] M. Lopes、T. Lang、M. Toussaint、およびP.-Y. Oudeyer。
経験的に学習進展を推定することによるモデルベースの強化学習の探索。 NIPS、2012. 1
[21] V. Mnih、K. Kavukcuoglu、D. Silver、AA Rusu、J. Veness、MG Bellemare、A. Graves、M. Riedmiller、AK Fidjeland、G. Ostrovski、et al。
深層強化学習による人間のレベルの制御。 Nature、2015、1
[22] S。モハメドとDJ Rezende。本質的に動機付けされた強化学習のための変分情報の最大化。 NIPSでは、2015年1月
[23] I. Osband、C. Blundell、A. Pritzel、およびB. Van Roy。ブートストラップdqnによる深い探査。 NIPS、2016年9月
[24] G. Ostrovski、MG Bellemare、A.vd Oord、およびR.Munos。
神経密度モデルを用いたカウントベースの探索。 arXiv：1703.01310,2017。1,9
[25] P.-Y. Oudeyer。好奇心に基づく学習の計算理論。 arXiv preprint arXiv：1802.10546、2018. 9

11

Page 12

**>>192** · 2018/08/27(月) 10:12:55.87

[26] P.-Y. Oudeyer and F. Kaplan。内在的な動機は何ですか？計算上のアプローチの類型。ニューロロボティクスの最前線、2009年1月9日
[27] D. Pathak, P. Agrawal, AA Efros, and T. Darrell.
D.Patak、P. Agrawal、AA Efros、およびT. Darrell。
自己監視予測による好奇心に基づく探索。 ICMLでは、2017年1月2日、3日、4日、6日、9日
[28] D. Pathak, P. Mahmoudieh, G. Luo, P. Agrawal, D. Chen, Y. Shentu, E. Shelhamer, J. Malik, AA Efros, and T. Darrell.
D. Pathak、P. Mahmoudieh、G. Luo、P. Agrawal、D. Chen、Y. Shentu、E. Shelhamer、J. Malik、AA Efros、およびT. Darrell。
ゼロショットの視覚的模倣。 ICLR、2018.1
[29] M.Plappert、R.Houthooft、P.Dhariwal、S.Sidor、RYChen、X.Chen、T.Asfour、P.Abbeel、およびM. Andrychowicz。
探索のためのパラメータ空間雑音。 arXiv：1706.01905,2017。9
[30] P. Poupart、N. Vlassis、J. Hoey、およびK. Regan。
離散ベイジアン強化学習の解析的解。 ICML、2006. 1
[31] DJ Rezende、S.Mohamed、およびD.Wierstra。
深い生成モデルにおける確率的逆伝播と近似推論。 arXiv preprint arXiv：1401.4082、2014。3
[32] EL Ryan、Richard; Deci。内在的および外的な動機：古典的定義と新しい方向性。現代教育心理学、2000. 1
[33] AM Saxe, PW Koh, Z. Chen, M. Bhand, B. Suresh, and AY Ng.
AM Saxe、PW Koh、Z. Chen、M. Bhand、B. Suresh、およびAY Ng。
ランダムウェイトと教師なしの特徴学習。 ICML、10891096ページ、2011年。

**>>193** · 2018/08/27(月) 10:13:33.41

[34] J. Schmidhuber. 。奇妙なモデル構築制御システム。
Neural Networks、1991年、IEEE国際共同会議、14581463ページ、IEEE、1991. 9
[35] J. Schmidhuber。モデル構築のニューラルコントローラに好奇心と退屈を実現する可能性。
動物から動物へ：適応行動のシミュレーションに関する第1回国際会議の議事録、1991. 1
[36] J. Schmidhuber。モデル構築のニューラルコントローラに好奇心と退屈を実現する可能性、1991. 9
[37] J. Schmidhuber。創造性、楽しい、そして本質的な動機づけの公式理論（19902010）。
自律的精神発達に関するIEEEの取り組み、2010. 9
[38] J. Schulman、F. Wolski、P. Dhariwal、A. Radford、およびO. Klimov。近接ポリシー最適化アルゴリズム。
arXiv preprint arXiv:1707.06347, 2017. 4
arXiv preprint arXiv：1707.06347,2017
[39] J. Schulman、F. Wolski、P. Dhariwal、A. Radford、およびO. Klimov。近接ポリシー最適化アルゴリズム。
arXiv preprint arXiv：1707.06347、2017. 2
[40] SP Singh、AG Barto、N. Chentanez。本質的に動機付けられた強化学習。 NIPSでは、2005年1月
[41] L.スミスとM.ガッサー。具体的な認知の発達：赤ちゃんからの6回のレッスン。人工生命、2005年1月
[42] BC Stadie、S。Levine、およびP. Abbeel。深い予測モデルによる強化学習の探求を促進する。 NIPSワークショップ、2015年.2,9
[43] KO StanleyおよびJ. Lehman。なぜ偉大さが計画できないのか：目的の神話。 Springer、2015。9
[44] S. StillおよびD. Precup。
An information-theoretic approach to curiosity-driven reinforcement learning.
好奇心に基づく強化学習への情報理論的アプローチ。 Theory in Biosciences, 2012. 9バイオサイエンス理論、2012. 9
[45] S. Sukhbaatar, I. Kostrikov, A. Szlam, and R. Fergus. [45] S. Sukhbaatar、I. Kostrikov、A. Szlam、およびR. Fergus。
Intrinsic motivation and automatic curricula via asymmetric self-play.
内在的な動機づけと、非対称セルフプレイによる自動カリキュラム。 In ICLR, 2018. 9 ICLR、2018年9月

**>>194** · 2018/08/27(月) 10:14:07.88

[46] RS Sutton and AG Barto.
[46] RS SuttonおよびAG Barto。
Reinforcement learning: An introduction.
強化学習：導入。 MIT press Cambridge, 1998. 4
MITプレスケンブリッジ、1998。4
[47] H. Tang, R. Houthooft, D. Foote, A. Stooke, X. Chen, Y. Duan, J. Schulman, F. De Turck, and P. Abbeel.
H. Tang、R.Houthooft、D.Foote、A.Stooke、X.Chen、Y.Duan、J.Schulman、F.De Turck、およびP. Abbeel。
#Exploration：深層強化学習のためのカウントに基づく探索の研究。
神経情報処理システムの進歩、2017. 9
[48] P. Wouters、H. Van Oostendorp、R. Boonekamp、およびE. Van der Spek。
バックストーリーと予兆を実装することで、魅力的で効果的な真剣なゲームを作成する際のゲームの談話分析と好奇心の役割。
コンピュータとの交流、2011年6月、10
[49] Z. Yang, M. Moczulski, M. Denil, N. de Freitas, A. Smola, L. Song, and Z. Wang.
Z. Yang、M. Moczulski、M. Denil、N. de Freitas、A. Smola、L. Song、およびZ. Wang。
ディープフライドコンベット。
In Proceedings of the IEEE International Conference on Computer Vision, pages 14761483, 2015. 9
IEEEビジョンに関するIEEE国際会議予稿集、14761483、2015。

12

**>>195** · 2018/08/27(月) 10:15:34.07

Page 13

A
実装の詳細

ウェブサイトでトレーニングコードと環境を公開しました3。
詳細については、ウェブサイトのコードとビデオの結果を参照してください。

前処理：
すべての実験はピクセルで行った。
すべての画像をグレースケールに変換し、サイズを84x84に変更しました。
現在の観測のみを使用するのではなく、歴史的観測[xt→3、xt→2、xt→1、xt]のスタックの両方でエージェントの方針とフォワードダイナミクスの機能を学ぶ。
これは、これらのゲームで部分的な観測可能性を取得するためです。
Super Mario BrosとAtariの実験では、各アクションを4回繰り返す標準フレームキットラッパーも使用しました。

**>>196** · 2018/08/27(月) 10:16:05.21

Architectures:アーキテクチャ：
私たちの埋め込みネットワークとポリシーネットワークは、同一のアーキテクチャを持ち、Atariの実験で使用されている標準の畳み込みネットワークに基づいていました。
埋め込みネットワークのフィーチャとして取るレイヤーは、すべての実験で次元512で非線形性はありませんでした。
ユニティ実験では、予測誤差のスケールを外的報酬と比較して一定に保つために、埋め込みネットワークにbatchnormを適用しました。
また、共変量のレベルをレベルからレベルまで減らすためのMarioの一般化実験でもこれを行いました。
VAEの補助タスクとピクセルメソッドでは、同様のデコンボリューションアーキテクチャを使用しました。その詳細は、コード提出の中で見つけることができます。
IDFおよびフォワードダイナミクスネットワークは、埋め込みネットワークの最上位にあり、いくつかの完全に接続された次元の層512が追加されています。

ハイパーパラメータ：
すべてのネットワークで学習率0.0001を使用しました。
ほとんどの実験では、32の並列環境のみを実行できるUnityおよびRoboschoolの実験と、2048を使用した大規模なMarioの実験を除いて、128の並列環境を使用しました。
ユニティ実験を除いて、すべての実験で長さ128のロールアウトを使用しました。ここでは、512の長さのロールアウトを使用していました。ネットワークがすばやい報酬に素早く掛かるようにしました。
MarioとAtariの最初の9回の実験では、スピードのためにロールアウトあたり3つの最適化エポックを使用しました。
Marioスケーリング、一般化実験、Roboschool実験では、6エポックを使用しました。
ユニティ実験では、8つのエポックを使用しましたが、もう少し迅速に疎の報酬を利用しました。

B
追加の結果

**>>197** · 2018/08/27(月) 10:16:35.47

0 250 500 750 1000 1250 1500 1750
0 1000 2000 3000 4000 5000 6000 7000

0 100 200 300 400

ビームライダー
BreakOut ? 起こる
MontezumaRevenge ? モンテスマ復讐
ポン
マリオ
Qbert
Reverraid ? 反逆
シークエスト
スペースインベーダーズ

フレーム数（単位：百万）
エピソードごとの外来報酬

ピクセル
VAE features ? VAEの機能
Inverse Dynamics features ? 逆動力学の特徴
Random CNN features ? ランダムCNN機能

（a）ベストリターン
（b）エピソードの長さ

図7：
（a）左：8つのアタリゲームとマリオの外生的なベストリターン。
（c）右：8つのアタリゲームとマリオのエピソード長の平均。

**>>198** · 2018/08/27(月) 10:17:08.76

フレーム数（単位：百万）
エピソードごとの外来報酬

Inverse Dynamics features ? 逆動力学の特徴
ランダムエージェント
Random CNN features ? ランダムCNN機能

図8：
48個のAtariゲームで、純粋な好奇心に基づいた探索（外的報酬もエピソード終了信号もない）。
私たちは、外的帰還やエピソード信号の終わりにアクセスできないエージェントにもかかわらず、好奇心に基づくエージェントの外的帰還がしばしば増加することを観察します。
In multiple environments,
複数の環境では、
the performance of the curiosity-driven agents is significantly better than that of a random agent, although there are environments where the behavior of the agent is close to random, or in fact seems to minimize the return, rather than maximize it.
エージェントの行動がランダムに近いか、実際には最大限にするのではなく、リターンを最小限に抑えるような環境が存在するにもかかわらず、好奇心に基づいたエージェントのパフォーマンスはランダムエージェントのパフォーマンスよりも大幅に優れています。
大部分の訓練プロセスでは、RFは環境の約67％でランダムエージェントよりも優れていますが、IDFは環境の約71％でランダムエージェントよりも優れています。

**>>199** · 2018/08/27(月) 10:17:54.98

Reward Gravitar Freeway Venture PrivateEye MontezumaRevenge ? Gravitar Freewayベンチャーに報酬を与えるPrivateEye Montezuma Revenge
Ext Only 999.3±220.7 33.3±0.6 0±0 5020.3±395 1783±691.7
Ext + Int 1165.1±53.6 32.8±0.3 416±416 3036.5±952.1 2504.6±4.6

表2：
これらの結果は、内因性+外因性報酬と外因性報酬のみを訓練した薬剤について、3種の種子にわたって1億フレーム後の平均報酬（±std-error）を比較する。
外因性（係数1.0）および内因性報酬（係数0.01）は、ハイパーパラメータ調整なしで直接結合された。
私たちは、将来の仕事まで内在的な報酬と内在的な報酬を最適に組み合わせる方法について質問を残します。
これは、内因性報酬と外的要因を組み合わせることが論文の焦点ではなく、これらの実験が完全性のために提供されていることを強調しています。

B.1
アタリ
探索の量をより正確に測定するために、図7（a）の好奇心に基づくエージェントと図7（b）のエピソードの長さの最良のリターンを提供します。
特に、ポンでは、エピソードの長さが長くなり、リターンの高原と相まって、代理人は報酬ではなくボールのバウンス数を最大にすることを示しています。

図8は、48個のAtariゲームでの逆動力学とランダム機能に基づく好奇心に基づくエージェントのパフォーマンスを示しています。

このペーパーの焦点ではありませんが、完全性のために、いくつかの希少な報酬Atariゲームに内的および外的報酬を組み合わせたいくつかの結果が含まれています。
外的報酬と組み合わせる場合、エピソード信号の終わりを使用します。
使用された報酬は、外的報酬に内的報酬の0.01倍を加えたものである。
結果を表2に示す。
内在的な報酬と外的報酬の組み合わせを調整する必要があるため、設定間に大きな違いはありません。
私たちはMontezuma's Revengeの本質的な+外因的な実行の1つが10の部屋を探索したことを観察しました。

3ウェブサイトhttp://pathak22.github.io/large-scale-curiosity/

13