知能研究スレ2©2ch.net

1オーバーテクナナシー 転載ダメ©2ch.net2016/12/11(日) 07:08:46.32ID:p6adyiEV
  三           三三
      /;:"ゝ  三三  f;:二iュ  何でこんなになるまで放っておいたんだ!
三   _ゞ::.ニ!    ,..'´ ̄`ヽノン
    /.;: .:}^(     <;:::::i:::::::.::: :}:}  三三
  〈::::.´ .:;.へに)二/.::i :::::::,.イ ト ヽ__
  ,へ;:ヾ-、ll__/.:::::、:::::f=ー'==、`ー-="⌒ヽ   ←上坂すみれ
. 〈::ミ/;;;iー゙ii====|:::::::.` Y ̄ ̄ ̄,.シ'=llー一'";;;ド'
  };;;};;;;;! ̄ll ̄ ̄|:::::::::.ヽ\-‐'"´ ̄ ̄ll

          oノ oノ
          |  |  三
 _,,..-―'"⌒"~⌒"~ ゙゙̄"'''ョ  ミ
゙~,,,....-=-‐√"゙゙T"~ ̄Y"゙=ミ    |`----|
T  |   l,_,,/\ ,,/l  |
,.-r '"l\,,j  /  |/  L,,,/
,,/|,/\,/ _,|\_,i_,,,/ /

154>>1532018/08/12(日) 20:33:49.65ID:ltAhnLdz?2BP(0)

155yamaguti2018/08/27(月) 09:32:30.84ID:Zq8VRJ9K?2BP(0)

Google 翻訳

 

ページ1

 

好奇心に基づいた学習の大規模研究


ユリブルダ* OpenAI

ハリ・エドワーズ* OpenAI

Deepak Pathak * UCバークレー

アモスストーキー Univ。 エジンバラの

トレバーダレル UCバークレー

アレクセイ・エフロス UCバークレー

156>>1552018/08/27(月) 09:33:19.93ID:Zq8VRJ9K?2BP(0)

抽象

強化学習アルゴリズムは、エージェントへの慎重にエンジニアリングされた外的な環境報酬に依存します。
しかし、手作業で設計された密集した報酬で各環境に注釈を付けることはスケーラブルではなく、エージェントに内在する報酬機能を開発する必要があります。
好奇心は報酬信号として予測誤差を用いる内的報酬関数の一種である。
このペーパーでは、(a)Atariゲームスイートを含む54の標準ベンチマーク環境全体にわたって、純粋に好奇心に基づいた学習、つまり、いかなる外的報酬も伴わない最初の大規模な学習を行います。
私たちの結果は、驚くほど優れたパフォーマンスと、本質的な好奇心の目標と多くのゲーム環境の手作業で設計された外的報酬との高度なアライメントを示しています。
(b) We investigate the effect of using different feature spaces for computing prediction error and show that random features are sufficient for many popular RL game benchmarks,
(b)我々は、予測誤差を計算するために異なる特徴空間を使用することの効果を調べ、多くの一般的なRLゲームのベンチマークではランダムな特徴が十分であることを示し、
but learned features appear to generalize better (eg to novel game levels in Super Mario Bros.).
学習された機能は、より一般化するように見える(例えば、スーパーマリオブラザーズの新規ゲームレベルへ)。
(c)予測ベースの報酬の制限を確率的な設定で実証する。
ゲームプレイ動画やコードは http://pathak22.github.io/large-scale-curiosity/

157>>1562018/08/27(月) 09:34:29.87ID:Zq8VRJ9K?2BP(0)

前書き

補強学習(RL)は、エージェントが複雑なタスクを実行するための一般的な方法として浮上しています。
RLでは、エージェントポリシーは、タスクに合わせて設計された報酬関数を最大化することによって訓練される。
報酬は代理人の外来であり、彼らが定義する環境に特有のものです。
RLにおける成功の大部分は、この報酬機能が密集してよく整形されているとき、例えばビデオゲームで走っている「スコア」のときに達成された[21]。
しかしながら、うまく整形された報酬機能を設計することは、非常に困難な工学的問題である。
外的報酬を「形作る」のに代わるものは、密接な内在報酬[26]、すなわちエージェント自体によって生成される報酬でそれを補うことである[26]。
固有の報酬の例には、報酬信号として予測誤差を使用する「好奇心」[11,22,27,35,40]、エージェントを拒否する「訪問回数」[3、20、24、30]同じ状態を再訪する。
考え方は、これらの内在的な報酬が、次の外的報酬を見つけるために環境を効率的に探索するように代理人を誘導することによって、疎な外的報酬のギャップを橋渡しするということです。

しかし、外的報酬のないシナリオはどうですか?
これは聞こえるほど奇妙ではありません。
発達心理学者は、発達の初期段階において、内発的な動機づけ(すなわち、好奇心)が主要な要因であると話している[32,41]。生後に役立つ技能を身につけるために、
Minecraftのプレイから、地元の動物園への訪問まで、他にもたくさんの例があります。そこでは、外的報酬は必要ありません。
確かに、固有の報酬だけを使って与えられた環境にエージェントを事前に訓練することは、新しい環境で斬新な仕事に微調整されたときにはるかに速く学習できるという証拠がある[27,28]。
しかし、これまでのところ、本質的な報酬のみで学習する体系的な研究はなかった。

*アルファベット順。 最初の3人の著者は等しく貢献しました。

プレプリント。
作業中です。

158>>1572018/08/27(月) 09:35:01.19ID:Zq8VRJ9K?2BP(0)

ページ2

図1:
このペーパーで調査された54の環境のスナップショット。
エージェントは、外的報酬、またはエピソード終了信号を使わずに、好奇心だけを使って進歩を遂げることができることを示します。
ビデオの結果、コード、モデル http://pathak22.github.io/large-scale-curiosity/

このホワイトペーパーでは、様々なシミュレートされた環境のさまざまな範囲の固有の報酬によって純粋に駆動されるエージェントの大規模な実証研究を行っています。
In particular, we choose the dynamics-based curiosity model of intrinsic reward presented in Pathak et al.
特に、我々はPathak et al。が提示した内在的報酬のダイナミクスに基づく好奇心モデルを選択する。
[27] because it is scalable and trivially parallelizable, making it ideal for large-scale experimentation.
[27]スケーラビリティと並行して並列化できるため、大規模な実験には理想的です。
中心的なアイデアは、エージェントの現在の状態、すなわちエージェントの学習された順動力学の予測誤差を与えられたエージェントの行動の結果を予測する際の誤りとして、内在的な報酬を表現することである。
我々は、図1に示すビデオゲーム、物理エンジンシミュレーション、および仮想3Dナビゲーションタスクの54の環境にわたるダイナミクスに基づいた好奇心を徹底的に調査します。

159>>1582018/08/27(月) 09:35:36.27ID:Zq8VRJ9K?2BP(0)

好奇心に基づいた学習をより深く理解するために、パフォーマンスを決定づける重要な要因についてさらに検討します。
特に、高次元の生の観測空間(例えば、画像)における将来の状態を予測することは困難な問題であり、最近の研究[27,42]に示されるように、補助的な特徴空間における学習のダイナミクスは改善された結果につながる。
しかしながら、そのような埋め込み空間をどのように選択すべきかは、重要であるが未だオープンな研究課題である。
体系的アブレーションを通じて、エージェントが自分の好奇心によって純粋に動くように、エージェントの観察をコード化するさまざまな方法の役割を調べます。
To ensure stable online training of dynamics, we argue that the desired embedding space should: (a) be compact in terms of dimensionality,
ダイナミクスの安定したオンライントレーニングを確実にするために、我々は、所望の埋め込み空間が、(a)次元的にコンパクトであり、
(b) preserve sufficient information about the observation, and (c) be a stationary function of the observations.
(b)観測に関する十分な情報を保持し、(c)観測の定常関数である。
私たちはランダムなネットワークを介して観測をエンコーディングすることは、多くの一般的なRLベンチマークで好奇心をモデル化するための単純で効果的な手法であることを示しています。
これは、多くの一般的なRLビデオゲームのテストベッドは、一般的に考えられているように視覚的に洗練されていないことを示唆するかもしれません。
興味深いことに、練習ではランダムな機能で十分なパフォーマンスが得られますが、学習した機能は一般的に良く見えます(たとえば、Super Mario Bros.の新しいゲームレベル)。

160>>1592018/08/27(月) 09:36:10.49ID:Zq8VRJ9K?2BP(0)

要約すれば:
(a) We perform a large-scale study of curiosity-driven exploration across a variety of environments including:
(a)私たちは、好奇心に基づいた探査の大規模な研究を、
the set of Atari games [4], Super Mario Bros., virtual 3D navigation in Unity [1], multi-player Pong, and Roboschool [39] environments.
Atariゲーム[4]、Super Mario Bros.、Unity [1]、マルチプレイヤーPong、Roboschool [39]環境での仮想3Dナビゲーション。
(b)ランダム特徴、画素、逆ダイナミクス[27]、変分オートエンコーダ[15]を用いて、ダイナミクスに基づいた好奇心を学習するための異なる特徴空間を広範囲に調査し、見えない環境への一般化を評価する。
(c)我々は、直接予測誤差に基づく好奇心の定式化のいくつかの限界について議論することによって結論づける。
エージェント自体が環境中の確率論の源であるならば、実際の進歩を伴わずに報酬を得ることができます。
エージェントが環境の異なる部分を制御する3Dナビゲーションタスクで、この制限を経験的に実証します。

2

161>>1602018/08/27(月) 09:36:39.37ID:Zq8VRJ9K?2BP(0)

Page 3

2
ダイナミクスに基づく好奇心に基づく学習

観測xtを見て、xt + 1の観測で次の状態に移り、次の状態に遷移するエージェントを考えてみましょう。
私たちは、このエージェントを、移行がどれほど有益であったかという報酬と奨励したいと考えています。
この報酬を提供するために、我々は以下の要素を含む探査ボーナスを使用します:
(a)観測値を表現φ(x)に埋め込むためのネットワーク、
(b)前回の観測と行動p(φ(xt + 1)| xt、at)に条件付けられた次の状態の表現を予測するフォワードダイナミクスネットワーク。
Given a transition tuple {xt,xt+1,at}, the exploration reward is then defined as rt = ?
遷移タプル{xt、xt + 1、at}が与えられると、探索報酬はrt =?
log p(φ(xt+1)|xt,at), also called the surprisal [2].
log p(φ(xt + 1)| xt、at)は、驚くべき[2]とも呼ばれます。

この報酬を最大にするように訓練されたエージェントは、予測誤差が大きい遷移を優先します。これは、エージェントが短い時間を過ごした領域で、または複雑なダイナミクスを持つ領域で高くなります。
このようなダイナミクスを基盤とした好奇心はシナリオ全体にわたって非常によく実行されることが示されている[27]。特にダイナミクスが生の観測ではなく埋め込み空間で学習されている。
In this paper, we explore dynamics-based curiosity and use mean-squared error corresponding to a fixed-variance Gaussian density as surprisal, ie, f(xt,at) ?
この論文では、ダイナミクスに基づく好奇心を探り、固定分散ガウス密度に対応する平均2乗誤差を驚くべきもの、すなわちf(xt、at)とする。
φ(xt+1)2 2 where f is the learned dynamics model.
φ(xt + 1)2 2ここで、fは学習された力学モデルである。
しかし、他の密度モデルを使用することもできる。

162>>1612018/08/27(月) 09:37:29.21ID:Zq8VRJ9K?2BP(0)

2.1
フォワードダイナミクスのための特徴空間
上記の好奇心の定式化におけるφの表現を考えてみよう。
φ(x)= xならば、フォワードダイナミクスモデルは観測空間で予測を行う。
特徴空間の良好な選択は、予測タスクをより扱い易くし、観測空間の無関係な側面を取り除くことができる。
しかし、ダイナミクスの好奇心を生み出すための優れた機能スペースは何になるでしょうか?
優れた機能スペースにはいくつかの特質があります。

•コンパクト:低次元であり、観測空間の無関係な部分をフィルタリングすることで、フィーチャはモデル化が容易でなければなりません。
•十分:機能に重要な情報がすべて含まれている必要があります。
さもなければ、代理人は環境のいくつかの関連する側面を調査するために報われることができないかもしれません。
•安定:非定常報酬は、強化エージェントが学習するのを困難にします。
必要に応じた探査ボーナスは、新規で斬新なものが古くなって時間とともに退屈になるので、非定常性を導入する。
ダイナミクスベースの好奇心の定式化には、非定常性の2つの情報源があります。フォワードダイナミクスモデルは、訓練されていくにつれて進化しており、学習するにつれてそのフィーチャは変化しています。
前者は方法固有のものであり、後者は可能な限り最小化すべきである

本研究では、いくつかの特徴学習法の有効性を体系的に調査し、以下に要約する。

163>>1622018/08/27(月) 09:38:01.07ID:Zq8VRJ9K?2BP(0)

ピクセル
最も単純な場合は、φ(x)= xであり、我々の前方力学モデルを観測空間に適合させる場合である。
情報は投げ捨てられず、特徴学習コンポーネントがないので安定しているので、ピクセルで十分です。
しかし、観測空間が高次元で複雑なため、ピクセルからの学習は難しい。

ランダム機能(RF)
次の最も単純なケースは、埋め込みネットワーク、畳み込みネットワークを取り、ランダム初期化後に修正するところです。
ネットワークは固定されているため、機能は安定しています。
フィーチャは次元がコンパクトにできますが、制約はありません。
しかしながら、ランダムな特徴が十分でない場合がある。

Variation Autoencoders(VAE)VAEは、変分推論を使用して、観測データxと潜在変数zを潜在変数生成モデルp(x、z)に先行するp(z)に適合させるために[15,31]で導入されました。
この方法は、事後p(z | x)を近似する推論ネットワークq(z | x)を必要とする。
これは、観測値を入力とし、対角共分散を有するガウス分布を記述する平均および分散ベクトルを出力するフィードフォワードネットワークです。


VAE IDF RFピクセル
安定いいえいいえはいはい
コンパクトはいはい多分いいえ
Sufficient Yes Maybe Maybe Yes ? 十分な可能性あり

表1:
考慮される異なる種類の特徴空間の分類を要約した表。

3

164>>1632018/08/27(月) 09:38:35.96ID:Zq8VRJ9K?2BP(0)

Page 4

次に、埋め込みネットワークφとして平均値への写像を用いることができる。
These features will be a low-dimensional approximately sufficient summary of the observation,
これらの特徴は、観察の低次元の概ね十分な要約であり、
but they may still contain some irrelevant details such as noise, and the features will change over time as the VAE trains.
ノイズなどの無関係な詳細が含まれている可能性があります。その機能は、VAEがトレーニングするにつれて変化します。

逆動力学的特徴(IDF)遷移(st、st + 1、at)が与えられると、逆動力学の仕事は、前と次の状態stとst + 1が与えられた時の行動を予測することです。
特徴は、最初にstとst + 1を埋め込むために共通のニューラルネットワークφを用いて学習される。
直感は、学んだ機能は、エージェントの即時制御下にある環境の側面に対応する必要があるということです。
この特徴学習法は実装が容易であり、原理的にはある種のノイズに対して不変でなければならない(議論については[27]を参照)。
潜在的な欠点は、学んだ機能が十分でないこと、つまりエージェントが直ちに影響を及ぼさない環境の重要な側面を表すものではないことです。
これらの特性の概要を表1に示す。
学習された特徴は、学習が進むにつれて分布が変化するため、安定していないことに注意してください。
安定性を達成する1つの方法は、VAEまたはIDFネットワークを事前にトレーニングすることです。
ただし、ゲームの内部状態にアクセスできない場合は、ゲームシーンの代表データを取得して機能をトレーニングすることはできません。
1つの方法は、ランダムにデータを収集することですが、エージェントが開始した場所に偏ってしまい、さらに一般化しません。
すべての機能には望ましい特性のトレードオフが含まれているため、それぞれの環境がどのように効果的かという経験的な疑問になります。

165>>1642018/08/27(月) 09:39:30.15ID:Zq8VRJ9K?2BP(0)

2.2
純粋に好奇心によって動かされるエージェントを訓練する際の実際的な考察
特徴空間を決定することは、実用的なシステムを実装する際のパズルの最初の部分に過ぎない。
ここでは、学習アルゴリズムで行った重要な選択について詳しく説明します。
私たちの目標は、学習をより安定したものにするため、非定常性を減らすことでした。
以下に概説する以下の考慮事項により、ハイパーパラメータの変更を最小限に抑えながら、さまざまなフィーチャ学習方法や環境で確実に動作するように探査を行うことができます。

• 姫PO。
一般に、我々は、PPOアルゴリズム[38]が、ハイパーパラメータチューニングをほとんど必要としない頑強な学習アルゴリズムであることを見出したので、我々は実験に固執する。
• 正規化に報いる。
報酬関数は非定常であるので、価値関数が迅速に学習できるように報酬のスケールを正規化することは有用である。
これは、報酬を、割引報酬の合計の標準偏差の実行中の見積もりで除算することによって行いました。
•アドバンテージの正規化。
PPOで訓練している間に、平均値0と標準偏差1を持つバッチの利点[46]を標準化します。
• 観測の正規化。
私たちは目標環境上でランダムエージェントを10000ステップ実行し、観測の平均と標準偏差を計算し、それらを使用してトレーニング時の観測値を正規化します。
これは、初期化時のフィーチャのばらつきが小さく、環境によってばらつきが少ないことを確認するのに便利です。
•より多くの俳優。
使用される並列アクター(バッチサイズに影響する)の数を増やすことによって、メソッドの安定性が大幅に向上します。
私たちは通常、エージェントを訓練する間にデータ収集に同じ環境の128並列実行を使用します。
•機能を正規化する。
内在的報酬と外的報酬を組み合わせる際に、内在報酬の規模が国家空間全体で一貫していることを保証することが有用であることがわかった。
我々は、特徴埋め込みネットワークにおいてバッチ正規化[13]を用いることによってこれを達成した。

166>>1652018/08/27(月) 09:40:16.21ID:Zq8VRJ9K?2BP(0)

2.3
`死は終わりではない ':無限の地平線との割引好奇心
1つの重要な点は、エピソード信号の終わり(時には「完了」と呼ばれる)を使用すると、実際の報酬機能に関する情報が漏れることが多いことです。
シグナルを取り除かなければ、Atariのゲームの多くは単純すぎるようになります。
For example, a simple strategy of giving +1 artificial reward at every time-step when the agent is alive and 0 on death is sufficient to obtain a high score in some games,
例えば、エージェントが生きているときにステップごとに+1の人工報酬を与えるという簡単な戦略は、いくつかのゲームで高い得点を得るには死亡時に0で十分ですが、
for instance, the Atari game ` Breakout ' where it will seek to maximize the episode length and hence its score.
たとえば、エピソードの長さを最大化しようとするAtariゲームの「Breakout」とそれに伴うスコアです。
否定的な報酬の場合、エージェントはできるだけ早くエピソードを終了しようとします。

4


Page 5

167>>1662018/08/27(月) 09:40:58.45ID:Zq8VRJ9K?2BP(0)

0 100 200 300 400
0 500 1000 1500 2000 2500 3000 3500 4000

ビームライダー
BreakOut ? 起こる
MontezumaRevenge ? モンテスマ復讐
ポン
マリオ
Qbert
Reverraid ? 反逆
シークエスト
スペースインベーダーズ

フレーム数(単位:百万)
エピソードごとの外来報酬

ピクセル
VAE features ? VAEの機能
Inverse Dynamics features ? 逆動力学の特徴
Random CNN features ? ランダムCNN機能

図2:
8つの選択されたAtariゲームとSuper Mario Bros.の機能学習方法の比較

これらの評価曲線は、報酬またはエピソード終了信号なしに、純粋に好奇心で訓練されたエージェントの平均報酬(標準誤差を伴う)を示す。
私たちは、純粋に好奇心に頼った代理人が、トレーニング時に外的報酬を使用せずにこれらの環境で報酬を集めることができることを確認します。
すべてのAtariゲームの結果は、図8の付録にあります。
私たちは、ピクセル上で訓練された好奇心モデルはどんな環境でもうまく機能せず、VAE機能はランダムおよび逆ダイナミクス機能と同じか悪いかを実行することがわかります。
さらに、逆ダイナミクス訓練されたフィーチャは、アタリのゲームの55%でランダムなフィーチャよりも優れています。
この分析の興味深い結果は、好奇心をモデル化するためのランダムな機能はシンプルでありながら驚くほど強力なベースラインであり、Atariのゲームの半分でうまくいく可能性があるということです。

168>>1672018/08/27(月) 09:42:57.27ID:Zq8VRJ9K?2BP(0)

これに照らして、純粋な探索エージェントの行動を研究したい場合、エージェントにバイアスをかけてはいけません。
無限の地平線の設定では(つまり、ディスカウントされたリターンはエピソードの終わりに切り捨てられず、バリュー関数を使用して常にブートストラップされます)、死は退屈な場合にだけ避けるべきエージェントへのもう一つの移行です。
したがって、エージェントの探索の利得を単に死のシグナルの利得から分離するために、「done」を削除しました。
実際には、エージェントはゲームの中で死ぬことを避けることができます。それは、ゲームの始め、何度も何度も見られた領域、そしてダイナミクスをうまく予測できる場所に戻ってくるからです。
この微妙さは、外的報酬のない実験を示す以前の研究によって無視されてきた。

3
実験

すべての実験では、ポリシーと埋め込みネットワークの両方がピクセルから直接的に機能します。
ハイパーパラメータやアーキテクチャなどの実装の詳細については、付録Aを参照してください。
別段の記載がない限り、すべての曲線は、異なる種子を用いた3回のランの平均であり、斜線領域は平均の標準誤差である。
私たちは、ウェブサイト上のすべての環境で遊ぶ純粋に興味のあるエージェントのコードとビデオをリリースしました2。

169>>1682018/08/27(月) 09:43:35.46ID:Zq8VRJ9K?2BP(0)

3.1
外的報酬のない好奇心に基づいた学習外的報酬を使用せずに、多数の環境に対する純粋な好奇心に基づく学習を拡大することから始めます。
We pick a total of 54 diverse simulated environments, as shown in Figure 1,
図1に示すように、合計54の多様なシミュレーション環境を選択し、
including 48 Atari games, Super Mario Bros., 2 Roboschool scenarios (learning Ant controller and Juggling), Two-player Pong, 2 Unity mazes (with and without a TV controlled by the agent).
Super Mario Bros.、Roboschoolシナリオ2(Ant Control and Jugglingを学ぶ)、Two-player Pong、2つのUnity mazes(エージェントによって制御されたテレビの有無にかかわらず)を含む48のAtariゲームを含みます。
この大規模分析の目的は、以下の質問を調査することです。
(a)外的な報酬なしに、さまざまなゲームで純粋な好奇心に基づいたエージェントを実行すると、実際にはどうなりますか?
(b)あなたはこれらのエージェントからどのような行動を期待できますか?
(c)ダイナミクスを基礎とした好奇心における異なる特徴学習の変種がこれらの行動に及ぼす影響は何か?

2
http://pathak22.github.io/large-scale-curiosity/ http://pathak22.github.io/large-scale-curiosity/

5

170>>1692018/08/27(月) 09:44:09.35ID:Zq8VRJ9K?2BP(0)

Page 6

A)アタリゲームズ
これらの質問に答えるために、我々はよく知られているAtariゲームのコレクションから始め、異なるフィーチャラーニング方法で一連の実験を行いました。
純粋に好奇心を要するエージェントがどれだけうまくいくかを測定する1つの方法は、それが達成できる外的報酬、すなわちゲームをプレイするエージェントがどれほど良いかを測定することです。
我々は、図2の8つの一般的なAtariゲームと、付録の図8のすべてのAtariスイート48の平均外的報酬の評価曲線を示します。
外的報酬は評価のためにのみ使用され、訓練には使用されないことに注意することが重要です。
しかし、これは純粋な探索のプロキシであり、ゲーム報酬は任意であり、エージェントが好奇心からどのように探究するかと全く一致しない可能性があるためです。

カーブから最初に気がつくのは、ほとんどが上がっていることです。
これは、純粋な好奇心に基づいたエージェントが、トレーニング中に外的報酬を使用しなくても外部報酬を得ることを学ぶことができることを示しています。
外的報酬もエピソード信号の終わりもないエージェントは、ある場合には外的報酬での学習に匹敵する得点を得ることを学ぶことができることは注目に値する。
たとえば、「ブレイクアウト」では、パドルをボールに当てて消えるレンガにボールを当てるとゲームスコアが上昇し、打撃を受けたときにポイントが与えられます。
ブリックがボールによって連続して打たれればするほど、レンガのパターンが複雑になり、エージェントはより掘り下げて探索することができます。したがって、ポイントをバイプロダクトとして収集します。
さらに、エージェントの寿命がなくなると、レンガは以前に何度もエージェントに見られた均一な構造に再びリセットされ、したがって非常に予測可能であるため、エージェントは死によってリセットされるのを避けることによって好奇心をそそるために生きている。

171>>1702018/08/27(月) 09:47:25.16ID:Zq8VRJ9K?2BP(0)

これは予期しない結果であり、多くの一般的なRLテストベッドでは外部報酬が必要ないことを示唆している可能性があります。
ry (similar to architects, urban planners, gardeners, etc.) are
これはゲームデザイナー(建築家、都市計画家、庭師などに似ている)が
very good at setting up curriculums to guide agents through the ry
好奇心のような目的は、多くの人間が設計した環境[6,12,16,48]の外的報酬とうまく一致しています。
しかし、これは必ずしもそうではなく、時には好奇心をそそるエージェントがランダムエージェントよりも悪い場合もあります。
これは、外的報酬がエージェントの探索とほとんど相関しない場合、またはエージェントが効率的に探索できない場合に発生します(図8のゲーム「Atlantis」、「IceHockey」を参照)。
我々はさらに、学習者のスキルをよりよく理解するために、ウェブサイト上で利用可能なエージェントのゲームプレイビデオを参照することを読者に推奨する。

特徴学習法の比較:
図2の4つの特徴学習法、すなわち生のピクセル、ランダムな特徴、逆動力学の特徴、およびVAEの特徴を比較する。
生のピクセルのトレーニングのダイナミクスは、すべての環境で悪い結果をもたらしますが、ピクセルをフィーチャにエンコードする方が優れています。
これは、ピクセル空間で良好なダイナミクスモデルを学習することが難しく、予測誤差が小さな無関係な細部によって支配される可能性があるためです。

驚くべきことに、ランダムフィーチャ(RF)は、タスク間でかなり良好に動作し、学習されたフィーチャを使用するよりも優れていることがあります。
優れたパフォーマンスの理由の1つは、ランダムなフィーチャがフリーズ(安定)していることです。ターゲットの定常性のために、それらの上で学習されたダイナミクスモデルの方が簡単です。
一般に、ランダムな特徴は、視覚的観察が十分に単純な領域ではうまくいくはずであり、ランダムな特徴は、例えばアタリゲームのような生の信号に関する十分な情報を保存することができる。
興味深いことに、ランダムな特徴はトレーニングではうまくいくが、IDFの学習した特徴はMario Brosでより一般化されているように見える(詳細はセクション3.2を参照)。

172>>1712018/08/27(月) 09:48:05.66ID:Zq8VRJ9K?2BP(0)

VAE法も良好に機能しましたが、やや不安定でしたので、RFとIDFを実験に使用することにしました。
The detailed result in appendix Figure 8 compares IDF vs.
付録の詳細な結果図8は、IDFと
RF across the full Atari suite.
フルアタリスイート全体のRF。
学習された行動を定量化するために、我々は好奇心旺盛なエージェントをランダムに行動するエージェントと比較した。
我々は、IDFに興味のあるエージェントが、Atariゲームの75%でランダムエージェントよりも多くのゲーム報酬を集めることを発見しました.RF好奇心旺盛なエージェントは70%でより良くなります。
さらに、IDFはゲームの55%でRFより優れています。
全体として、ランダムなフィーチャとインバース・ダイナミクスのフィーチャが一般的にうまく機能しまし
付録の詳細。

B)スーパーマリオブラザーズ
図2のMario Brosのさまざまな学習方法を比較します。
スーパーマリオブラザーズは、小規模実験では外的報酬無しの学習[27]という文脈で既に研究されているので、好奇心だけでエージェントを押し込めることができたのです。
マリオのシミュレータの効率的なバージョンを使用して、観察スペース、アクション、ゲームのダイナミクスをそのまま維持しながら、より長いトレーニングのためにスケールアップする方が速くなります。
100倍のトレーニングと最適化のためにPPOを使用しているため、当社のエージェントはいくつかのレベルのゲームを通過することができ、Mario Brosの以前の探索結果を大幅に改善します。
根底にある最適化をより安定させることで、純粋に興味のあるエージェントのパフォーマンスをさらに押し上げることができますか?
1つの方法は、バッチサイズを拡大することです。
これは、実行環境の並列スレッド数を128から2048に増やすことで実現します。

6


Page 7

173>>1722018/08/27(月) 09:48:40.33ID:Zq8VRJ9K?2BP(0)

0 10 20 30
0 250 500 750 1000 1250 1500 1750 2000

エピソードごとの外来報酬

勾配の更新の数
(a)大きなバッチ付きマリオ
128環境のバッチ
バッチ1024環境

フレーム数(単位:百万)
(b)ジャグリング(Roboschool)
純粋な好奇心(無報酬、無限遠地平線)探査
ジャグリング(Roboschool)

フレーム数(単位:百万)
(c)2人用ポン
純粋な好奇心(無報酬、無限遠地平線)探査
2人のポン

図3:
(a)Left:MarioのRFメソッドと異なるバッチサイズの比較。
結果は外的報酬を使用しない。
(b)センター:ジャグリング(Roboschool)環境におけるボールのバウンス数。
(c)右:マルチプレイPong環境におけるエピソード長の平均。
The discontinuous jump on the graph corresponds to the agent reaching a limit of the environment -
グラフ上の不連続なジャンプは、エージェントが環境の限界に達することに対応します。
after a certain number of steps in the environment the Atari Pong emulator starts randomly cycling through background colors and becomes unresponsive to agent 's actions
環境内の特定のステップ数の後で、Atari Pongエミュレータは背景色をランダムに循環し始め、エージェントのアクションに応答しなくなります

174>>1732018/08/27(月) 09:49:49.73ID:Zq8VRJ9K?2BP(0)

図3(a)の128と2048の並列環境スレッドを用いた訓練の比較を示す。
グラフから明らかなように、2048パラレル環境スレッドを使用した大きなバッチサイズのトレーニングは、より優れたパフォーマンスを発揮します。
実際には、エージェントはもっと多くのゲームを探索することができます。ゲームの11のレベルを発見し、秘密の部屋を見つけ、上司を倒すことができます。
この大規模実験のポイントは、サンプル効率についての主張ではなく、エージェントのトレーニングに関するパフォーマンスであるため、図のx軸はフレーム数ではなく、グラジエントステップ数です。
この結果は、基本的なRLアルゴリズム(この場合はPPO)のトレーニングが向上するにつれて、純粋に好奇心に基づくエージェントのパフォーマンスが向上することを示しています。
ビデオはウェブサイトにあります。

175yamaguti2018/08/27(月) 09:53:04.76ID:Zq8VRJ9K?2BP(0)

176>>1742018/08/27(月) 09:53:40.98ID:Zq8VRJ9K?2BP(0)

C)ロボスジャグリング
私たちはRoboschoolフレームワークからPong環境を修正して、1つのパドルと2つのボールを持つようにしました。
アクション空間は2次元で連続しており、アクション空間を次元ごとに5ビンに離散化し、合計25のアクションを与えました。
ポリシーネットワークと埋め込みネットワークの両方は、ピクセル観測空間で訓練されています(注:状態空間ではありません)。
この環境は、ゲームで使用される玩具物理学よりも制御が難しいですが、代理人は、ボールがその領域に入ったときに、ボールを傍受して打つことを学びます。
図3(b)に示すように、環境との相互作用のプロキシとしてボールのバウンス回数を監視しました。
プロジェクトのウェブサイトのビデオを参照してください。

D) Roboschool Ant Robot ? D)Roboschoolアリロボット
また、トラック上に8つの制御可能なジョイントを持つAntで構成されるAnt環境を使用することも検討しました。
私たちは再び行動空間と訓練された政策とネットワークを生のピクセル(状態空間ではない)に離散化しました。
しかし、この場合、外的距離報酬尺度が競馬場に沿って進行するので探査を測定することは容易ではなかったが、純粋に興味のあるエージェントは任意の方向に自由に移動することができる。
私たちは、歩くような行動が純粋に好奇心に基づく訓練から出てくることを見出します。
私たちは、エージェントが環境と意味のあるやりとりをしていることを示す結果ビデオを読者に紹介します。

E)2人用ポンでのマルチエージェントの好奇心
私たちは既に、純粋に好奇心に基づいたエージェントが報酬なしでいくつかのアタリゲームを学ぶことを知っていますが、その対戦相手がハードコーディングされた戦略を持つコンピュータエージェントであることが原因です。
両方のチームが互いに対して好奇心を持って遊ぶようにするとどうなりますか?
調べるには、ゲームの両面(パドルのパドル)が好奇心に基づいたエージェントによって制御されているTwo-player Pongゲームを行います。
エージェントの初期レイヤーを共有し、異なるアクションヘッドを持ちます。つまり、合計アクションスペースは、プレイヤー1のアクションとプレイヤー2のアクションのクロスプロダクトです。

177>>1762018/08/27(月) 09:54:39.20ID:Zq8VRJ9K?2BP(0)

エージェントが両面をプレイしているので、この文脈では外的報酬は無意味なので、代わりにエピソードの長さを示します。
結果を図3(c)に示す。
We see from the episode length that the agent learns to have more and longer rallies over time, learning to play pong without any teacher ?
エピソードの長さから、エージェントが時間の経過と共にますます長くなる集会を学び、先生なしでポンをすることを学びます。
purely by curiosity on both sides.
純粋に両側の好奇心によって。
実際には、ゲーム集会は最終的には非常に長くなり、Atariエミュレータを破り、色が急激に変化し、プロットに示すようにポリシーがクラッシュします。

7


Page 8

178>>1772018/08/27(月) 09:55:21.59ID:Zq8VRJ9K?2BP(0)

3.2
スーパーマリオブラザーズの新レベルでの一般化
前のセクションでは、純粋に好奇心を持ったエージェントが効率的に探索し、ゲームでのゲームの振る舞い、Antでのウォーキングの振る舞いなどの有用なスキルを学ぶことを学ぶことができたことを示しました。
これまでは、エージェントが訓練された環境でこれらのスキルが示されていました。
しかし、無償学習を開発することの利点の1つは、新しい環境に一般化を示すことによって、報酬機能を持たない豊富な「未ラベル」環境を利用できるようにすることです。

これをテストするには、まずMario Brosのレベル1-1で好奇心を使ってエージェントを事前にトレーニングします。
私たちは、RFとIDFベースの好奇心惹起剤が、Marioの新しいレベルに一般化することがどれだけうまくいくかを調べます。
図4では、Marioの1つのレベルのトレーニングと別のテストレベルのfinetuningの2つの例を示し、テストレベルのスクラッチからの学習と比較します。
すべての場合のトレーニング信号は好奇心の報酬だけです。
最初のケースでは、レベル1-1からレベル1-2まで、環境のグローバル統計が一致します(どちらもゲームの「日の環境」、つまり青い背景です)が、レベルには異なる敵、ジオメトリ、難易度があります。
このシナリオでは、両方の方法から強い転送があることがわかります。
しかし、レベル1-1からレベル1-3までの第2のシナリオでは、転送性能は弱い。
これは、図4に示すように、昼間から夜間に色彩がシフトするため、後者のレベルのペアリングでは問題がかなり困難になるためです。

さらに、IDFで学習されたフィーチャは、最初のケースではランダムフィーチャ転送と両方のケースで転送されますが、2番目のシナリオでは翌日から転送されません。
これらの結果は、ランダムな特徴が学習環境で良好に機能する一方、学習された特徴は新規なレベルに対してよりよく一般化するようであることを示唆し得る。
しかし、これは、将来、さまざまな環境でより多くの分析が必要になります。
全体として、私たちは好奇心で学んだスキルが新しい環境で効果的に探索するのに役立つという有力な証拠を見つけます。

179>>1782018/08/27(月) 09:56:11.49ID:Zq8VRJ9K?2BP(0)

IDFスクラッチ
IDF転送
RFスクラッチ
RF転送

0 10 20 30
0 250 500 750 1000 1250 1500 1750 2000

World 1 level 1 to world 2 level 1 ? 世界1レベル1〜世界2レベル1
0 10 20 30
0 250 500 750 1000 1250 1500 1750 2000
世界1レベル1〜世界3レベル1
フレーム数(単位:百万)
エピソードごとの外来報酬

図4:
マリオ一般化実験。
左側にはレベル1-1からレベル1-2への転送結果が表示され、右側にはレベル1-1からレベル1-3への転送結果が表示されます。
各プロットの下に、ソース環境とターゲット環境のマップがあります。
すべてのエージェントは、外的報酬なしで訓練されています。

180>>1792018/08/27(月) 09:56:52.04ID:Zq8VRJ9K?2BP(0)

フレーム数(単位:百万)
エピソードごとの外来報酬

Unity迷路

ランダムCNN機能
外来のみ
Inverse dynamics features ? 逆動特性

図5:端末外因+好奇心の報酬で訓練している間のユニティ環境における平均外因的報酬。
外的報酬のみのトレーニングの曲線は常にゼロであることに注意してください。


3.3スパースな外部報酬による好奇心
これまでのすべての実験では、私たちのエージェントは、純粋に好奇心によって動かされるいかなる外的報酬もなく、有用な技能を習得できることを示しました。
しかし、多くのシナリオでは、エージェントが関心のある特定のタスクを実行することが必要な場合があります。
これは、通常、外的報酬を定義することによってエージェントに伝達されます。
報酬が密集している場合(たとえば、フレームごとのゲームの得点)、クラシックなRLはうまく機能し、本質的な報酬は一般的にパフォーマンスに役立ちません。
しかし、高密度報酬を設計することは困難な工学上の問題です(詳細は序論を参照してください)。
このセクションでは、疎外された、または単なる端末の報酬の存在下で、好奇心がエージェントがどのようにタスクを実行するのに役立つかを評価します。

端末報酬設定:
多くの実際の問題、例えばナビゲーションの場合、唯一の端末報酬が利用可能であり、古典的なRLは典型的には貧弱に動作する。
したがって、我々は9つの部屋と疎な端末報酬を持つUnity ML-agentフレームワークで設計された迷路の3Dナビゲーションを検討する。

8

181>>1802018/08/27(月) 09:57:26.92ID:Zq8VRJ9K?2BP(0)

Page 9

前方への移動、15度左を見る、15度右を見る、そして何も操作しない離散的なアクション空間があります。
エージェントは部屋1から開始します。部屋1はエージェント9の目標を含む部屋9から最も離れています。
私たちは、外的報酬で訓練されたエージェント(目標に達すると+1、それ以外の場合は0)を外的+内的報酬で訓練されたエージェントと比較します。
外来のみ(古典的なRL)は、すべての試行において目標を見つけることは決してありません。意味のある勾配を得ることは不可能です。
外因性+内在性は、典型的に毎回報酬を得ることに集中するのに対し、
図5の結果は、バニラPPO、PPO + IDF-好奇心およびPPO + RF-好奇心の結果を示す。

Sparse reward setting: In preliminary experiments, we picked 5 Atari games which have sparse rewards (as categorized by [3]), and compared extrinsic (classic RL) vs.
疎な報酬設定:予備実験では、疎な報酬([3]で分類される)を持つ5つのAtariゲームを選び、外的(古典的なRL)vs.
extrinsic+intrinsic (ours) reward performance.
外因性+内在性(私たちの)報酬のパフォーマンス。
5つのうち4試合では、好奇心のボーナスによりパフォーマンスが向上します(付録の表2を参照してください)。
これは本書の焦点では​​ないことを強調したいと思います。これらの実験は完全性のために提供されています。
外因性(係数1.0)と内因性報酬(係数0.01)を調整することなく直接結合しました。
私たちは、内在的報酬と内在報酬を将来の方向性として最適に組み合わせる方法について質問を残します。

182>>1812018/08/27(月) 09:58:05.09ID:Zq8VRJ9K?2BP(0)

4
関連作業

本質的な動機づけ:
A family of approaches to intrinsic motivation reward内在的なモチベーション報酬へのアプローチのファミリー
an agent based on prediction error [2, 27, 36, 42], prediction uncertainty [11, 44], or improvement [19, 34] of a forward dynamics model of the environment that gets trained along with the agent 's policy.
エージェントの方針とともに訓練された環境のフォワードダイナミクスモデルの予測誤差[2,27,36,42]、予測不確実性[11,44]、または改善[19,34]に基づくエージェント。
A family of approaches to intrinsic motivation reward an agent based on prediction error , prediction uncertainty , or improvement of a forward dynamics model of the environment that gets trained along with the agent 's policy.
内在的動機づけへのアプローチの一群は、予測誤差、予測​​不確実性、またはエージェントの方針とともに訓練される環境の順動力学モデルの改善に基づいてエージェントに報酬を与える。
その結果、フォワードダイナミクスモデルの予測が困難な領域にエージェントが移動し、モデルはこれらの領域の予測を改善します。
この敵対的および非定常的な力学は複雑な挙動を引き起こす可能性がある。
この分野では、外部報酬が存在しない純粋な探査環境では、ほとんど進んでいません。
Of these mostly closely related are those that use a forward dynamics model of a feature space such as Stadie et al.
これらの大部分は、Stadieらのような特徴空間の順動力学モデルを使用するものである。
[42] where they use autoencoder features, and Pathak et al.
[42]オートエンコーダー機能を使用する場所、Pathak et al。
[27] where they use features trained
[27]訓練された機能を使用する場所
逆動力学の仕事で。
これらは、セクション2.1で詳述されているVAEとIDFメソッドにほぼ対応しています。

183>>1822018/08/27(月) 09:58:40.51ID:Zq8VRJ9K?2BP(0)

内在的な報酬には、州訪問回数の平滑化されたバージョンを使用することができる[3,9,24,47]。
Count-based methods have already shown very strong results when combining with extrinsic rewards such as setting the state of the art in the Atari game Montezuma 's Revenge [3],
カウントベースの方法は、AtariのゲームMontezuma's Revenge [3]で最新の状態を設定するなどの外的な報酬と組み合わせると、非常に強力な結果を示しています。
and also showing significant exploration of the game without using the extrinsic reward.
また、外的報酬を使用せずにゲームの重要な探索を示しています。
カウントベースのアプローチがダイナミクスベースのアプローチよりも好まれるべきである状況はまだ明確ではない。このペーパーでは、ダイナミクスベースのボーナスに重点を置くことを選択しました。
私たちの予備実験では、既存のカウントベースの実装では大規模な研究のためのスケールアップで十分な成功を収めていませんでした。

外的報酬や適性機能のない学習は、進化的コンピューティングでも広く研究されており、「新規性検索」と呼ばれている[17,18,43]。
そこでは、イベントの新規性は、距離を計算するためにイベントのいくつかの統計を使用して、以前のイベントの間で最も近い隣にイベントの距離として定義されることが多い。
この文献からの興味深い発見の1つは、多くの場合、フィットネスのためだけに最適化する以外には、はるかに興味深い解決策を見つけることができるということです。

184>>1832018/08/27(月) 10:04:22.65ID:Zq8VRJ9K?2BP(0)

Other methods of exploration are designed to work in combination with maximizing a reward function, such as those utilizing uncertainty about value function estimates [5, 23], or those using perturbations of the policy for exploration [8, 29].
他の探査方法は、価値関数推定値に関する不確実性を利用する報酬関数や探索のための方針の摂動を用いる報酬関数などの報酬関数を最大化することと組み合わせて機能するように設計されている[8]、[29]。
Schmidhuber [37]とOudeyer [25]、OudeyerとKaplan [26]は、内在的動機づけへのアプローチに関する初期の研究のいくつかについて素晴らしいレビューを提供する。

185>>1842018/08/27(月) 10:04:55.85ID:Zq8VRJ9K?2BP(0)

Alternative methods of exploration include Sukhbaatar et al.
探査の代替方法には、Sukhbaatar et al。
[45] where they utilize an adversarial game between two agents for exploration.
[45]彼らは探索のために2つのエージェントの間で敵対的なゲームを利用する。
In Gregor et al.
Gregor et al。
[10], they optimize a quantity called empowerment which is a measurement of the control an agent has over the state.
[10]、エージェントはエンパワーメントと呼ばれる量を最適化します。これは、エージェントがその状態を超えた制御の測定値です。
In a concurrent work, diversity is used as a measure to learn skills without reward functions Eysenbach et al.
並行作業では、報酬機能なしにスキルを習得するための手段として多様性が使用されます。Eysenbach et al。
[7].
[7]。

186>>1852018/08/27(月) 10:06:03.78ID:Zq8VRJ9K?2BP(0)

ランダムな特徴:
この論文の発見の1つは、ランダムな特徴の驚くべき有効性であり、ランダム投影法およびより一般的にはランダムに初期化されたニューラルネットワークに関する著しい文献がある。
Much of the literature has focused on using random features for classification [14, 33, 49] where the typical finding is that whilst random features can work well for simpler problems,
文献の多くは、分類のためにランダムな特徴を用いることに焦点を当てている[14,33,49]。典型的な発見は、ランダムな特徴がより簡単な問題のためにうまくいく一方、
feature learning performs much better once the problem becomes sufficiently complex.
問題が十分に複雑になると、フィーチャラーニングははるかに良好に機能します。
literature has focused on using random features for classification where the typical finding is that whilst random features can work well for simpler problems, feature learning performs much better once the problem becomes sufficiently complex.
文献では、ランダムな特徴がより単純な問題に対してはうまくいくが、問題の学習がはるかに良好になるという典型的な発見がある場合、分類にランダムな特徴を用いることに集中している。
このパターンがダイナミクスに基づく探索にも当てはまると期待していますが、学習したフィーチャがMario Brosの斬新なレベルでより一般化するように見える予備的な証拠があります。

9

187>>1862018/08/27(月) 10:06:35.97ID:Zq8VRJ9K?2BP(0)

Page 10

5
討論

私たちのエージェントは純粋に好奇心を持って訓練され、有益な行動を学ぶことができることを示しました。
(a)エージェントは報酬を使わずに多くのアタリゲームをプレイできます。
(b)マリオは報酬なしで11レベル以上を越えることができる。
(c)Ant環境で起こったような行動を歩く。
(d)Robo-school環境における挙動のようなジャグリング
(e)両者の好奇心に基づくエージェントを用いたTwo-player Pongでのラリー作成行動。
しかし、環境の探索が外的報酬に対応していないAtariゲームがあるので、これは必ずしも真実ではありません。

より一般的には、これらの結果は、人間によって設計された環境では、外的報酬は、しばしば新規性を求めるという目的と一致していることを示唆している。
ゲームデザイナーは、ゲームをプレイしながらユーザーを誘導するためのカリキュラムを設定し、その理由を説明します。好奇心のような目的は、多くの人間が設計したゲームでは外的な報酬とうまく一致します[6,12,16,48]。

188>>1872018/08/27(月) 10:07:25.34ID:Zq8VRJ9K?2BP(0)

0.0 0.2 0.4 0.6 0.8 1.0
0 1 2 3 4 5 6 7 8

フレーム数(単位:百万)
エピソードごとの外来報酬

テレビをオフにしたRF
TV付きのRF
IDFでテレビをオフにする
TV付きIDF

図6:
3.3節では、ユニティ環境に雑音の多いTVを追加します。
私たちはIDFとRFをテレビの有無にかかわらず比較します。


予測誤差に基づく好奇心の限界:
より深刻な潜在的な限界は、確率論的ダイナミクスの取り扱いです。
環境内の遷移がランダムである場合、完全な力学モデルであっても、予想される報酬は遷移のエントロピーであり、エージェントはエントロピーが最も高い遷移を求める。
環境が本当にランダムではなくても、学習アルゴリズムが悪いため予測不可能であっても、貧弱なモデルクラスまたは部分的な観測可能性はまったく同じ問題につながります。
私たちはゲームの実験でこの効果を観察しなかったので、その点を説明する環境を設計しました。

189>>1882018/08/27(月) 10:07:53.87ID:Zq8VRJ9K?2BP(0)

我々は3.3節の迷路に戻り、ノイズの多いTV問題と呼ばれる共通の思考実験を経験的に検証する。
そのアイデアは、アクションが取られたときにチャンネルをランダムに変更するテレビのような環境におけるエントロピーのローカルソースは、エージェントにとって不可欠な誘因であることがわかっているはずです。
私たちは文字通りこの思考実験を行い、チャンネルを変更するアクションとともに迷路にテレビを追加します。
図6では、ノイズの多いTVの追加がIDFとRFのパフォーマンスにどのように影響するかを示しています。
予想どおり、テレビの存在は学習を大幅に遅くしますが、実験を長時間実行すると、エージェントは時には外的報酬を一貫して得ることに集中することがあります。
経験的には、確率論が問題になる可能性があることを経験的に示しているので、今後の研究ではこの問題を効率的に扱うことが重要です。

Future Work:今後の仕事:
私たちは、報酬機能やエピソードの終わりの信号なしに、多様な環境にわたる重要でない行動を学ぶことができるシンプルでスケーラブルなアプローチを提示しました。
この論文の驚くべき発見の1つは、ランダムなフィーチャがかなり機能することですが、学習されたフィーチャはより一般化するように見えます。
環境が複雑になると、学習機能は重要になると考えていますが、今後はそれを探求していく予定です。
しかし、私たちのより広い目標は、関心のある課題のパフォーマンスを向上させるために、多くの未ラベル(すなわち、報酬機能を持たない)環境を利用できることを示すことです。
この目標を前提にすると、一般的な報酬機能を備えた環境でパフォーマンスを示すことは、最初のステップにすぎません。将来の作業では、ラベルのない環境からラベルの付いた環境への移行を調査できます。

190>>1892018/08/27(月) 10:09:00.93ID:Zq8VRJ9K?2BP(0)

謝辞

私たちはUnity環境、Phillip Isola、Alex Nicholsの助けを借りてChris Luに感謝の意を表する。
実りある議論のために、BAIRとOpenAIのメンバーに感謝します。
DPはFacebookの卒業生のフェローシップによってサポートされています。

参考文献

[1] Unity ML-agents. ? [1]統一MLエージェント。
http://github.com/Unity-Technologies/ml-agents
2

10

191>>1902018/08/27(月) 10:11:18.00ID:Zq8VRJ9K?2BP(0)

Page 11

[2] J. AchiamおよびS. Sastry。 深い強化学習のためのサプライズベースの内的動機。
arXiv:1703.01732,2017。3,9
[3] M. Bellemare、S. Srinivasan、G. Ostrovski、T.Schaul、D. Saxton、およびR.Munos。
カウントベースの探索と固有のモチベーションの統一。 NIPSでは、2016年1月9日
[4] MG Bellemare、Y. Naddaf、J. Veness、およびM. Bowling。 アーケード学習環境:一般エージェントの評価プラットフォーム。
Journal of Artificial Intelligence Research、47:253279、jun 2013. 2
[5] RY Chen、J. Schulman、P. Abbeel、およびS. Sidor。
q-ensembles.arXiv:1706.01502、2017.によるUCBとインフォゲイン探査
[6] G. Costikyan。 ゲームの不確実性。 Mit Press、2013. 6、10
[7] B. Eysenbach、A. Gupta、J. Ibarz、およびS. Levine。
ダイバーシティはあなたが必要とするすべてです:報酬機能のない学習スキル。 arXivプレプリント、2018
[8] M. Fortunato, MG Azar, B. Piot, J. Menick, I. Osband, A. Graves, V. Mnih, R. Munos, D. Hassabis, O. Pietquin, C. Blundell, and S. Legg.
M. Fortunato、MG Azar、B. Piot、J. Menick、I. Osband、A. Graves、V. Mnih、R. Munos、D. Hassabis、O. Pietquin、C. Blundell、およびS. Legg 。
探査のための騒々しいネットワーク。 arXiv:1706.10295,2017。9
[9] J. Fu、JD Co-Reyes、およびS. Levine。 EX2:深層強化学習のための模範モデルによる探査。 NIPS、2017. 9
[10] K. Gregor、DJ Rezende、およびD. Wierstra。 バリアント固有制御。 ICLRワークショップ、2017年9月
[11] R. Houthooft, X. Chen, Y. Duan, J. Schulman, F. De Turck, and P. Abbeel.
R. Houthooft、X. Chen、Y. Duan、J. Schulman、F. De Turck、およびP. Abbeel。
Vime:探索情報を最大化する変分情報。 NIPSでは、2016年1月9日
[12] R. Hunicke、M. LeBlanc、およびR. Zubek。
Mda:ゲーム設計とゲーム研究への正式なアプローチ。 ゲームAIにおける課題に関するAAAIワークショップ(2004年6月10日)
[13] S.IoffeおよびC.Szegedy。 バッチ正規化:内部共変量シフトを減らすことにより、深いネットワークトレーニングを加速します。
arXiv preprint arXiv:1502.03167,2015 4

192>>1912018/08/27(月) 10:12:16.58ID:Zq8VRJ9K?2BP(0)

[14] K. Jarrett、K. Kavukcuoglu、Y. LeCun、et al。 オブジェクト認識のための最善のマルチステージアーキテクチャとは何ですか?
IEEE, 2009. 9コンピュータビジョン、2009年IEEE第12回国際会議、21462153ページ、IEEE、2009. 9
[15] DP KingmaとM. Welling。 変分ベイズの自動エンコーディング。 arXiv preprint arXiv:2013年2月3日、1312.6114
[16] N. Lazzaro。 ゲームをする理由: プレイヤーの経験でより多くの感情への4つの鍵。 Proceedings of GDC、2004. 6、10
[17] J. LehmanおよびKO Stanley。 新規性の探索を通じて問題を解決するためのオープンエンド性の活用。 ALIFE、2008. 9
[18] J.リーマンとKOスタンレー。 放棄する目的:進化だけで斬新さの探索。 進化的計算、2011. 9
[19] M. Lopes、T. Lang、M. Toussaint、およびP.-Y. Oudeyer. Oudeyer。
経験的に学習進展を推定することによるモデルベースの強化学習の探索。 NIPS、2012. 9
[20] M. Lopes、T. Lang、M. Toussaint、およびP.-Y. Oudeyer。
経験的に学習進展を推定することによるモデルベースの強化学習の探索。 NIPS、2012. 1
[21] V. Mnih、K. Kavukcuoglu、D. Silver、AA Rusu、J. Veness、MG Bellemare、A. Graves、M. Riedmiller、AK Fidjeland、G. Ostrovski、et al。
深層強化学習による人間のレベルの制御。 Nature、2015、1
[22] S。モハメドとDJ Rezende。 本質的に動機付けされた強化学習のための変分情報の最大化。 NIPSでは、2015年1月
[23] I. Osband、C. Blundell、A. Pritzel、およびB. Van Roy。 ブートストラップdqnによる深い探査。 NIPS、2016年9月
[24] G. Ostrovski、MG Bellemare、A.vd Oord、およびR.Munos。
神経密度モデルを用いたカウントベースの探索。 arXiv:1703.01310,2017。1,9
[25] P.-Y. Oudeyer。 好奇心に基づく学習の計算理論。 arXiv preprint arXiv:1802.10546、2018. 9

11


Page 12

193>>1922018/08/27(月) 10:12:55.87ID:Zq8VRJ9K?2BP(0)

[26] P.-Y. Oudeyer and F. Kaplan。 内在的な動機は何ですか? 計算上のアプローチの類型。 ニューロロボティクスの最前線、2009年1月9日
[27] D. Pathak, P. Agrawal, AA Efros, and T. Darrell.
D.Patak、P. Agrawal、AA Efros、およびT. Darrell。
自己監視予測による好奇心に基づく探索。 ICMLでは、2017年1月2日、3日、4日、6日、9日
[28] D. Pathak, P. Mahmoudieh, G. Luo, P. Agrawal, D. Chen, Y. Shentu, E. Shelhamer, J. Malik, AA Efros, and T. Darrell.
D. Pathak、P. Mahmoudieh、G. Luo、P. Agrawal、D. Chen、Y. Shentu、E. Shelhamer、J. Malik、AA Efros、およびT. Darrell。
ゼロショットの視覚的模倣。 ICLR、2018.1
[29] M.Plappert、R.Houthooft、P.Dhariwal、S.Sidor、RYChen、X.Chen、T.Asfour、P.Abbeel、およびM. Andrychowicz。
探索のためのパラメータ空間雑音。 arXiv:1706.01905,2017。9
[30] P. Poupart、N. Vlassis、J. Hoey、およびK. Regan。
離散ベイジアン強化学習の解析的解。 ICML、2006. 1
[31] DJ Rezende、S.Mohamed、およびD.Wierstra。
深い生成モデルにおける確率的逆伝播と近似推論。 arXiv preprint arXiv:1401.4082、2014。3
[32] EL Ryan、Richard; Deci。 内在的および外的な動機:古典的定義と新しい方向性。 現代教育心理学、2000. 1
[33] AM Saxe, PW Koh, Z. Chen, M. Bhand, B. Suresh, and AY Ng.
AM Saxe、PW Koh、Z. Chen、M. Bhand、B. Suresh、およびAY Ng。
ランダムウェイトと教師なしの特徴学習。 ICML、10891096ページ、2011年。

194>>1932018/08/27(月) 10:13:33.41ID:Zq8VRJ9K?2BP(0)

[34] J. Schmidhuber. 。 奇妙なモデル構築制御システム。
Neural Networks、1991年、IEEE国際共同会議、14581463ページ、IEEE、1991. 9
[35] J. Schmidhuber。 モデル構築のニューラルコントローラに好奇心と退屈を実現する可能性。
動物から動物へ:適応行動のシミュレーションに関する第1回国際会議の議事録、1991. 1
[36] J. Schmidhuber。 モデル構築のニューラルコントローラに好奇心と退屈を実現する可能性、1991. 9
[37] J. Schmidhuber。 創造性、楽しい、そして本質的な動機づけの公式理論(19902010)。
自律的精神発達に関するIEEEの取り組み、2010. 9
[38] J. Schulman、F. Wolski、P. Dhariwal、A. Radford、およびO. Klimov。 近接ポリシー最適化アルゴリズム。
arXiv preprint arXiv:1707.06347, 2017. 4
arXiv preprint arXiv:1707.06347,2017
[39] J. Schulman、F. Wolski、P. Dhariwal、A. Radford、およびO. Klimov。 近接ポリシー最適化アルゴリズム。
arXiv preprint arXiv:1707.06347、2017. 2
[40] SP Singh、AG Barto、N. Chentanez。 本質的に動機付けられた強化学習。 NIPSでは、2005年1月
[41] L.スミスとM.ガッサー。 具体的な認知の発達:赤ちゃんからの6回のレッスン。 人工生命、2005年1月
[42] BC Stadie、S。Levine、およびP. Abbeel。 深い予測モデルによる強化学習の探求を促進する。 NIPSワークショップ、2015年.2,9
[43] KO StanleyおよびJ. Lehman。 なぜ偉大さが計画できないのか:目的の神話。 Springer、2015。9
[44] S. StillおよびD. Precup。
An information-theoretic approach to curiosity-driven reinforcement learning.
好奇心に基づく強化学習への情報理論的アプローチ。 Theory in Biosciences, 2012. 9バイオサイエンス理論、2012. 9
[45] S. Sukhbaatar, I. Kostrikov, A. Szlam, and R. Fergus. [45] S. Sukhbaatar、I. Kostrikov、A. Szlam、およびR. Fergus。
Intrinsic motivation and automatic curricula via asymmetric self-play.
内在的な動機づけと、非対称セルフプレイによる自動カリキュラム。 In ICLR, 2018. 9 ICLR、2018年9月

195>>1942018/08/27(月) 10:14:07.88ID:Zq8VRJ9K?2BP(0)

[46] RS Sutton and AG Barto.
[46] RS SuttonおよびAG Barto。
Reinforcement learning: An introduction.
強化学習:導入。 MIT press Cambridge, 1998. 4
MITプレスケンブリッジ、1998。4
[47] H. Tang, R. Houthooft, D. Foote, A. Stooke, X. Chen, Y. Duan, J. Schulman, F. De Turck, and P. Abbeel.
H. Tang、R.Houthooft、D.Foote、A.Stooke、X.Chen、Y.Duan、J.Schulman、F.De Turck、およびP. Abbeel。
#Exploration:深層強化学習のためのカウントに基づく探索の研究。
神経情報処理システムの進歩、2017. 9
[48] P. Wouters、H. Van Oostendorp、R. Boonekamp、およびE. Van der Spek。
バックストーリーと予兆を実装することで、魅力的で効果的な真剣なゲームを作成する際のゲームの談話分析と好奇心の役割。
コンピュータとの交流、2011年6月、10
[49] Z. Yang, M. Moczulski, M. Denil, N. de Freitas, A. Smola, L. Song, and Z. Wang.
Z. Yang、M. Moczulski、M. Denil、N. de Freitas、A. Smola、L. Song、およびZ. Wang。
ディープフライドコンベット。
In Proceedings of the IEEE International Conference on Computer Vision, pages 14761483, 2015. 9
IEEEビジョンに関するIEEE国際会議予稿集、14761483、2015。

12

196>>1952018/08/27(月) 10:15:34.07ID:Zq8VRJ9K?2BP(0)

Page 13

A
実装の詳細

ウェブサイトでトレーニングコードと環境を公開しました3。
詳細については、ウェブサイトのコードとビデオの結果を参照してください。

前処理:
すべての実験はピクセルで行った。
すべての画像をグレースケールに変換し、サイズを84x84に変更しました。
現在の観測のみを使用するのではなく、歴史的観測[xt→3、xt→2、xt→1、xt]のスタックの両方でエージェントの方針とフォワードダイナミクスの機能を学ぶ。
これは、これらのゲームで部分的な観測可能性を取得するためです。
Super Mario BrosとAtariの実験では、各アクションを4回繰り返す標準フレームキットラッパーも使用しました。

197>>1962018/08/27(月) 10:16:05.21ID:Zq8VRJ9K?2BP(0)

Architectures:アーキテクチャ:
私たちの埋め込みネットワークとポリシーネットワークは、同一のアーキテクチャを持ち、Atariの実験で使用されている標準の畳み込みネットワークに基づいていました。
埋め込みネットワークのフィーチャとして取るレイヤーは、すべての実験で次元512で非線形性はありませんでした。
ユニティ実験では、予測誤差のスケールを外的報酬と比較して一定に保つために、埋め込みネットワークにbatchnormを適用しました。
また、共変量のレベルをレベルからレベルまで減らすためのMarioの一般化実験でもこれを行いました。
VAEの補助タスクとピクセルメソッドでは、同様のデコンボリューションアーキテクチャを使用しました。その詳細は、コード提出の中で見つけることができます。
IDFおよびフォワードダイナミクスネットワークは、埋め込みネットワークの最上位にあり、いくつかの完全に接続された次元の層512が追加されています。

ハイパーパラメータ:
すべてのネットワークで学習率0.0001を使用しました。
ほとんどの実験では、32の並列環境のみを実行できるUnityおよびRoboschoolの実験と、2048を使用した大規模なMarioの実験を除いて、128の並列環境を使用しました。
ユニティ実験を除いて、すべての実験で長さ128のロールアウトを使用しました。ここでは、512の長さのロールアウトを使用していました。ネットワークがすばやい報酬に素早く掛かるようにしました。
MarioとAtariの最初の9回の実験では、スピードのためにロールアウトあたり3つの最適化エポックを使用しました。
Marioスケーリング、一般化実験、Roboschool実験では、6エポックを使用しました。
ユニティ実験では、8つのエポックを使用しましたが、もう少し迅速に疎の報酬を利用しました。

B
追加の結果

198>>1972018/08/27(月) 10:16:35.47ID:Zq8VRJ9K?2BP(0)

0 250 500 750 1000 1250 1500 1750
0 1000 2000 3000 4000 5000 6000 7000

0 100 200 300 400

ビームライダー
BreakOut ? 起こる
MontezumaRevenge ? モンテスマ復讐
ポン
マリオ
Qbert
Reverraid ? 反逆
シークエスト
スペースインベーダーズ

フレーム数(単位:百万)
エピソードごとの外来報酬

ピクセル
VAE features ? VAEの機能
Inverse Dynamics features ? 逆動力学の特徴
Random CNN features ? ランダムCNN機能

(a)ベストリターン
(b)エピソードの長さ

図7:
(a)左:8つのアタリゲームとマリオの外生的なベストリターン。
(c)右:8つのアタリゲームとマリオのエピソード長の平均。

199>>1982018/08/27(月) 10:17:08.76ID:Zq8VRJ9K?2BP(0)

フレーム数(単位:百万)
エピソードごとの外来報酬

Inverse Dynamics features ? 逆動力学の特徴
ランダムエージェント
Random CNN features ? ランダムCNN機能

図8:
48個のAtariゲームで、純粋な好奇心に基づいた探索(外的報酬もエピソード終了信号もない)。
私たちは、外的帰還やエピソード信号の終わりにアクセスできないエージェントにもかかわらず、好奇心に基づくエージェントの外的帰還がしばしば増加することを観察します。
In multiple environments,
複数の環境では、
the performance of the curiosity-driven agents is significantly better than that of a random agent, although there are environments where the behavior of the agent is close to random, or in fact seems to minimize the return, rather than maximize it.
エージェントの行動がランダムに近いか、実際には最大限にするのではなく、リターンを最小限に抑えるような環境が存在するにもかかわらず、好奇心に基づいたエージェントのパフォーマンスはランダムエージェントのパフォーマンスよりも大幅に優れています。
大部分の訓練プロセスでは、RFは環境の約67%でランダムエージェントよりも優れていますが、IDFは環境の約71%でランダムエージェントよりも優れています。

200>>1992018/08/27(月) 10:17:54.98ID:Zq8VRJ9K?2BP(0)

Reward Gravitar Freeway Venture PrivateEye MontezumaRevenge ? Gravitar Freewayベンチャーに報酬を与えるPrivateEye Montezuma Revenge
Ext Only 999.3±220.7 33.3±0.6 0±0 5020.3±395 1783±691.7
Ext + Int 1165.1±53.6 32.8±0.3 416±416 3036.5±952.1 2504.6±4.6

表2:
これらの結果は、内因性+外因性報酬と外因性報酬のみを訓練した薬剤について、3種の種子にわたって1億フレーム後の平均報酬(±std-error)を比較する。
外因性(係数1.0)および内因性報酬(係数0.01)は、ハイパーパラメータ調整なしで直接結合された。
私たちは、将来の仕事まで内在的な報酬と内在的な報酬を最適に組み合わせる方法について質問を残します。
これは、内因性報酬と外的要因を組み合わせることが論文の焦点では​​なく、これらの実験が完全性のために提供されていることを強調しています。

B.1
アタリ
探索の量をより正確に測定するために、図7(a)の好奇心に基づくエージェントと図7(b)のエピソードの長さの最良のリターンを提供します。
特に、ポンでは、エピソードの長さが長くなり、リターンの高原と相まって、代理人は報酬ではなくボールのバウンス数を最大にすることを示しています。

図8は、48個のAtariゲームでの逆動力学とランダム機能に基づく好奇心に基づくエージェントのパフォーマンスを示しています。

このペーパーの焦点では​​ありませんが、完全性のために、いくつかの希少な報酬Atariゲームに内的および外的報酬を組み合わせたいくつかの結果が含まれています。
外的報酬と組み合わせる場合、エピソード信号の終わりを使用します。
使用された報酬は、外的報酬に内的報酬の0.01倍を加えたものである。
結果を表2に示す。
内在的な報酬と外的報酬の組み合わせを調整する必要があるため、設定間に大きな違いはありません。
私たちはMontezuma's Revengeの本質的な+外因的な実行の1つが10の部屋を探索したことを観察しました。

3ウェブサイトhttp://pathak22.github.io/large-scale-curiosity/

13

201>>2002018/08/27(月) 10:19:14.57ID:Zq8VRJ9K?2BP(0)

Page 14


0 2500 5000 7500 10000 12500 15000 17500
0 25000 50000 75000 100000 125000 150000 175000 200000

エピソードごとの外来報酬
勾配の更新の数

マリオのスケール

128環境のバッチ
バッチ1024環境

図9:
Marioスケーリング実験での外因性のベストリターン
より大きなバッチではエージェントがより効果的に探索し、より少ないパラメータ更新で同じパフォーマンスに到達し、より良い最終スコアを達成できることがわかりました。


B.2 Mario
図3(a)に示すプロットのアナログを示し、最大の外的収益を示します。
図9を参照。

14


Page 15


15

202yamaguti2018/08/27(月) 10:22:35.01ID:Zq8VRJ9K?2BP(0)

203>>155-2012018/08/27(月) 10:23:27.98ID:Zq8VRJ9K?2BP(0)

>>155-201
http://rio2016.5ch.net/test/read.cgi/future/1534904728/156-158#21-28#17#228# AI/AL
http://rio2016.5ch.net/test/read.cgi/future/1529408476/280# Araya


>158 ー 180824 1739 3eCkMSqb
:
>に突き動かされるエージェントは独自のルールを、なんというか、セットするようになる。
> 新しいことを経験するように刺激される。
>、Breakout ry 、飽きたくないというモチベから、いいパフォーマンスをしてくれるのだ。
> ホワイトペーパー:”ボールによってブロックが積みあがるだけ、残されたブロックは複雑になる。
>ry を刺激してさらに探索させ、その副産物でスコアも

 

> 123 名前:YAMAGUTIseisei E-mail:sagezon.jp/dp/4041058856/okyuryo-22 投稿日:NG NG?2BP(0)
> >>3 >>103
> http://www.nhk-ondemand.jp/
> 負けた相手にどう立向うか梅原はその戦略を考え続けていた
>
> もう少しこう自分からうーん攻める様な方法はないかなって云うのは夜考えてましたね
> 只キャラのキャラクターのコンセプト的にそういう風に作られてないので
> ちょっと無理あるかなーとは思ってますけど
>
> 其々のゲームキャラクターにはゲーム開発者によって強味や弱味が設定されている
> ときどの使う豪鬼 パワフルで攻撃力が非常に高く最強のキャラクターの一つだ
> だが梅原は敢て最強のキャラクターを使おうとはしない
> 梅原のガイルは防御力が強みで攻撃を仕掛けるよりは受けを得意とする
> 元々の設定上プロ同士が闘うとガイルは豪鬼の攻撃に耐え切れず劣勢になりがちだと言う
> だが

204>>2032018/08/27(月) 10:24:30.72ID:Zq8VRJ9K?2BP(0)

>>203
>
> 只意外とこういうのってホントにしつこくしつこく捜してると見付かったりするんですよね
> 開発者が意図してない部分でその技術を試すし考えるし自分がね工夫するしそれが楽しいんですね
> 新しい発見とかが見付かるかも知れないと思うとワクワクするし
>
> 最強ではないキャラクターの方が予想外の戦略で闘う面白さが生まれ易いと梅原は考える
> 梅原にはプロゲーマーが勝利と共に絶対に大事にすべきと考える事がある
>
> 観客を如何に楽しませられるか
>
> あのやっぱり見ている人がいてその人達を喜ばせる事 楽しませたりとか
> 後は単純に納得させたりとかするって云う事は凄い大事なそれがまそそそれがもぅゴールですから
> 仕事としてはそこがゴールですから見ている人達がどう感じるかじゃないですか
>
> 梅原は自分のキャラクターが苦手とする積極的な攻撃を試し始めた
>
>
>プロフェッショナル 仕事の流儀 新しい仕事スペシャル 2018/03/19(月)19:30放送 NHK総合 TVでた蔵
> http://datazoo.jp/tv/%E3%83%97%E3%83%AD%E3%83%95%E3%82%A7%E3%83%83%E3%82%B7%E3%83%A7%E3%83%8A%E3%83%AB+%E4%BB%95%E4%BA%8B%E3%81%AE%E6%B5%81%E5%84%80/1147496
> [プロフェッショナル 仕事の流儀 【 ry 】 ]の番組概要ページ - gooテレビ番組(
> http://tvtopic.goo.ne.jp/program/nhk/10934/1147496/

新着レスの表示
レスを投稿する