Architectures:アーキテクチャ：
私たちの埋め込みネットワークとポリシーネットワークは、同一のアーキテクチャを持ち、Atariの実験で使用されている標準の畳み込みネットワークに基づいていました。
埋め込みネットワークのフィーチャとして取るレイヤーは、すべての実験で次元512で非線形性はありませんでした。
ユニティ実験では、予測誤差のスケールを外的報酬と比較して一定に保つために、埋め込みネットワークにbatchnormを適用しました。
また、共変量のレベルをレベルからレベルまで減らすためのMarioの一般化実験でもこれを行いました。
VAEの補助タスクとピクセルメソッドでは、同様のデコンボリューションアーキテクチャを使用しました。その詳細は、コード提出の中で見つけることができます。
IDFおよびフォワードダイナミクスネットワークは、埋め込みネットワークの最上位にあり、いくつかの完全に接続された次元の層512が追加されています。

ハイパーパラメータ：
すべてのネットワークで学習率0.0001を使用しました。
ほとんどの実験では、32の並列環境のみを実行できるUnityおよびRoboschoolの実験と、2048を使用した大規模なMarioの実験を除いて、128の並列環境を使用しました。
ユニティ実験を除いて、すべての実験で長さ128のロールアウトを使用しました。ここでは、512の長さのロールアウトを使用していました。ネットワークがすばやい報酬に素早く掛かるようにしました。
MarioとAtariの最初の9回の実験では、スピードのためにロールアウトあたり3つの最適化エポックを使用しました。
Marioスケーリング、一般化実験、Roboschool実験では、6エポックを使用しました。
ユニティ実験では、8つのエポックを使用しましたが、もう少し迅速に疎の報酬を利用しました。

B
追加の結果