? ry Transformerのエンコーダ ry の反復ブロック 図2 : Universal Transformer エンコーダとデコーダの再帰ブロック ? この図は ry ステップ符号化、 ry 接続および層正規 ry 。 このダイアグラムわ、位置およびタイムステップエンコーティング、ならびにドロップアウト、残差接続およびレイヤ正規化を省略している。 付録に完全版があります。 ? Adaptive Universal Transformerは、ACT ry て各位置のステップ数Tを動 ry 。 各位置に付いてのステップ数 T を適応的ユニバーサルトランスフォーマわ、 ACTを使用して動的に決定します 0076山口垢版2022/03/17(木) 06:33:30.30ID:LcgWH/dO>>24 |||| 人工知能(AI)と安全 ナブテスコ(株) 佐藤氏 |||| ttp://google.jp/?q=jp/main_content/000600672.pdf+OR+al-alife/vm/go-suto+OR+al-alife/vm/ghost# PDF 注意 0077オーバーテクナナシー垢版2022/05/02(月) 14:47:13.17ID:pPgGmqAW age 0078山口垢版2022/05/09(月) 09:29:13.20ID:s19dvODl 一覧 http://rio2016.2ch.net/test/read.cgi/future/1601145490/22-25
いくつかの例として、bAbIタスクの注意分布の視覚化を示します。 ? ry 質問のすべての事実に関するさまざまな頭に基づいて、 ry 。 注意の重みの視覚化は、ストーリーと質問との中に於ての事実全てに亘っての様々な各先頭 ( ? 訳注 : 各位置 ) に基づいて,さまざまな時間ステップにわたって行われます。 ? ry に基づく注意の重 ry 。 左側の異なるカラーバーは、異なるヘッド(合計4つのヘッド)に基づいた注意それらの重みを示します。
タスク1 からの数例:(解決するために裏付けとなる事実 1 つが必要) ? ry 1の例 ry に1つの裏付け ry 事実 ry Story : ? 物語: ジョンは廊下に行った。 メアリーわバスルームに出掛けた。 ? ry はトイレに旅した。 ダニエルわバスルームに戻りました。 ? ry はトイレに ry 。 ジョンは寝室に移動しました クエリ: メアリーはどこ? モデルの出力: バスルーム
1234 John travelled to the hallway. 1234 Mary journeyed to the bathroom. 12 Daniel went back to the bathroom. 1234 John moved to the bedroom 1234 Where is Mary? Where is Mary?
(a)ステップ1 (b)ステップ2 (c)ステップ3 (d)ステップ4
図5:「メアリーはどこですか?」という質問をエンコードするときの注意分布の視覚化。 0082山口垢版2022/05/09(月) 09:37:19.68ID:s19dvODl タスク2 からの一例:(解決する為にわ 2つの裏付けとなる事実が必要) ? ry 2の例:(解決する2 ry ストーリー: サンドラは廊下に旅しました。 メアリーわバスルームに行きました。 ? ry はトイレに ry 。 メアリーはそこでリンゴを取りました。 メアリーはリンゴを落としました。 クエリ: りんごはどこですか? モデルの出力: バスルーム ? 浴室
1234 Sandra journeyed to the hallway. 1234 Mary went to the bathroom. 1234 Mary took the apple there. 12 4 Mary dropped the apple. 234 Where is the apple? Where is the apple?
(a)ステップ1
(b)ステップ2
(c)ステップ3
(d)ステップ4
図6: 「リンゴはどこですか?」という質問をエンコードする際の注意分布の視覚化。 0083山口垢版2022/05/09(月) 09:41:57.54ID:s19dvODl タスク2 からの一例:(解決する2つの裏付けとなる事実が必要) ? ry 2の例 ry ストーリー: ジョンは廊下に行きました。 ジョンわバスルームに戻りました。 ? ry はトイレに ry 。 ジョンはそこで牛乳をつかみました。 サンドラはオフィスに戻りました。 サンドラは台所に行きました。 サンドラはそこでリンゴを手に入れました。 サンドラはリンゴをそこに落としました。 ジョンはミルクを落としました。 クエリ: 牛乳はどこですか? モデルの出力: バスルーム ? 浴室
4 John went to the hallway. 4 John went back to the bathroom. 1234 John grabbed the milk there. Sandra went back to the office. Sandra journeyed to the kitchen. 123 Sandra got the apple there. 123 Sandra dropped the apple there. 123 John dropped the milk. 1234 Where is the milk? Where is the milk?
(a)ステップ1 (b)ステップ2 (c)ステップ3 (d)ステップ4
図7: 「牛乳はどこですか?」という質問をエンコードする際の注意分布の視覚化。 0084山口垢版2022/05/09(月) 09:44:13.61ID:s19dvODl ? ry 3の例 ry タスク3 からの一例:(解決するには3つの裏付けとなる事実が必要) ストーリー: メアリーは牛乳を手に入れました。 ジョンは寝室に移動しました。 ダニエルはオフィスに行きました。 ジョンはそこでリンゴをつかんだ。 ? ry はサッカーを ry 。 ジョンわフットボールを手に入れました。 ジョンは庭に行きました。 メアリーは牛乳を残しました。 ? ry はサッカーを去った。 ジョンわフットボールを残しました。 ? ry は庭に引っ越し ry 。 ダニエルわ庭ゑ移動しました。 ? ry はサッカーを ry 。 ダニエルわフットボールをつかんだ。 メアリーは廊下に移動しました。 メアリーは台所に行った。 ジョンはそこにリンゴを置いた。 ジョンはリンゴを拾いました。 サンドラは廊下に移動しました。 ? ry にサッカーを ry 。 ダニエルはそこにフットボールを残しました。 ? ry はサッカーをしました。 ダニエルわフットボールを得ました。 ジョンは台所に行った。 ? ry はサッカーを ry 。 ダニエルわフットボールを落とした。 ジョンはリンゴを落とした。 ジョンはリンゴをつかんだ。 0085山口垢版2022/05/09(月) 09:46:21.88ID:s19dvODl ジョンはオフィスに行った。 サンドラは寝室に戻った。 サンドラはミルクを取りました。 ジョンはトイレに行きました。 ジョンはオフィスに行きました。 サンドラは牛乳を残しました。 メアリーは寝室に行った。 ? ry はオフィスに引っ越し ry 。 メアリーわオフィスゑ移動した。 ジョンは廊下に行った。 サンドラは庭に移動しました。 メアリーはキッチンに移動しました。 ? ry はサッカーをしました。 ダニエルわフットボールを得ました。 メアリーは寝室に行きました。 メアリーはそこで牛乳をつかんだ。 メアリーは牛乳を捨てた。 ジョンは庭に行きました。 ジョンはそこでリンゴを捨てた。 クエリ: ? トイレの前にリンゴは ry ? バスルームにあった以前にリンゴわどこにありましたか? モデルの出力: オフィス 0086山口垢版2022/05/09(月) 09:48:32.60ID:s19dvODl Mary got the milk. John moved to the bedroom. Daniel journeyed to the office. 1234 John grabbed the apple there. John got the football. John journeyed to the garden. Mary left the milk. John left the football. Daniel moved to the garden. Daniel grabbed the football. Mary moved to the hallway. Mary went to the kitchen. John put down the apple there. 1 3 John picked up the apple. Sandra moved to the hallway. Daniel left the football there. Daniel took the football. John travelled to the kitchen. Daniel dropped the football. 4 John dropped the apple. 1 4 John grabbed the apple. 234 John went to the office. Sandra went back to the bedroom. Sandra took the milk. 1234 John journeyed to the bathroom. John travelled to the office. Sandra left the milk. 4 Mary went to the bedroom. Mary moved to the office. 34 John travelled to the hallway. 0087山口垢版2022/05/09(月) 09:50:46.93ID:s19dvODl Sandra moved to the garden. Mary moved to the kitchen. Daniel took the football. Mary journeyed to the bedroom. Mary grabbed the milk there. Mary discarded the milk. John went to the garden. 123 John discarded the apple there. 1234 Where was the apple before the bathroom? Where was the apple before the bathroom?
(a)ステップ1 (b)ステップ2 (c)ステップ3 (d)ステップ4
? ry 「トイレの前にリンゴは ry 。 図8: 「バスルームにあった以前にリンゴわどこにありましたか?」という質問をエンコードしたときの注意分布の視覚化。
このタスクの成功は、モデルが構文構造を近似することを学習できることを示す強力な指標であるため、Linzen et al。(2016)によってさまざまなモデルが自然言語の階層構造をキャプチャする能力を評価するためのプロキシとして提案されました。
? ry タスクでモ ry 。 このタスクでのモデルをトレーニングするために、Linzenら(2016)によって2つの実験セットアップが提案されました:1)言語モデリングの目的でのトレーニング、つまり次の単語の予測、および2)二項分類としてのトレー ゙、つまり文に与えられた動詞の数の予測。 この論文では、言語モデリングの目的を使用します。つまり、モデルに暗黙の監視を提供し、動詞の誤った形式と比較した正しい形式の動詞のランク付けの精度に基づいて評価します。
? ry とは反対の数の1 ry 名詞が ry 。 このタスクでは、さまざまなレベルの難易度を持たせるために、「合意アトラクタ ( 原文 : agreement attractors ) 」が使用されます。つまり、モデルを混乱させる目的で、主語とわ反数である所の1つ以上の介在名詞達 ( 原文 : ntervening nouns ) が使用されます ? ry 主語の頭 ry 。 この場合、モデルは、特定の動詞に対応する構文主語 ( 統語的主語 ) の先頭を正しく識別し、その動詞の正しい形式を予測するために、介在するアトラクターを無視する必要があります サブジェクトと対応する動詞が太字 ( 訳注: この訳でわ大文字 ) で示され、合意アトラクタに下線 ( 訳注 : この訳でわ先頭大文字 ) が引かれている、このタスクのいくつかの例を次に示します。
アトラクタなし: the BOY SMAILES. 少年は微笑みます。 1つのアトラクタ: the NUMBER of Men IS not clear. 男性の数は明確ではありません。 2つのアトラクタ: the RAITO of Men to Women IS not clear. 男性と女性の比率は明確ではありません。 3つのアトラクタ: the RAITO of Men to Women and Children IS not clear. 男性と女性および子供との比率は明確ではありません。 0092山口垢版2022/05/09(月) 10:02:42.10ID:s19dvODl v3-16 D.4 実行するための学習 ( 原文 : LEARNING TO EXECUTE ) (LTE)。 ( 訳注: 汎用プログラム )
? ry 示す一連のタスクであり、 ry 。 LTEは、コンピュータープログラムの実行を学習するモデルの能力を示すタスクを含むセットであり,Zaremba&Sutskever(2015)によって提案されました ? ry ます。1 ry 、ifステートメント、変数割り当て、演算 ry 性などを理解 ry および2 ry ース)。 これらのタスクには、次の2つのサブセットが含まれます : 1)数値演算,ifステートメント,可変な引数,演算の構成性,など,を理解するためのモデルの能力を査定する為に設計されたプログラム評価タスク(プログラム、制御、および加算)、および更にわ、勿論 2)記憶タスク(コピー、ダブル、リバース)も。
プログラム評価タスクの難易度は、その長さとネストによってパラメータ化されます。 ? ry は、プ ムに表示される整数の桁数であり ry に組み合わせ ry です。 。 長さパラメーターわ,プログラムに現れる整数の桁数 ( 原文 : digits ) であり(したがって、整数は[1、長さ]から均一に選択されます)、ネストパラメーターは、操作を相互に我々が組合わせることができる回数です ネストの値が高いほど、解析ツリーが深くなります。 たとえば、長さ= 4、ネスト= 3で生成されるプログラムを次に示します。