(情報科学)技術的特異点と科学技術等 2 (ナノテク)©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
>>189 >>267 >>184-216
YAMAGUTIseisei wrote:
>> E2ダイナミックマルチコアアーキテクチャにおける動的ベクトル化
>
> 訂正
>
>> スカラーモードでは、どの命令もブロック内の他の回路にオペランドを送信でき、電力を節約するためにALUのうち2つを除くすべてがオフになります。
>> ベクタモードでは、すべてのN個のALUはオンになっていますが、回路は同じベクタレーンの回路にのみオペランドを送信できます。
>
> スカラーモードでは、どの命令もブロック内の他の命令にオペランドを送信でき、電力を節約するためにALUのうち2つを除くすべてがオフになります。
> ベクタモードでは、すべてのN個のALUはオンになっていますが、命令は同じベクタレーンの命令にのみオペランドを送信できます。
> YAMAGUTIseisei wrote:
:
>> dahara1 氏
>> Universal Transformerを用いて翻訳を超える
>> http://webbigdata.jp/ai/post-1575
>>> 以下、ai.googleblog.comより「Moving Beyond Translation with the Universal Transformer」の意訳です。
>> 要約
>>
>>
>>
>> 目次
>>
>> * 1. ry まとめ
>> * 2. ry Transformerをより汎用的にしたUniversal Transformer
>> * 3. ry 感想
>> * 4. ry まとめ
>>
>> １． ry まとめ
>>
>> ・機械翻訳で圧倒的な ry Transformerをより汎用的にしたUniversal Transformer ry
>> ・ry 曖昧な単語をより深く調べるように動的に動作を変更する事ができる
>> ・Transformerは翻訳以外の作業は不得意だが、Universal Transformerは様々な作業に応用できる
>> ２．Transformerをより汎用的にしたUniversal Transformer
>>
>> 以下、ai.googleblog.comより「Moving Beyond Translation with the Universal Transformer」の意訳です。
>>
>> 昨年、我々は既存の機械翻訳や、その他の自然言語を扱う既存 ry よりも顕著な成功 ry 機械学習モデルであるTransformer ry
>>
>> Transformer以前のニューラルネットワークに基づく機械翻訳アプローチの大半は、文章の先頭から順番に処理をしていました。
>> これはRNN ( ry ) ry 、RNNは文章を先頭から順番に ry 、ある文を翻訳した結果を続く文を翻訳する際にインプットに利用 ry
>> 、前の段落の文脈を捉え ry 、 RNNは文書のような連続する処理( ry )において非常に強力ですが、 ry
>> 、長い文章ではより多くの処理ステップと時間 ry 、またそれらの繰り返し構造は人工知能を適切に学習 ry 困難
>>
>> ry 対照的に、Transformerでは全ての単語またはシンボルを並列に処理しながら、セルフアテンションメカニズムを使用して、
>> 離れた位置の文章から文脈を組み込む ry 。並行して全ての単語を処理しつつ、
>> 複数の処理ステップにわたって各単語を文中の他の離れた単語の解釈時に入力情報とし ry 速く訓練
>>
>> ry 。しかしながら、より小さく構造化された言語を理解する作業、またはもっとシンプルな文字列のコピー（ ry ） ry
>> 、トランスフォーマはあまりうまく ry 。対照的に、Neural GPUやNeural Turing Machineなどの既存 ry
>> は前述のようなシンプルなタスクでは上手く ry が、翻訳のような大規模な言語理解タスクでは上手く動作しません。
>>
>> ry Transformerを、斬新で効率的なparallel-in-time recurrenceを使用し、
>> 計算的に様々なタスクに応用できるチューリング完全なUniversal Transformersに拡張
>>
>> ２．Transformerをより汎用的にしたUniversal Transformer
>>
>> 以下、ai.googleblog.comより「Moving Beyond Translation with the Universal Transformer」の意訳です。
>>
>> 昨年、我々は既存の機械翻訳や、その他の自然言語を扱う既存 ry よりも顕著な成功 ry 機械学習モデルであるTransformer ry
>>
>> Transformer以前のニューラルネットワークに基づく機械翻訳アプローチの大半は、文章の先頭から順番に処理をしていました。
>> これはRNN ( ry ) ry 、RNNは文章を先頭から順番に ry 、ある文を翻訳した結果を続く文を翻訳する際にインプットに利用 ry
>> 、前の段落の文脈を捉え ry 、 RNNは文書のような連続する処理( ry )において非常に強力ですが、 ry
>> 、長い文章ではより多くの処理ステップと時間 ry 、またそれらの繰り返し構造は人工知能を適切に学習 ry 困難
>>
>> ry 対照的に、Transformerでは全ての単語またはシンボルを並列に処理しながら、セルフアテンションメカニズムを使用して、
>> 離れた位置の文章から文脈を組み込む ry 。並行して全ての単語を処理しつつ、
>> 複数の処理ステップにわたって各単語を文中の他の離れた単語の解釈時に入力情報とし ry 速く訓練
>>
>> ry 。しかしながら、より小さく構造化された言語を理解する作業、またはもっとシンプルな文字列のコピー（ ry ） ry
>> 、トランスフォーマはあまりうまく ry 。対照的に、Neural GPUやNeural Turing Machineなどの既存 ry
>> は前述のようなシンプルなタスクでは上手く ry が、翻訳のような大規模な言語理解タスクでは上手く動作しません。
>>
>> ry Transformerを、斬新で効率的なparallel-in-time recurrenceを使用し、
>> 計算的に様々なタスクに応用できるチューリング完全なUniversal Transformersに拡張
>>
>> ry 訓練速度を維持するために並列構造を構築、Transformerの異なる変換関数を
>> 複数の parallel-in-time recurrentな変換関数に置き換えました。(下図のように同じ変換関数が、
>> 複数の処理ステップにわたって並列に、全てのシンボルに適用され、各ステップの出力が次のステップの入力に
>>
>> 重要なことは、RNNがシンボルを順次処理するケースで、Universal Transformerは全てのシンボルを
>> (Transformerのように)同時に処理します。しかし同時にUniversal Transformerはセルフアテンションを使用して
>> 平行に複数回、再帰的に反復処理を行い、 ry 解釈を改善します。このparallel- in-time recurrence ry は、
>> RNNで使用されている順次処理する再帰的メカニズムよりも高速であり、 ry 標準的なフィードフォワードTransformerより強力
>>
>> Universal Transformerは、セルフアテンションを使用して異なる位置からの情報を結合し、反復遷移関数を適用することによって、
>> シーケンスの各位置について一連のベクトル表現（h1〜hmとして示される）を繰り返して品質を向上します。矢印は操作間の依存関係
>>
>> 各ステップでは、オリジナルのTransformerと同様に、セルフアテンションを使用して、各シンボル
>> (例えば、文中の単語)から他の全てのシンボルに情報が伝達 ry 、この変換 ry (すなわち反復段階の数)は、
>> ry ( ry 、固定数または入力長に設定 ry )、またはUniversal Transformer自体によって動的に決定
>>
>> 後者の機能を実現するために、各位置に適応計算メカニズム ry
>> 、あいまいなシンボルやより多くの計算を必要とするシンボルに、より多くの処理ステップを割り当
>>
>> ry bankは、「銀行」、「土手」、「堤防」、「岸辺」、「海浜」、「塚」
>> :
>> 例えば単語「bank」 ry 厳密にするためにより多くの計算ステップ ry 追加的な文脈情報を統合
>> ■ このスレッドは過去ログ倉庫に格納されています
