技術的特異点/シンギュラリティ【総合】 211

**オーバーテクナナシー** · 2022/05/29(日) 10:03:12.25

2045年頃に人類は技術的特異点(Technological Singularity)を迎えると予測されている。
未来技術によって、どのような世界が構築されるのか？人類はどうなるのか？
などを様々な視点から多角的に考察し意見交換するスレッド

※特異点に伴う社会・経済・政治の変化やベーシックインカムなどに関する話題は【社会・経済】へ

■技術的特異点：収穫加速の法則とコンピュータの成長率に基づいて予測された、
生物的制約から開放された知能[機械ベース or 機械で拡張]が生み出す、
具体的予測の困難な時代が到来する起点

■収穫加速の法則：進歩のペースがどんどん早くなるという統計的法則
ここでの進歩とは、技術的進歩だけでなく生物的進化、生化学的秩序形成も含む

★関連書籍・リンク・テンプレ集(必見)
https://singularity-2ch.memo.wiki/
★技術情報『米国における汎用人工知能(AGI)研究最新動向』

※前スレ
技術的特異点/シンギュラリティ【総合】 210
https://rio2016.5ch.net/test/read.cgi/future/1651850587/

**Seisei** · 2022/05/29(日) 17:40:09.07

Merry http://PalmOS3.mobile.twitter.com/ to Elon for http://Neura(l)Earth.mobile.twitter.com/

山口 · 2022/05/29(日) 17:48:59.64

>165 山口 220509 1138 s19dvODl >36 山口 220415 0751 ietwodMl >90 山口 220317 0646 LcgWH/dO >29 山口青星 220219 0115 WlivQtjM >34 YAMAGUTIseisei 220118 1949 dKjOzdDu ttp://rio2016.2ch.net/test/read.cgi/future/1504999631/624# Kifu
||>>>Google 翻訳 http://arxiv-vanity.com/papers/1807.03819v1/# http://arxiv.org/abs/1807.03819# 18年7月10 提 \>プレ \>>>Arxiv VanityはArxivの論文を Webページレンダするため、PDF に眉を顰める必要はありません
>>|>> 皆さんにジミーウェールズ集めたくはありませんがあなたがそれを好きなら、数ドル感謝
:
||>|| ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
|||||
||>|| 　　　　　　　　汎用普遍型トランスフォーマ
|||||
||>|| ──────────────────────────────
|||||
||||>
||||| 　　　Mostafa Dehghani * †　　　　　＆Stephan Gouws *
||||| 　　　アムステルダム大学　　　　　　　Google Brain
||||>　　　 dehghaniATuva nl 　　　　　　 sgouwsATgoogle
|||||
||||>　& Oriol Vinyals　　　＆Jakob Uszkoreit　　＆￡ukaszKaiser
||||| 　ディープマインド　　　Google Brain　　　　 Google Brain
||||>　 vinyalsATgoogle 　　　 uszATgoogle 　　 lukaszkaiserATgoogle
|||||
||||>
|||>* 名順 \| † GoogleBrainで行われた作業
:
|||>0 1 http://rio2016.2ch.net/test/read.cgi/future/1642414195/34-39#-40#1628247789/377#1620263233/571#544-572
||| 1 2 http://rio2016.2ch.net/test/read.cgi/future/1645157525/29-39#894#615#1543421218/73-76
|| 2 http://rio2016.2ch.net/test/read.cgi/future/1647352881/90-97#-102#-333#450#892##505-506
| 3 http://rio2016.2ch.net/test/read.cgi/future/1649767599/36-48#244#251#384#491#614##627-632#57
>A http://rio2016.2ch.net/test/read.cgi/future/1543421218/78-99#1651850587/165-166#404#959##39#145#178#186#245#313-314#343-354#387#430-431#524#562#577#602#660#760#821#828#844#828#873#934##136-146#197#213-236#248#286#970--998##556#373-385#668#883#930
:

山口 · 2022/05/29(日) 17:53:47.16

||||| 脳とシリコンスパイクニューロンとをメモリスタシナプスは接続する
|>>|>http://rio2016.2ch.net/test/read.cgi/future/1639559117/82-90##1552014941/69-81#67-89# http://rio2016.2ch.net/test/read.cgi/future/1513483649/115-124
:

「健康医療分野のデータベースを用いた戦略研究」
http://rio2016.2ch.net/test/read.cgi/future/1519958054/60-78#1649767599/57 ttp://google.jp/search?q=pezy-sc+paper# p://m.youtube.com/watch?v=l9OEV9dqYvM

訳注

http://rio2016.2ch.net/test/read.cgi/future/1595501875/86#1602728979/46-48##1645157525/894#MgrMnkkA8E?t=4855#1:24:55#1:48:24 KenRon # TaimuMasin / Zen-Mu-Kuu HiSuuri / NinsikiUtyuu ## MatudaSensei KouKi
http://m.youtube.com/watch?v=Mp0kO_KTU0w&t=4258#1:11:03# http://rio2016.2ch.net/test/read.cgi/future/1489922543/99#1427220599/443#144940326/415-420 ZyonHorando , HPK ( JO ) Y
HarmonyOS ロンチイベントファーウェイデベロッパカンファレンス 2019
http://rio2016.2ch.net/test/read.cgi/future/1571573897/25-31#-36 http://rio2016.2ch.net/test/read.cgi/future/1566534326/12
汎用 : 汎用 ⇔ 汎用途
ユニバーサル : ( 用途としてわ勿論の事 ) 内部設計として汎用普遍な ( = AGI ≠ ジェネラリスト AI ( 超強力弱い AI ) ≠ 強い AI ≒ ( 弱い ) ALife )
繰り返し ( イテレート ) : 反復
反復/繰り返し ( リカレント ) : 再帰
自己 : ( 自己 ) 再帰 ( 的 ) な
注意 : アテンション , 紐付 , 接続 , 結合 , リファレンス/ポインタ/アドレス
並行 : ( 今回の実装としてわ ) 並列同時並行 ( 並行又並列の定義にわ諸説あり )
変換 ( トランスフォーム ) : 変遷 ( 的 ) 変換 , ( 準動的 ) 変容
変換 ( コンバート ) : 変換

>430 ｰ 220517 1848 AIb3t992
:
>http://mixed-news.com/en/deepmind-is-gato-a-precursor-for-general-artificial-intelligence/
:

>Ultimately, this could lead to a generalist AI model that replaces specialized models.
これわ究極的にわ、特化型モデル群を置換える単一万能選手 ( 或いわ人格システム ) 風 AI モデルゑ導く見込。

山口 · 2022/05/29(日) 17:55:56.15

完成済汎用 AI / AL ( 弱い ALife )
http://rio2016.2ch.net/test/read.cgi/future/1481407726/205-207#1642414195/54-56#159#304 KanseiZumi Hannyou-AI/AL(YowaiALife)

汎用 AI/AL 設計例 ( 実装案 , 汎用構造 )
http://rio2016.2ch.net/test/read.cgi/future/1556696545/61-77# HannyouAI/AL SekkeiRei ( JissouAn , HannyouKouzou )

Smalltalkの背後にある設計原則
http://rio2016.2ch.net/test/read.cgi/future/1554363939/71-85#-88##1555604755/52#+plan9+elis-tao+simpos-esp+amigaos/intent+hongmngos+spurs/cell+dragonruby+model1sega+tronchip+hpky-universaltransformer+hpky-reformer+kenron
>人間の思考には、この論文では扱われていない明らかな別側面があります。 ( ⇔ 原始再帰関数/原始帰納的関数 ? : 訳注 )

電子頭脳設計概要 ( 実装案 , 汎用構造 )
http://rio2016.5ch.net/test/read.cgi/future/1427220599/478-509#742 DensiZunou SekkeiGaiyou ( JissouAn , HannyouKouzou )

　
>44 技術論(汎用AI/AL/ALife) 201017 0130 9Av//tVf
:
|>65 yamaguti 200306 2016 zZnIFtq3 \ \ \ \ \f0 \ : \>17 ya 181016 1818 QC06Ry5J? \
:
||||n0|、計算的に ry チューリング完全なUniversal Transformers
||n0| 汎用
| :

山口 · 2022/05/29(日) 17:57:41.80

3.5実行 ( 訳注 : 汎用処理 ) するための学習 ( 原文 : Learning to Execute ) （LTE）
? ry いるように、コンピュ ry ためのモデ ry タスクに ry も評価 ry 。
シーケンスツーシーケンス学習問題の別のクラスとして、（ ZS14 ）で提案されているものとしての，コンピュータプログラムを実行するための学習の為のモデルの能力を示す各タスク，についてのユニバーサルトランスフォーマーも我々わ評価します。
これらのタスクには、プログラム評価タスク（プログラム、制御、追加）、記憶タスク（コピー、ダブル、リバース）が含まれます。

　　　　　　　　コピー　　　　　　ダブル　　　　　　リバース　　　　　? 逆
　　　　　char-acc　seq-acc　 char-acc　seq-acc　 char-acc　seq-acc
モデル
LSTM　　　　0.78　　　0.11　　　0.51　　 0.047 　　 0.91　　 0.32
Transformer　 0.98　　　0.63　　　0.94 　　 0.55　　　 0.81　　 0.26　　　　? トランス
UT 　　　　　 1.0 　　　1.0 　　　 1.0　　　1.0 　　　 1.0　　　1.0 　　　　 ? ユニバーサルトランス

表5：文字レベル（ char-acc ）およびシーケンスレベルの精度（ seq-acc ）は、最大長が55のMemorization LTEタスクの結果となります。

　

　　　　　　　プログラム　　　　コントロール　　　　　Addition　　　　　? 添加
　　　　　char-acc　seq-acc　 char-acc　seq-acc 　 char-acc　seq-acc
　モデル
LSTM　　　　0.53　　　0.12　　　0.68　　　0.2 　　　 0.83 　　 0.11
Transformer　 0.71　　　0.29　　　0.93　　　0.66　　　1.0　　　1.0　　　　? トランス
UT　　　　　 0.89　　　0.63 　　　 1.0 　　　 1.0 　　　 1.0　　　1.0　　　　? ユニバーサルトランス

表6：プログラム評価LTEタスクの文字レベル（ char-acc ）およびシーケンスレベルの精度（ seq-acc ）は、最大ネスト2および長さ5の結果となります。

山口 · 2022/05/29(日) 18:00:27.55

>>13
? ry で説明した ry を使 ry 。
データセットを生成するために、（ ZS14 、）で議論されたミックス戦略を我々わ使用します
? ry は異なり、トレーニング中はカリキュラム ry を使用せず、テスト ry を使用しません。
（ ZS14 ）とわ異なり，トレーニング中にわカリキュラムの学習戦略を我々わ使用せず，且つテスト時にはターゲットシーケンスを使用しない事を我々わ成します
表5と表6は、それぞれプログラム評価と記憶課題に関するLSTMモデル、トランスフォーマー、ユニバーサルトランスフォーマの性能を示しています。 >13
ユニバｰォーマーは、すべての記憶タスクで完璧なスコアを達成し、すべてのプログラム評価作業においてLSTMとトラォーマーの両方を凌駕します。

3.6機械翻訳
? ry 、（トランス、）で ry して評 ry 。
標準的なWMT 2014英語 - ドイツ語の翻訳タスクについて，( transformer , ) で報告されたのと同じ設定を使用して我々わ評価した。
結果を表7に要約する。
? ACTを使用せずに、完全に接続された繰り返し機能を備えたユニバｰ ry 、および同数 ry BLEU向上 ry 。
再帰機能をフル接続で伴いそして ACT を伴わずに，ユニバーサルトランスフォーマーは、トランスフォーマーに対して0.9BLEU ，およそ同数のパラメーター（ ahmed2017weighted ）を持つ Weighted Transformer に対して0.5BLEU ，向上します。

　
　　　　　　　　　　　　　　　　　　　　　　　　　　 BLEU　　　　? ブリュウ
　　モデル
Universal Transformer small 　　　　　　　　　　　　　　26.8　　　　? ry トランス
Transformer ベース ( transformer , ) 　　　　　　　　　　　 28.0　　　　? トランスベース（トランス、）
Weighted Transformer ベｰス（ ahmed2017weighted 、）　28.4　　　　? 加重トランスベース ry
Universal Transformer ベース　　　　　　　　　　　　　　 28.9　　　　? ユニバーサルトランスベース

? ry De変換タスク ry
表7：同等のトレーニング設定で8xP100 GPUでトレーニングされたWMT14 En-De翻訳タスクの機械翻訳結果
? ry の基本結 ry ｰタがあります。
すべてのベース結果には同じ数のパラメータを持ちます

山口 · 2022/05/29(日) 18:02:43.79

? 4普遍性と他のモデル ry
4 普遍性 ( 訳注 : 汎用性 ) とそして他モデルとの関係

? ry いるため、標準のT ry に対応します。
十分なメモリが与えられれば ( 訳注 : リフォーマで大幅解決済 ) 、Universal Transformerは計算上普遍的です。つまり、チューリングマシンをシミュるために使用できるモデルのクラスに属しているので，標準Transformerモデルの欠点に対処します
? ry らず、我 ry は、この ry が、いくつかの難しいシｰ ry クの精度向上につながることを示しています。
理論的に魅力的であるにもかかわらず，この表現力の追加が，チャレンジングなシーケンスモデリングタスク幾つかに於て精度向上ゑ導く事をも我々の結果わ示します
? これにより、ry などの大規模なタスクと、ニュ ry などの計 ry ﾞルとの競争力のある実用的なシｰﾚのギャﾟがなくなり、 ry して訓練する ry できますアルゴリズムタスク。
これわ，機械翻訳など大規模タスクで競争力ある実用的シーケンスモデル，と，ニューラルチューリングマシンやNeural GPU （ ntm14 、 neural_gpu ）など計算上ユニバーサルモデル，と，の間のギャップを閉じ，そこでわ、勾配降下を使用してアルゴリズムタスク実施の為の訓練をすることができます

　
>774 ｰ 220524 1440 TEvmUDYm
>A 先生「、人間は恋をしてダンスをして詩を作って暮ら、というユ●トピアが訪れな ry
:

齊藤先生わ
瑞穂の國とわ仰ったが
ユ●トピアとわ仰ってない

山口 · 2022/05/29(日) 18:05:03.66

? ry ができます。
これを示すために、ニューラルGPUをユニバーサルトランスフォーマに縮小することが我々わできます
? ry 視し、自 ry をア数としてパ化すると、遷数は畳 ry 。
デコーダを無視 ( 訳注 : 動的性削減 ? ) し且つその自己アテンション機構をパラメータ化 ( 訳注 : 静的化 ? ) しアイデンティティ関数ゑと成らせ，我々わその ( ? 訳注 : それである所の ) 遷移関数を畳み込みであると仮定する。
? ここで、反復スﾟ ry と、正確にニュﾚGPUが得られます。
我々がここで，再帰ステップTの総数を入力長と等しく設定すると，ニューラル GPU を正確に我々わ得られます ( ? 訳注 : 等価 ) 。
? 最 ry は、ユニバｰ ry が入力のサイズに応じて動的に拡大縮小できない ry ｰマーとは大 ry 。
註記しますが，最後のステップわ，入力サイズに応じて深度を動的スケールできないバニラトランスフォーマーに比してユニバーサルトランスフォーマーが大きく異なる点です
? ユニバｰ ry シンとの間にも同 ry が、 ry し、スﾟごとの単一の読み取り/書き込み操作は、ユニバｰ ry な平行表示リョンに ry 。
同様の関係が，ユニバｰｰォーマとニューラルチューリングマシンそれとの間にも存在し，それのステップ毎の read/write オペレーション単一わ，ユニバｰｰマのグローバルな並列同時並行表現リビジョン群によって ( 訳注 : より精緻に ? ) 表現することができる。
? しかし、これ ry に、ア・タスクのみを実行するU ry を実現します。
これらのモデルとは対照的に，しかし乍ら，アルゴリズム・タスクを良好に ( 訳注 : 且つ汎用 AI/AL として ) 実行する唯一無二 ( 訳注 : 殆ど ⇔ HPKY ) たる Universal Transformerは、LAMBADAや機械翻訳などの現実的な自然言語タスクでも競争力のある結果を達成します

関連するもう1つのモデルアーキテクチャは、エンドツーエンドのメモリネットワーク（ sukhbaatar2015 、）です。
しかし、エンドツｰﾞメモリネッｰクとは対照的に、ユニバｰｰマは、その入力または出力の個々の位置に整列した状態に対応するメモリを使用する。
? ry ｰケンス間シーケンスタスクで競争力のある ry を実現します。
さらに、ユニバｰｰマは、エンコーダ/デコーダ構成に従い、大規模なシーケンスtoシーケンスタスクに於て競争力あるパフォーマンスを達成します

**オーバーテクナナシー** · 2022/05/29(日) 18:13:35.40

可動部品なし
蒸気タービン以上の高効率で熱を電気に変換できる熱機関が誕生 MIT
https://gigazine.net/news/20220414-heat-engine-no-moving-parts/

高温の輻射熱を電力に変換――MITとNREL
https://engineer.fabcross.jp/archeive/220526_a-new-heat-engine.html

これ革命だろ人工知能どころじゃない
AIって何だったんだ？ってレベル

**オーバーテクナナシー** · 2022/05/29(日) 18:33:52.80

これができれば、どんな熱もエネルギーとして回収できる

エンジンの熱、CPUの熱、真夏の猛暑、屋根の熱、ブレーキ摩擦の熱

山口 · 2022/05/29(日) 18:44:14.18

5結論

? ry ﾟーパーでは、理論 ry 張し、言解などの幅広い難しいシｰ ry に関する最 ry もたらすT rモデルの汎用トラォーマーについて紹介します。これは、さま ry スク、それによって標準的なT rの重要な欠 ry します。
このペーパーが紹介するのわユニバｰォーマ。 Transformer の，その理論的能力を拡張しそして言語理解タスクだけでなくさまざまなアルゴリズムタスクといった幅広いレンジのチャレンジングなシーケンスモデリングタスクに於て最先端の結果をもたらす
，汎化形モデルであり，それによって，標準 T r の，キー的欠点に対処しています
? ry のキｰ ry す。
ユｰマーは、以下の各キープロパティを1つのモデルに結合します :

? 体重共 ry れる体重共有の直感の後、私たちは誘 ry ﾚ表現の間 ry ンスを取るシﾚな体重分けでT rを拡 ry 。これは小規模実験と大験の両方で幅示しています。
重み共有：CNNやRNNで見られる荷重共有の背後にある直感それに従い私たちわ Transformer を，誘導バイアスとそして我々が小規模大規模両実験で幅広く示すモデル表現性と，の間の適正バランスを討ち獲る所の，シンプル形態な荷重共有で拡張します
? ry ：計算機に普遍的なマ ry 標では、ユ ry ｰマーに、最近導入されたメカニズムを使用して計算を中止または継続する機能を装 ry 。
条件付き計算：計算普遍マシンを構築するという我々の目標に於て，固定深度トラォーマ比で強力な結果を見せる所の、最近紹介された機構を通じての計算中止か計算継続かをする機能をユニバｰォーマーに我々わ装備しました

**オーバーテクナナシー** · 2022/05/29(日) 18:59:24.37

Googleアシスタントは、あなたの発言をすぐに認識できるようになる可能性があります
https://www.androidpolice.com/google-is-working-on-personalized-speech-recognition/amp/

**オーバーテクナナシー** · 2022/05/29(日) 19:00:08.73

現代バイオサイエンス、汎用抗ウイルス剤を開発
https://www.jiji.com/jc/article?k=000000018.000035123&g=prt

＞20世紀を代表する汎用抗生物質であるペニシリンのように、革新的な抗ウイルス剤が誕生
＞ニクロサミド基盤の「CP-COV03」

韓国やったな

**オーバーテクナナシー** · 2022/05/29(日) 19:05:17.07

現代バイオサイエンス、CP-COV03の第2相試験投薬手続き開始
https://prtimes.jp/main/html/rd/p/000000016.000035123.html
＞全てのウイルスに適用できる「オートファージ促進でウイルス除去」という革新的なメカニズム
＞「世界第1号汎用抗ウイルス剤」の誕生を狙った今回のCP-COV03の臨床試験は、
様々な面で1941年、人体を対象に行われたペニシリン試験と類似

山口 · 2022/05/29(日) 19:29:10.36

? ry は、並列時系列モ ry の進展に ry 。
私たちわ，等速的並列並行シーケンスモデルの最近の開発について熱心に取り組んでいます
? ry と処理の再現性を追 ry 、ここで紹介した基本的なユ ry するのに役立つことを願 ry 。
計算量と処理再帰深度とを追加することで，ここでご覧に入れた基本的ユニバｰｰマーを超えたさらなる改善が、現在の最先端技術を超えてより強力で、データ効率が高く、一般化 ( 原文 : generalize ) する学習アルゴリズムを構築する我々を助ける事を我々わ願っています

**オーバーテクナナシー** · 2022/05/29(日) 19:41:52.61

ユニバーサルトランスフォーマーのトレーニングと評価に使用されるコードは、 http://githu●.com/tensorflow/tensor2tensor （ tensor2tensor 、）から入手できます。