0619オーバーテクナナシー
2020/08/04(火) 06:16:15.83ID:FZaD5vUL最近は勤労嵐がお気に入りだな
1000まで行ったけど次が立つ雰囲気は無し
ttps://www.infoq.com/jp/news/2020/08/openai-gpt3-language-model/
たとえば、テキストの合成では、「GPT-3サンプルはまだ意味的にドキュメントレベルで繰り返され、
十分に長いパッセージで一貫性を失い始め、矛盾し、時々不連続な文章や段落が含まれます。」
このモデルは、「チーズを冷蔵庫に入れたら、溶けますか?」などの「常識的な物理学」の質問にも問題がある。
gpt3は1750億パラメータでもまだこの位
https://webbigdata.jp/ai/post-6070
>なお、ヒントン先生は「GPT3の壮観なパフォーマンスから未来を推定すると、生命、宇宙、および全てに対する答えは
たったの4兆398億のパラメーターであることが示唆されます」とツイートされてました。GPT-3の最大モデルは
1750億パラメータらしいので、AIは後40倍弱でデミゴッド、すなわち半神の領域ぐらいには達するのでしょうか?
ちなみに4兆だったら10年以内に行けるって試算もあるらしいので、
___
富岳からもう一頑張りするくらいスケールアップしたら、ひょっとして行けちゃったり?
まあいわゆるエクサスケールということなんだろうなあと