人間より上手に記事やプログラムを書ける、話題騒然のAI「GPT-3」に巨大な弱点あり
https://xtech.nikkei.com/atcl/nxt/column/18/00692/090300037/

『近いうちに、GPT-3のような巨大言語モデルに必要となるメモリー消費量が少なくなり、一般企業にもそれを使いこなせる日が来るだろう。そうしたらAIの応用範囲は格段に広がるはずだ。』

『ストックマークの近江氏によれば、ALBERTのモデルのメモリー消費量はBERTの10分の1となる50MBで、それでいてBERTよりも精度が高いのだという。』

『さらにグーグルは2020年1月に、BERTやGPT-3が採用するTransformerの進化版であるReformerを発表している。』