BERTはまだまだ進化する！軽くて強いALBERTが登場！
https://ai-scholar.tech/treatise/albert-ai-227/

✔魲ERTの構造に2つの改善を施し、大幅なパラメーター削減を実現
✔魲ERTで効果がないとされていた学習タスクを改善し、より文法を捉えた学習を実現
✔�pラメーター削減による速度の向上だけでなく、性能の向上をも実現