学習データに最適化されすぎて、本来の目的が達成できなくなる「過学習」
同様の現象がAIだけでなく、社会全体で起こっている可能性
https://gigazine.net/news/20230101-overfitting-machine-learning-goodharts-law/

>AIが学習データのみに最適化されてしまい、未知のデータに対する予測能力が低くなってしまうという現象
>プロキシの改善が進む一方で目標の改善が停滞する