>>69
INT128とかINT64があったとして例えINT128からINT8にしても
16倍の性能が得られそして精度は10％程度しか落ちない

TensorコアならINT4とか INT1とか極端なモデルも考えられる。
実際神経のそれはニューロンが興奮した(あるいは発火した)を示せれば作れるわけで
"発火 or 非発火"で 1ビットでも足りる。
ビット数を減らせば同じ回路数での同時に演算できる行列演算（テンソル計算）の性能が増えるってこと。