傍観してる人間なんだけど1bitとか言うてる人のはシャノンエントロピーで情報量ゼロの人のは相互情報量なので食い違ってるように見えるんだけど
互いに独立なつまり相関のない場合の相互情報量はゼロ
離散的な二つの状態をとる場合は等確率でランダムに値を返すような時に相互情報量は最小になるという話では？