>>909
情報理論の本を読めば書いてありますよ
確率の逆数の対数に負号を付けたものです