エントロピー

定義

確率分布の「不確かさ」や「情報量」を表す指標。-Σ Pr(z) log Pr(z) で定義される。エントロピーが大きいほど不確かさが大きく、伝えるべき情報量が多い。シャノンが1948年に情報理論として定式化した。