交差エントロピー

定義

情報理論から導かれる不純度指標。-Σ p_mk log(p_mk) で定義される。ノード内の情報量の多さを測り、全データが同クラスならゼロ、クラスが均等に混ざるほど大きくなる。Gini指標と同様に微分可能で最適化に適している。