Gibbs の不等式 - yoshitake-hのブログ

$p_i\ge 0,\; q_i\ge 0,\; \sum_{i=1}^np_i=\sum_{i=1}^nq_i=1$
ならば，-log の凸性により，
$-\sum_{i=1}^np_i\log \frac{q_i}{p_i} \ge -\log \sum_{i=1}^np_i\frac{q_i}{p_i} =-\log 1=0.$