Kullbach-Leibler Divergenceの動画を見ましょう。
https://www.youtube.com/watch?v=ErfnhcEV1O8
日本ではKL情報量と略されます。現象の起こる確率を考慮した情報量です。ある確率分布を持つ現象を情報として送信するときに、何ビット必要かを与えるため、情報圧縮の下限値の見積もりに使える重要な概念です。統計力学のエントロピーと同じ形をしているので交差エントロピーと呼ばれる量と関連していて面白いです。
オッカムの剃刀（かみそり）の定量化の一種としても使えます。
logarithm 対数
Bayesian inference ベイズ推定
D_KL is often called the information gain （情報利得） achieved if P would be used instead of Q which is currently used.
divergence 「分散」と訳すことが多いです
triangle inequality 三角不等式 三角形の一辺は他の２辺の長さの和よりも短い
pdf： partial differential equation 偏微分方程式
Occam’s razor（オッカムの剃刀） or the principle of parsimony(けちの原理) or law of parsimony is the problem-solving principle（問題解決の原則） that “entities should not multiplied beyond necessity”. 必要以上に多くの実体を置くべきではない。
entity は、実在、存在、実体 などと訳されますが、オッカムの場合は「仮定」と訳されることが多いです。
https://wa3.i-3-i.info/word11594.html
John von Neumann:
“With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
パラメータが４つあれば象でもフィッティングできるし、５つ使えば象の鼻を動かすこともできる －フォン・ノイマン