相對熵

Kullback–Leibler Divergence（粵拼：kau1 bek1 laai1 baa1 daai6 voe1 zen4s ，簡稱KL Divergence，亦稱relative entropy；日文：Kullback-Leiber情報量；中文：相對熵、KL散度）係其中一種成日用嘅訊息熵（information entropy），喺訊息論（information theory）呢個範疇入面係一種用嚟比較兩個概率分佈（probability distribution）嘅方法，同埋會喺啲統計模型度攞嚟計information gain（訊息增益）。

簡介

假設有兩個probability distribution P同Q，P代表由某啲觀察得出嚟嘅data，而Q代表某啲攞嚟approximate P嘅model或者description。噉樣呢，個Kullback–Leibler Divergence就可以畀人演繹為用一個爲Q而optimize嘅code嚟encode P嘅sample所需嘅咇士數量同埋用一個爲P而optimize嘅code嚟encode P嘅sample所需嘅咇士數量依兩個數量之間嘅平均差值。

來源

Solomon Kullback 同埋 Richard Leiber喺1951介紹咗relative entropy，話佢係兩個distribution之間嘅；Kullback就鐘意discrimination information呢個啍多啲。呢個divergence有喺「Information Theory and Statistics」度討論過。