相對熵

出自維基百科,自由嘅百科全書
跳去導覽 跳去搵嘢

Kullback–Leibler Divergence粵拼kau1 bek1 laai1 baa1 daai6 voe1 zen4s ,簡稱KL Divergence,亦稱relative entropy;日文:Kullback-Leiber情報量;中文:相對熵KL散度)係其中一種成日用嘅訊息熵(information entropy),喺訊息論(information theory)呢個範疇入面係一種用嚟比較兩個概率分佈(probability distribution)嘅方法,同埋會喺啲統計模型度攞嚟計information gain(訊息增益)。

簡介[編輯]

假設有兩個probability distribution P同Q,P代表由某啲觀察得出嚟嘅data,而Q代表某啲攞嚟approximate P嘅model或者description。噉樣呢,個Kullback–Leibler Divergence就可以畀人演繹為用一個爲Q而optimize嘅code嚟encode P嘅sample所需嘅咇士數量同埋用一個爲P而optimize嘅code嚟encode P嘅sample所需嘅咇士數量依兩個數量之間嘅平均差值。

來源[編輯]

Solomon Kullback 同埋 Richard Leiber喺1951介紹咗relative entropy,話佢係兩個distribution之間嘅;Kullback就鐘意discrimination information呢個啍多啲。呢個divergence有喺「Information Theory and Statistics」度討論過。