交叉熵（粵拼：gaau1 caa1 soeng1；英文：cross-entropy）係一種數值，用嚟表示兩個概率分佈有幾接近。想像而家有 p {\displaystyle p} 同 q {\displaystyle q} 兩個概率分佈。攞住某個集合，分佈 q {\displaystyle q} 相對於分佈 p {\displaystyle p} 嘅交叉熵係噉計嘅： H ( p , q ) = − E p [ log q ] , {\displaystyle H(p,q)=-\operatorname {E} _{p}[\log q],} 當中 E p [ ⋅ ] {\displaystyle E_{p}[\cdot ]} 係攞分佈 p {\displaystyle p} 嚟睇嘅期望值。
![{\displaystyle H(p,q)=-\operatorname {E} _{p}[\log q],}](https://wikimedia.org/api/rest_v1/media/math/render/svg/268ca3c9c9fe130daec06698c3b5f5f3fdabc45b)
![{\displaystyle E_{p}[\cdot ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d16c30a1e4e78c3714c3aed9cd48f7f1990441a9)
