殘差平方和

殘差平方和（參見英文：residual sum of squares, RSS）係統計學上一種指標，將所有做預測嗰陣嘅殘差值（即係預測值同實際值嘅相差）嘅平方加埋，得出嗰個數就係殘差平方和：

$RSS=\sum _{i=1}^{n}e_{i}^{2}\,$

呢個數值喺機械學習上係普通最小二乘法等演算法嘅重心。

基本定義

内文：殘差

假設研究者手上有一組應變數數值

$y_{1},y_{2},\dots ,y_{n}$

建立咗嘅統計模型，會俾出對應嘅預測值

${\hat {y}}_{1},{\hat {y}}_{2},\dots ,{\hat {y}}_{n}$

第 i 個觀察個案嘅殘差（residual）就係預測嘅值同真實睇到嘅值爭幾遠，可以寫成

$e_{i}=y_{i}-{\hat {y}}_{i}$

殘差平方和定義如下，當中條式用咗加總嘅符號：

$\mathrm {RSS} =\sum _{i=1}^{n}e_{i}^{2}\;=\;\sum _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}$

即係同每個個案，計模型（對呢個個案）嘅預測值，以及該個案嘅真實值，兩者之間嘅差距，再計呢個差距嘅平方，再將咁多得出嘅平方值冚唪唥加埋晒一齊。呢個量可以睇成係模型解釋唔到嗰部分變異：總變異一般可以拆成模型解釋到嘅平方和，加上殘差平方和。

對比方差

睇埋：方差

假如研究者考慮一個簡單嘅統計模型，呢個模型單靠平均值做預測，預測所有觀察值都會等同樣本平均值 ${\bar {y}}$，即係話個模型係噉嘅樣：

${\hat {y}}_{i}={\bar {y}}\quad {\text{ 對 所 有 }}{\text{ }}i$

噉樣計出嚟嘅殘差平方和就會變成

$\mathrm {RSS} =\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}$

喺統計學入面，呢個量叫做總平方和（英文：total sum of squares, TSS），即係每個觀察到嘅值同平均值之間差幾多嘅平方總和，可以用嚟量度整體數據有幾分散。另一方面，樣本個方差 $s^{2}$ 可以寫成

$s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}$

比較兩條式，可以睇得出：喺假設所有值都等如平均呢個模型下，模型嘅殘差平方和就係 $\sum (y_{i}-{\bar {y}})^{2}$；呢個平方和再除以 n - 1，就係樣本嘅方差。即係話方差就係總平方和除以自由度。

另見

• 殘差同誤差
• 可解釋變異
• 自由度