普通最小二乘法

普通最小二乘法（粵拼：pou2 tung1 zeoi3 siu2 ji6 sing4 faat3；英文：ordinary least squares）係迴歸分析當中最常用最普通嗰種估計 $\beta$（迴歸系數）嘅方法。

做法

睇埋：迴歸分析

普通最小二乘法就係建基於誤差值之上嘅。用呢種做法估計 $\beta$，首先要計個殘差平方和（residual sum of squares；RSS）出嚟，RSS 係指將所有誤差值嘅平方加埋得出嘅數：

$RSS=\sum _{i=1}^{n}e_{i}^{2}\,$

$\beta _{0}$ 同 $\beta _{1}$ 嘅數值可以用以下嘅算式計出嚟：

${\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}$

${\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}$

當中 ${\bar {x}}$ 係 $x$ 嘅平均值，而 ${\bar {y}}$ 係 $y$ 嘅平均值。

假設個總體嘅誤差值有一個固定嘅變異數，呢個變異數可以用以下呢條式估計：

${\hat {\sigma }}_{\varepsilon }^{2}={\frac {RSS}{n-2}}.\,$

呢個數係所謂嘅均方誤差（mean square error），個分母係樣本大細減個模型要估計嘅參數嘅量。呢個迴歸模型當中有兩個未知嘅參數（$\beta _{0}$ 同 $\beta _{1}$）。

而啲參數估計嘅標準誤差（standard error）係：

${\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}$

${\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}_{\beta _{1}}{\sqrt {\frac {\sum x_{i}^{2}}{n}}}$

有咗上面呢個模型，個研究者手上有會有 $\beta _{0}$ 同 $\beta _{1}$ 嘅估計值，將來可以用呢條式嚟預測 $Y$ 嘅數值。