自迴歸模型

自迴歸模型（英文：Autoregressive model，AR）係一種方法攞嚟處理一迾觀察值$X_{1}\ldots X_{t}$嘅，種序迾可以係時間序迾或者空間序迾。通過對前便啲觀察值（通常係喺一橛窗口裏頭啲嘅）做迴歸可以得出孻尾隻觀察值，而考慮埋孻尾觀察值甚至可以對後續（相當於時間上係喺未來）啲觀察值做預測。「自」表示隻方法係對$X$序迾本身做嘅而嘸係做畀另外嘅變數$Y$；「迴歸」指明方式係迴歸分析。符號上，自迴歸模型用$AR(p)$表示。

定義

對於序迾$p$，$AR(p)$模型着定義成：

$X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}$

其中$\varphi _{1},\ldots ,\varphi _{p}$係啲參數，$c$係隻常數，$\varepsilon _{t}$係白噪聲（平均數等於0，標準差等於$\sigma$嘅隨機誤差）。

借由褪後操作符$B$可以等效噉表示過上式，成：

$X_{t}=c+\sum _{i=1}^{p}\varphi _{i}B^{i}X_{t}+\varepsilon _{t}$

捉右邊$X_{t}$項左移到左便合併攞多項式表示法表示有：

$\phi [B]X_{t}=c+\varepsilon _{t}\,.$

即係可以捉自回歸模型睇作係個輸出、出自輸入為白噪聲嘅全極點無限脈衝響應濾波器（all-pole infinite impulse response filter）嘅。

另外，$AR(p)$都可以着睇作係一種畀連續觀察值嘅概率性模型：

$P(X_{t}|X_{t-1}\ldots X_{p})\sim N\left(c+\sum _{i=1}^{p}\varphi _{i}X_{t-i},\sigma \right)$

其中$N$表示個高斯分佈。

性質

$AR$模型個平均值函數、自協方差（autocovariance）係：

${\begin{aligned}\mu \left(t\right)&=E\left[X_{t}\right]\\\gamma \left(t,i\right)&=Cov\left(X_{t},X_{t-1}\right)\end{aligned}}$

個自協方差可以透過皮亞遜自積差相關方程做歸一化：

$\rho (t,i)={\dfrac {Cov(X_{t},X_{t-i})}{{\sqrt {Var(X_{t})}}{\sqrt {Var(X_{t-i})}}}}$

其中$Var$係方差。自協方差表示手頭有往前個數據嗰陣，幾大程度可以知曉到後便個值。

平穩性

好多時，要解得$AR$模型嘅話需要到某種平穩性（stationarity）嚟排除啲值隨 $t$ 嘅變動（以下對於任意 $t$ 、$i$ 都成立）：

$E[X_{t}]=E[X_{t-i}]=\mu$ ，表示平均函數係常數；

$Cov(X_{t},X_{t-i})=\gamma _{i}$，表示自協方差取決於距離間隔而嘸係取決於 $t$ ；

$E[|X_{t}|^{2}]<\infty$，表示前面兩者都係求得到嘅。

喺噉樣嘅平穩性限制下，隻$AR(p)$模型會有以下啲動差：

$E[X_{t}]=\mu ={\dfrac {c}{1-\sum _{i=1}^{p}\varphi _{i}}}$ ，表示平均函數係常數；

$Var(X_{t})=\gamma _{0}=\sum _{j=1}^{p}\varphi _{j}\gamma _{-j}+\sigma ^{2}$；

$Cov(X_{t},X_{t-i})=\gamma _{i}=\sum _{j=1}^{p}\varphi _{j}\gamma _{i-j}$，表示自方差取決於距離而嘸取決於 $t$ ；

$\rho _{i}={\dfrac {\gamma _{i}}{\gamma _{0}}}$。

對於$AR(1)$模型裏頭啲過程需要有$|\varphi _{1}|<1$先平穩得；對於$AR(2)$模型要有$\varphi _{1}+\varphi _{2}<1$；$\varphi _{2}-\varphi _{1}<1$；$|\varphi _{2}|<1$。推廣開去，對於$AR(p)$模型，廣義平穩性要求多項式根$\Phi (z):=\textstyle 1-\sum _{i=1}^{p}\varphi _{i}z^{p-i}$要喺單位圓外即每個複數根$z_{i}$要滿足$|z_{i}|>1$ 。

參數估計

估計係數嘅方法有好多，例如普通最細二乘法或者矩量法（通過 Yule-Walker 方程）。

模型基於參數$\varphi _{i}$，其中i = 1, ..., p 。啲參數戥過程嘅協方差函數之間存在有直接對應關係，而且可以將種對應關係倒過嚟從自相關函數（本身係從協方差獲得嘅）確定返參數。呢個可以使用 Yule-Walker 方程完成。

Yule-Walker 方程

Yule-Walker 方程命名自Udny Yule同Gilbert Walker，係以下方程組：

$\gamma _{m}=\sum _{k=1}^{p}\varphi _{k}\gamma _{m-k}+\sigma _{\varepsilon }^{2}\delta _{m,0}$

其中m = 0, …, p ，產生p + 1方程。當中嘅$\gamma _{m}$係$X_{t}$嘅自協方差函數；最後部分$\sigma _{\varepsilon }$係輸入噪音過程嘅標準差，$\delta _{m,0}$係Kronecker delta 函數。最後項 $\sigma _{\varepsilon }^{2}\delta _{m,0}$ 唯有喺m = 0先非零，m > 0 嗰陣都係零，所以可以先求解所有啲$\{\varphi _{m};m=1,2,\dots ,p\}.$$\{\varphi _{m};m=1,2,\dots ,p\}.$$\{\varphi _{m};m=1,2,\dots ,p\}$，憑以下方程組：

${\displaystyle {\begin{bmatrix}\gamma _{1}\\\gamma _{2}\\\gamma _{3}\\\vdots \\\gamma _{p}\\\end{bmatrix}}={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\cdots \\\gamma _{1}&\gamma _{0}&\gamma _{-1}&\cdots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\cdots \\\vdots &\vdots &\vdots &\ddots \\\gamma _{p-1}&\gamma _{p-2}&\gamma _{p-3}&\cdots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\\varphi _{2}\\\varphi _{3}\\\vdots \\\varphi _{p}\\\end{bmatrix}}}$

m = 0 嗰陣，剩餘方程係：

$\gamma _{0}=\sum _{k=1}^{p}\varphi _{k}\gamma _{-k}+\sigma _{\varepsilon }^{2}$

其中，一旦$\{\varphi _{m};m=1,2,\dots ,p\}$已知，可以求解返$\sigma _{\varepsilon }^{2}.$