自迴歸模型

出自維基百科,自由嘅百科全書

自迴歸模型英文Autoregressive modelAR)係一種方法攞嚟處理一迾觀察值嘅,種序迾可以係時間序迾或者空間序迾。通過對前便啲觀察值(通常係喺一橛窗口裏頭啲嘅)做迴歸可以得出孻尾隻觀察值,而考慮埋孻尾觀察值甚至可以對後續(相當於時間上係喺未來)啲觀察值做預測。「自」表示隻方法係對序迾本身做嘅而嘸係做畀另外嘅變數;「迴歸」指明方式係迴歸分析。符號上,自迴歸模型用表示。

定義[編輯]

對於序迾模型着定義成:

其中係啲參數,係隻常數,係白噪聲(平均數等於0,標準差等於隨機誤差)。

借由褪後操作符可以等效噉表示過上式,成:

捉右邊項左移到左便合併攞多項式表示法表示有:

即係可以捉自回歸模型睇作係個輸出、出自輸入為白噪聲嘅全極點無限脈衝響應濾波器(all-pole infinite impulse response filter)嘅。

另外,都可以着睇作係一種畀連續觀察值嘅概率性模型:

其中表示個高斯分佈。

性質[編輯]

模型個平均值函數、自協方差(autocovariance)係:

個自協方差可以透過皮亞遜自積差相關方程做歸一化:

其中係方差。自協方差表示手頭有往前個數據嗰陣,幾大程度可以知曉到後便個值。

平穩性[編輯]

好多時,要解得模型嘅話需要到某種平穩性(stationarity)嚟排除啲值隨 嘅變動(以下對於任意 都成立):

,表示平均函數係常數;
,表示自協方差取決於距離間隔而嘸係取決於
,表示前面兩者都係求得到嘅。

喺噉樣嘅平穩性限制下,隻模型會有以下啲動差

,表示平均函數係常數;
,表示自方差取決於距離而嘸取決於

對於模型裏頭啲過程需要有先平穩得;對於模型要有。推廣開去,對於模型,廣義平穩性要求多項式根要喺單位圓外即每個複數根要滿足 [1]

參數估計[編輯]

估計係數嘅方法有好多,例如普通最細二乘法或者矩量法(通過 Yule-Walker 方程)。

模型基於參數,其中i = 1, ..., p 。啲參數戥過程嘅協方差函數之間存在有直接對應關係,而且可以將種對應關係倒過嚟從自相關函數(本身係從協方差獲得嘅)確定返參數。呢個可以使用 Yule-Walker 方程完成。

Yule-Walker 方程[編輯]

Yule-Walker 方程命名自Udny Yule同Gilbert Walker[2][3],係以下方程組[4]

其中m = 0, …, p ,產生p + 1方程。當中嘅嘅自協方差函數;最後部分係輸入噪音過程嘅標準差,Kronecker delta 函數。最後項 唯有喺m = 0先非零,m > 0 嗰陣都係零,所以可以先求解所有啲,憑以下方程組:

m = 0 嗰陣,剩餘方程係:

其中,一旦已知,可以求解返

[編輯]

  1. Shumway, Robert; Stoffer, David (2010). Time series analysis and its applications : with R examples (第3版). Springer. ISBN 144197864X.
  2. Yule, G. Udny (1927) "On a Method of Investigating Periodicities in Disturbed Series, with Special Reference to Wolfer's Sunspot Numbers", Philosophical Transactions of the Royal Society of London, Ser. A, Vol. 226, 267–298.]
  3. Walker, Gilbert (1931) "On Periodicity in Series of Related Terms", Proceedings of the Royal Society of London, Ser. A, Vol. 131, 518–532.
  4. Theodoridis, Sergios (2015-04-10). "Chapter 1. Probability and Stochastic Processes". Machine Learning: A Bayesian and Optimization Perspective. Academic Press, 2015. pp. 9–51. ISBN 978-0-12-801522-3.