時系列解析-2（AR過程）

はじめに

前回に引き続き時系列解析を解説する。今回はAR過程を紹介する。

AR(1)過程

我々が解析対象とする時系列データは、異なる時刻の間に何らかの関係（自己相関と呼ばれる）を持つのが普通である。この相関を記述する過程として前回はMA過程を取り上げた。今回はAR過程と呼ばれるものを紹介する。最初に1次のAR過程（AR(1)過程）を考える。これは次式で定義される。

(1)   \begin{align*} y_t = c+\phi_1y_{t-1}+\epsilon_t, \;\;\;\epsilon_t \sim {\rm W.N.}(\sigma^2) \end{align*}

cと\phi_1は任意の実数、\epsilon_tは分散\sigma^2のホワイトノイズ（前回定義したノイズ）である。右辺を見ると1つ前の時刻の値y_{t-1}に依存していることが分かる。すなわち上式は自己回帰的（Auto Regression）に現在の値y_tを決める式である。これがARと名付けられた理由である。2つ前までの自身の値に依存するなら2次のAR過程（AR(2)過程）、p個前までの自身の値に依存するならp次のAR過程（AR(p)過程）となる。図1に\phi_1の値を変化させたときの式(1)の変化の様子を示す（コードはここにある）。

図1

\phi_1が負になると振動が激しくなる理由は、1つ前の値y_{t-1}とは符号が逆になる傾向が強くなるためである（式(1)を参照）。さて、AR過程の顕著な振る舞いは|\phi_1|\geq1.0のときに起こる。図2に、\phi_1を0.9,1.0,1.1としたときのグラフを示す。

図2

上のグラフの振る舞いを理解するため、式(1)を自己回帰的にn回代入する。

    \begin{align*} y_t &=c+\phi_1y_{t-1}+\epsilon_t \\ &=c+\phi_1\left( c+\phi_1y_{t-2}+\epsilon_{t-1} \right)+\epsilon_t \\ &=c(1+\phi_1)+\phi_1^2y_{t-2}+\phi_1\epsilon_{t-1}+\epsilon_t\\ &\cdots\\ &=c\sum_{k=0}^{n-1}\phi_1^k+\phi_1^ny_{t-n}+\sum_{k=0}^{n-1}\phi_1^k\epsilon_{t-k}, \hspace{0.5cm}n\geq1 \end{align*}

上式においてt=nとすると

(2)   \begin{align*} y_n=c\sum_{k=0}^{n-1}\phi_1^k+\phi_1^ny_0+\sum_{k=0}^{n-1}\phi_1^k\epsilon_{n-k} \end{align*}

を得る。\phi_1=1のとき、上式は次式になる。

(3)   \begin{align*} y_n = cn+y_{0}+\sum_{k=0}^{n-1}\epsilon_{n-k} \end{align*}

式(3)は、nについての1次関数（傾きc=1）にノイズが付加された式である。これが図2の上右図に相当する。また、式(2)の右辺にある3つの項全てに\phi_1の累乗の項が含まれているので、|\phi_1|>1のとき、nが大きいと指数関数的に増大する。これが図2の\phi_1=1.1のグラフが指数関数となる理由である（図ではy_0=cとした）。|\phi_1|\geq1のときグラフは単調増加あるいは指数関数的に増加するから、y_tの期待値は時間に依存する。よって|\phi_1|\geq1のときAR(1)過程は非定常である。

次に、AR(1)過程の定常性について考える。定常性の定義は以下であった。

定常性の定義

    \begin{align*} &{\rm E}[y_t]=\mu\\ &{\rm Cov}[y_t,y_{t-k}]={\rm E}[(y_t-\mu)(y_{t-k}-\mu)]=\gamma_k \end{align*}

ただし、\muと\gamma_kは時間に依存しない量である。

すなわち、期待値と分散がともに時刻に依存しない場合を定常と呼ぶのであった。MA過程はホワイトノイズの線形結合であったから常に定常性を満たしていたが、AR過程の場合は、ある条件を満たす場合だけ定常となる。AR(1)過程が定常となる条件は以下である。

AR(1)過程の定常性の条件：次の方程式の解の絶対値が1より大きいとき、AR(1)過程は定常となる。

    \begin{align*} 1-\phi_1z=0 \end{align*}

この方程式は容易に解けて

    \begin{align*} z=\frac{1}{\phi_1} \end{align*}

となる。従って、|\phi_1|<1であれば|z|>1となり定常となる。|\phi|\geq1なら|z|\leq1となり非定常となる。定常な場合と非定常な場合のグラフの違いを、図1と図2を見て再度確認してほしい（非定常な場合、グラフは１次関数か指数関数となる）。さて、定常な場合のAR(1)過程の期待値を求める。

    \begin{align*} {\rm E}[y_t] &={\rm E}[c+\phi_1y_{t-1}+\epsilon_t]\\ &=c+\phi_1{\rm E}[y_{t-1}] \end{align*}

定常な場合、\mu={\rm E}[y_t]={\rm E}[y_{t-1}]であるから

    \begin{align*} \mu=c+\phi_1\mu \end{align*}

となる。これより

(4)   \begin{align*} \mu=\frac{c}{1-\phi_1} \end{align*}

を得る。図1の4つのグラフではc=0であったからこれを上式に代入すると\mu=0を得る。図1のグラフは確かに0近傍を振動していることを確認できる。一方、図2の上左図ではc=1.0,\phi_1=0.9であった。これらを上式に代入すると\mu=10である。図2の上左図を見ると確かに10近傍を振動していることが分かる。そして、\phi_1を1に使づけていくと式(4)より\muは発散するが、その振る舞いはグラフの指数関数的増大を意味している。次に自己共分散\gamma_kを求める（k\geq1）。

    \begin{align*} \gamma_k &={\rm Cov}[y_t,y_{t-k}]\\ &={\rm Cov}[c+\phi_1y_{t-1}+\epsilon_t,y_{t-k}]\\ &={\rm Cov}[\phi_1y_{t-1}+\epsilon_t,y_{t-k}]\\ &={\rm Cov}[\phi_1y_{t-1},y_{t-k}]+{\rm Cov}[\epsilon_t,y_{t-k}]\\ &={\rm Cov}[\phi_1y_{t-1},y_{t-k}]\\ &=\phi_1{\rm Cov}[y_{t-1},y_{t-k}]\\ &=\phi_1{\rm Cov}[y_{t-1},y_{t-1-(k-1)}]\\ &=\phi_1\gamma_{k-1} \end{align*}

k=0のときは次式となる。

    \begin{align*} \gamma_0 &={\rm Cov}[y_t,y_{t}]\\ &={\rm Cov}[c+\phi_1y_{t-1}+\epsilon_t,c+\phi_1y_{t-1}+\epsilon_t]\\ &={\rm Cov}[\phi_1y_{t-1},\phi_1y_{t-1}]+{\rm Cov}[\epsilon_t,\epsilon_t]\\ &=\phi_1^2{\rm Cov}[y_{t-1},y_{t-1}]+\sigma^2\\ &=\phi_1^2\gamma_0+\sigma^2 \end{align*}

これを解いて

    \begin{align*} \gamma_0=\frac{\sigma^2}{1-\phi_1^2} \end{align*}

を得る。以上より自己相関\rho_kは次式で計算される。

    \begin{align*} \rho_k &=\frac{\gamma_k}{\gamma_0}=\phi_1\frac{\gamma_{k-1}}{\gamma_0}=\phi_1\rho_{k-1} \end{align*}

これは等比級数の漸化式なので\rho_kを厳密に求めることができる。

    \begin{align*} \rho_k=\phi_1^k\rho_0 \end{align*}

\rho_0=\gamma_0/\gamma_0=1なので、\rho_k=\phi_1^kとなる。kを増やしていくと、|\phi_1|<1のとき（定常のとき）自己相関は指数関数的に減衰し、|\phi_1|>1のとき（非定常のとき）指数関数的に増大し、\phi_1=1のとき（非定常のとき）1のままとなる。ここで大切なことは、AR過程が定常過程の場合、その自己相関は指数関数的に減衰するということである。

最後に、AR過程とMA過程の関係について一言ふれておく。|\phi_1|<1のとき（定常のとき）、n\rightarrow\inftyで式(2)は

    \begin{align*} y_n=\frac{c}{1-\phi_1}+\sum_{k=0}^{\infty}\phi_1^k\epsilon_{n-k} \end{align*}

となる。これはホワイトノイズの線形和であり、前回説明したMA過程に相当する。すなわち、AR(1)過程が定常な場合（|\phi_1|<1）、AR(1)過程はMA(q=\infty)過程と等価になる。

さて、AR(1)過程を一般化したAR(p)過程を与える式は次式になる。

    \begin{align*} y_t=c+\sum_{n=1}^p\phi_ny_{t-n}+\epsilon_t \end{align*}

これについての議論は煩雑になるので今回は取り上げない。興味があれば下に挙げた参考文献を見てほしい。

AR過程の長所と短所

AR過程の長所と短所を以下にまとめる。

長所

 

  • 過去のデータに基づく予測が可能である（自己回帰的）。
  • 長期に渡る相関を少ないパラメータ数で表現できる。
  • 周期性（季節性）を取り込むことができる。
  • モデルが単純で理解しやすい。
  • パラメータの数が少ないため計算コストが低い。

 

短所

 

  • 自己相関なので外れ値の影響がしばらく続く。ただし、定常過程の場合は自己相関は指数関数的に減衰するのでいずれ影響はなくなる。
  • 過去のデータを利用できない場合に適用が難しい。

 

 

まとめ

今回は、AR過程の最も簡単な場合（AR(1)過程）について説明した。MA過程は常に定常となるが、AR過程ではある条件下でのみ定常となる。AR(1)過程の場合は、|\phi_1|<1の場合に定常となり、そのときの自己相関\rho_kは、kが大きくなると（現在の時刻から離れると）、指数関数的に減衰することを見た。また、定常な場合は、AR(1)過程はMA(\infty)過程に帰着することも示した。一方、|\phi_1|>1の場合（非定常な場合）、y_tのグラフは指数関数的に増大することも示した。

参考文献

 

 

 

 

Kumada Seiya

Kumada Seiya

仕事であろうとなかろうと勉強し続ける、その結果”中身”を知ったエンジニアになれる

最近の記事

  • 関連記事
  • おすすめ記事
  • 特集記事

アーカイブ

カテゴリー

PAGE TOP