[시계열분석-7]자기상관과 AR모델

2016.12.04 11:44

최한철 조회 수:918

『Disclaimer: 본 글은 대학원의 시계열분석 수업 및 시계열분석 서적에 관한 공부 내용을 정리하는 시리즈입니다. 

본 내용은 필자가 전부 직접 요약하여 적은 개인 노트이며, 개인 공부 및 복습이 주목적일 뿐, 상업적 의도는 없습니다. 

Source: Regression Modeling with Actuarial and Financial Applications by Edward W. Frees


7-1. Autocorrelation


Autocorrelation식은 아래와 같다.

01.jpg


7-2. Autoregressive Models of Order One


과거의 모든 information은 most recent observation에 담겨 있다는 것을 가정한다. (Markov)

02.jpg

여기서 β0는 아무 fixed constant일 수 있지만, -1<β1<1 이어야만 AR(1) series {yt}가 stationary다.

만약 β1 = 1이면 모델은 RW 모델이 되고 nonstationary다.

만약 β1 = 0이면 모델은 WN 모델이 된다. 따라서 AR(1)은 RW, WN 모델의 일반화라고 봐도 된다.


어떤 데이터가 AR 모델이 적합함을 알려면

1) Control chart 등으로 stationarity를 체크

2) Adjacent realization들이 관련됨을 scatter plot 등으로 체크

3) Autocorrelation가 아래의 식을 충족함을 체크

03.jpg

위 식에서 처음 두 등호는 정의이고, 세번째는 stationarity에 의거한다.

위 식을 통해, AR 모델에서 autocorrelation은 lag가 increase함에 따라 geometric rate으로 줄어듬을 알 수 있다.

(실제 autocorrelation r값을 계산하여 이것이 0에 가까우면 WN이다)

실제 rk값이 0과 significantly 다른지 확인해보려면 아래의 근사를 사용한다.

04.jpg

Rule of thumb은 rk의 절대값이 2 x se(rk)를 넘으면 significantly nonzero라고 한다.


7-3. Estimation


Parameter를 estimate하는데는 method of conditional least squares를 사용한다.

이는 least squares estimates that best fit observation conditional on the previous observation이다.

05.jpg

그리고 AR(1)의 residual은,

06.jpg

Cross-sectional regression에서는 설명변수가 nonstochastic이므로 response와 error term의 variance가 갔다.

하지만 시계열 모델에서는 stochastic이므로, AR(1)의 경우

08.jpg

가 되어 response의 variance가 더 크다.

여기서 error variance의 estimate은,

07.jpg

이고 이 s2가 MSE다.


7-4. Prediction

09.jpg

그러면 forecast error는,

10.jpg

11.jpg

12.jpg



7-5. Box Jenkins Models


Autoregressive Integrated Moving Average(ARIMA) 모델은 더 일반화된 모델이다.


7-5-1. AR(p) Model


먼저, AR(1)를 더 일반화한 AR(p)다.

13.jpg

단, seasonality를 모델링할 때 intervening lag들은 포함하지 않는다.

AR(p)는 stationary stochastic process다.


* Backshift Notation

Backshift 혹은 backward-shift operator BByt = yt-1로 정의된다.

14.jpg

이 operator는 linear하다.


Backshift operator를 사용해서 AR(p)를 표현하면,

15.jpg

16.jpg

따라서 Φ(x) = 0 식에는 p개의 complex root가 있다.

Stationarity를 위해서는 이 root들이 strictly outside of unit circle이어야만 한다.

(Root 중에 unit circle에 가까운게 있으면 model behavior가 불안정하다)


7-5-2. MA(q) Model


18.jpg

위 모델의 한가지 해석은, disturbance term이 true expected value of yt를 perturb한다는 것이다. 

여기서 비롯된 것이 Moving Average Model of Order q, MA(q) 모델이다.

17.jpg

이 모델에서,

19.jpg

20.jpg

임을 알 수 있는데, 즉 memory를 length q로 limit하는 것이다. 

AR(p) 모델과 달리 MA(q) 모델은 모든 finite value of 베타/세타에 대해 stationary다.


MA(q) 모델을 backshift notation을 사용하여 표현하면,

21.jpg


7-5-3. ARMA Model


AR과 MA모델을 합하면, ARMA(p, q) 모델, Autoregressive Moving Average Model of order p and q가 된다.

22.jpg

23.jpg


7-5-4. ARIMA Model


많은 application에서, stationary를 위해서는 differencing이 필요하다.

wt = (1 - B)yt = yt - yt-1는 yt를 한번 differencing하는 것이고, 일반화하면,

24.jpg


실전에서 d는 0, 1, 2 중에 하나고, 2이상이면 회의적으로 모델을 바라볼 필요가 있다.

이를 이용한 모델이 ARIMA(p, d, q) 모델, Autoregressive Integrated Moving Average Model이다.

25.jpg    26.jpg



7-5-5. Forecasting


여기서도 conditional expectation을 계산한다. 이제까지의 response realization으로 미래를 forecast한다.

27.jpg

t = T + l으로 두고 7-5-3 ARMA 모델식의 양변에 ET를 취하면,

28.jpg

29.jpg

그리고 yT+k의 값은 time T에 이미 known이므로,

30.jpg


특별한 케이스로, AR(1)는 이미 보았고, MA(1)는

l >= 2일 경우,

31.jpg

l = 1일 경우,

32.jpg


아무 ARIMA모델은 MA model로 표현할 수 있는데,

33.jpg

Ψ-coefficient representation이라고 하며, 

즉 process의 current value는 current and previous disturbances의 linear combination으로 표현할 수 있다는 것이다.

AR(1) model의 경우, 

34.jpg


8.6 예시 읽어보기

댓글 0

목록
번호 제목 글쓴이 날짜 조회 수
공지 [공지]데이터 과학 게시판의 운영에 관하여 최한철 2016.04.23 89
22 [일반]데이터 사이언스 공부 사이트 정리 최한철 2018.09.23 34
21 [계량경제학]Nonparametric Smoothing file 최한철 2018.07.13 23
20 [계산통계학]Convex Functions 최한철 2017.02.14 214
19 [머신러닝]Support Vector Machine 최한철 2017.02.13 198
18 [계산통계학]Automatic Differentiation 최한철 2017.01.23 126
17 [시계열분석-8]시계열 모델과 예측 file 최한철 2016.12.04 192
» [시계열분석-7]자기상관과 AR모델 file 최한철 2016.12.04 918
15 [시계열분석-6]추세의 모델링 file 최한철 2016.12.04 129
14 [회귀분석-5]회귀분석 결과의 해석 file 최한철 2016.12.03 122
13 [회귀분석-4]변수 선택 및 모델의 진단 file 최한철 2016.12.03 684
12 [회귀분석-3]다중 회귀 분석 II file 최한철 2016.10.12 75
11 [회귀분석-2]다중 회귀 분석 file 최한철 2016.10.09 555
10 [알고리즘-7]그래프의 최단 거리 최한철 2016.10.09 86
9 [알고리즘-6]DFS의 응용 file 최한철 2016.09.29 389
8 [회귀분석-1]기본 회귀 분석 file 최한철 2016.09.25 305
7 [알고리즘-5]BFS의 응용 file 최한철 2016.09.19 381
6 [알고리즘-4]그래프 file 최한철 2016.09.18 869
5 [알고리즘-3]Master Theorem file 최한철 2016.09.15 302
4 [알고리즘-2]알고리즘 디자인 file 최한철 2016.09.10 331
3 [알고리즘-1]알고리즘의 정의 최한철 2016.09.08 219