열렬히.뛰기

2. 단순회귀 (2)

수학 & 통계 > 회귀분석 > 회귀분석 : 코드 > 2. 단순회귀 (2)

최소제곱법의 해석

기하적 해석 (1)

원 데이터 : Y

추정량 : \hat{Y}

원 데이터 평균 : \bar{Y} \cdot \underline{1}

추정량이 x축으로 뻗어갔다는 것은

“x의 영향력이 들어갔다”로 해석.

  • Y - \hat{Y} : 원래 데이터 - 추정량
  • \hat{Y} - \bar{Y} \cdot \underline{1} : 추정량 - 평균

이 그림이 설명하고자 하는 것 : 전체 데이터 Y 중 얼만큼 x의 영향력이 미치는가?

  • Y - \hat{Y} 만큼 영향력을 미친다. 우리는 이를 SSE라고 한다.

최소제곱법의 해석 (2)

  • SST : 실제값 - 평균값
  • SSE : 실제값 - 예측값의 전체 합. 회귀식으로 설명 됨.
  • SSR : 예측값 - 평균값의 전체 합. 회귀식으로 설명 안됨.
  • 회귀식으로 설명된다 = x값이 얼마인지에 따라 y값의 변화를 예측.
\sum\big(Y_i - \bar{Y}\big) = \sum{\big(Y_i - \hat{Y_i}\big)}^2 + \sum{\big(\hat{Y_i} - \bar{Y}\big)}^2

우리는 SSR을 SSE로 나눈 값을 결정계수 R^2이라고 한다.

결정계수가 최대가 되게 하는 것이 곧 회귀분석의 목표가 된다.

R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST}

SSE가 최소가 되면 결정 계수가 최대가 된다는 사실을 알 수 있다.

변수의 설명력

회귀분석에서 모형을 검정할 때, 보통 많이 생각하는 것이 회귀계수 beta가 맞는지 틀린지에 관한 이야기이다. 이러한 과정을 우리는 결정계수 R^2과 엮어서 생각해 볼 수 잇다.

m0 모델

만약 beta_1값이 0인 경우, 우리는 이를 Null model, 또는 intercept-only model이라고 한다. (편하게 m0 모델이라고 부르자.)

Y_i = \mu + \epsilon_{i.}~ \epsilon_i \sim N(0, \sigma^2) \\[10pt] \mu = \frac{1}{n}\sum_iX_i

이때의 평균과 분산은 다음과 같다.

E(Y) = \mu,~~Var(Y) = \sigma^2

m1 모델

한편, beta_1값이 0이 아닌 경우, 이것을 m1 모델이라고 부르자.

Y_i = \beta_0 + \beta_1x_i + \epsilon_{i.}~ \epsilon_i \sim N(\beta_0 + \beta_1x_i, \sigma^2)

이때의 평균과 분산은 다음과 같다.

\begin{align*} E(Y) &= E_X(E_{Y|X}(Y|X)) \\ Var(Y) &= E_X(Var(Y|X)) ~+~Var_X(E(Y|X)) \\[20pt] E(Y) &= E(\beta_0 + \beta_1X) = \beta_0 + \beta_1E(X) \\ Var(Y) &= E(\sigma^2) + Var(\beta_0 + \beta_1X) = \sigma^2 + {\beta_1}^2 \cdot Var(X) \end{align*}

두 모델의 비교

  • m1은 m0의 확장이라고 할 수 있다.
  • 이때 + 기호를 기준으로 나뉠 수 있다.
    • \sigma^2 = x로 설명할 수 없는 부분
    • {\beta_1}^2 \cdot Var(X) = x로 설명할 수 있는 부분

회귀계수의 추정

beta_1의 추정

\beta_1 = \frac {\widehat{Cov}(X, Y)} {\widehat{var}(X)}
\begin{align*} E(Y|x) &= \beta_0 + \beta_1x \\ E(Y|0) &= \beta_0 \end{align*}

beta_0의 추정

잘 기억해야 할 테크닉 중 하나. beta_0가 기울기라는 사실을 생각해보자.

  • 기울기 = x가 변화할 때, y의 변화량
\begin{align*} E(Y|x+1) &= \beta_0 + \beta_1(x+1) \\ E(Y|x) &= \beta_0 + \beta_1x \end{align*}

여기서 저 두 식을 빼보자.

E(Y|x+1) - E(Y|x) = \beta_1

분산의 추정

만약 m1 모델이라면, 분산은 다음과 같다.

\hat{\sigma^2} ~=~ \frac{1}{n-2} \sum_i \big(Y_i - \hat{E}(Y|x_i)\big)^2 ~=~ \frac{SSE}{n-2}

왜 근데 n-2를 빼는 것일까? 이는 우리가 이미 사용한 정보가 있기 때문.

Y_i에서 평균을 빼는 과정 중 이미 beta_0와 beta_1에 대한 정보를 사용했기에 2개의 정보를 사용했다고 보고 n-2를 해준다.

만약 일반화된 상황이라면 다음과 같이 구한다.

\hat{\sigma^2} ~=~ \frac{SSE}{n-(p+1)}

또한 이때의 \hat{\sigma^2}를 MSE라고 하며, 다중회귀의 결정계수를 구할 때도 쓰이고 검정통계량으로도 쓴다.

가설검정

t검정과 f검정

우리는 beta_1이 0이냐 0이 아니냐를 가지고 검증을 할 것이다.

이때 생각해 볼 수 있는 것이 t검정과 f검정인데, 사실 둘의 결과는 같다.

그럼 둘의 차이는 무엇일까?

  • f검정 : 단측검정이 안 된다.
  • t검정 : 동시에 두 집단을 테스트할 수 없다.

일단은 t검정을 알아보도록 하자.

T = \frac{\hat{\beta_1} - \beta_1}{SE(\beta_1)}

카이제곱분포

추가적으로 만약 \hat{\sigma^2}를 {\sigma^2}로 나누면, 그 때의 분포는 다음과 같다.

\frac{\hat{\sigma^2}}{\sigma^2} \sim \frac{\chi^2_{n-2}}{n-2}

이것은 사실 다음을 생각해보면 된다.

\frac{(n-2)s^2}{\sigma^2} \sim \chi^2_{n-2}