79.독립변수가 k개인 중회귀모형 y=Xβ+ε에서 회귀계수벡터 β의 추정량 b의 분산-공분산 행렬 Var(b)은? (단, Var(ε)=σ2I)

1

정답

2

3

4

해설

중회귀모형에서의 β에 대한 최소제곱추정량 b는 오차제곱합을 최소로 하는 β를 구해주면 됩니다. S=Σεi^2=ε'ε=(Y-Xβ)'(Y-Xβ) =Y'Y-Y'Xβ-β'X'Y+β'X'Xβ 위의 식을 β에 관해 벡터 편미분을 진행하면 ∂S/∂β=-2X'Y+2X'Xβ=0 를 이끌어낼 수 있고 위 식을 만족하는 β가 b이므로 정리하면 X'Xb=X'Y 가 되고 양변의 좌측에 (X'X)^-1을 곱하면 b=(X'X)^-1X'Y 가 됩니다. 근데 여기서 끝나는게 아니라 이제 b의 분산을 물었으니 Var(b)=E[(b-E(b))(b-E(b))'] =E[(b-β)(b-β)'] =E[(β+(X'X)^-1X'ε-β)(β+(X'X)^-1X'ε-β)'] =E[((X'X)^-1X'ε)((X'X)^-1X'ε)'] =E[(X'X)^-1X'εε'X(X'X)^-1] =E(εε')((X'X)^-1X'X(X'X)^-1) =σ^2(X'X)^-1X'X(X'X)^-1 =σ^2(X'X)^-1 따라서 답은 1번입니다. 솔직히 통계학 전공자가 아니면 하나하나 풀기에는 말도 안되는 것 같고 그냥 암기하시는게 빠르실 거에요.. 단순회귀모형에서 추정량 b의 분포가 b~N(β,σ^2/S(xx))인 걸 알고 계신다면 σ^2/S(xx)하고 σ^2(X'X)^-1의 형태가 비슷하다는 점에서 유추하실 순 있습니다. 아무튼 그냥 암기하세요!!