27. 조건부 기댓값_3(Conditional Expectation given an R.V.)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

 

Ex. 

\[X ~ N(0, 1), Y = X^2-> E(Y|X) = E(X^2|X) = X^2 = Y\]

\[E(X|Y) = E(X|X^2) = 0\]

X^2이 a라는 값을 가진다는 것을 관찰하였다면, X = ±√a, +값과 -값이 될 확률을 같다. 이를 평균내면 0이 된다.

기댓값이 0이라는 점이 X와 X^2가 독립임을 의미하지 않는다.

 

Ex. 막대 부러뜨리기 문제

균등분포

막대를 부러뜨린 후 남은부분에 대해 또 부러뜨린다.

X ~ Unif(0, 1), Y|X ~ Unif(0, X)

E(Y|X=x) = x/2 -> E(Y|X) = X/2

E(E(Y|X)) = E(X/2) = 1/4 = E(Y)

 

조건부 기댓값의 일반적인 성질

1. 아는 것 빼내기 성질

\[E(h(X)Y|X) = h(X)E(Y|X)\]

2. 

\[E(Y|X) = E(Y)\]

X와 Y가 독립인 경우만 성립

3. 전체 기댓값의 법칙

\[E(E(Y|X)) = E(Y)\]

proof discrete case)

\[E(Y|X) = g(X)\]

\[E(g(X)) = \sum_{x}^{}g(x)P(X=x) = \sum_{x}^{}E(Y|X=x)P(X=x)\]

\[= \sum_{x}^{}\sum_{y}^{}yP(Y=y|X=x)P(X=x)\]

\[= \sum_{y}^{}\sum_{x}^{}yP(Y=y,X=x) = \sum_{y}^{}yP(Y=y) = E(Y)\]

4.

\[E((Y-E(Y|X))h(X)) = 0\] 

통계학에서 잔차라 불리는 Y-E(Y|X)는 X에 관한 임의의 함수와는 무상관

\[Cov(Y-E(Y|X), h(X)) = E((Y-E(Y|X))h(X)) - E(Y-E(Y|X))E(h(X))\]

\[= E((Y-E(Y|X))h(X)) \]

<X, Y> (inner product) = E(XY)

X의 어떤 함수도 잔차(Y-E(Y|X))와는 수직이다.

 

proof)

\[E(Yh(X))-E(E(Y|X)h(X))\]

\[=E(Yh(X)) - E(E(h(X)Y|X))\]

\[=E(Yh(X)) - E(Yh(X) ) = 0\]

 

※

\[Var(Y|X) = E(Y^2|X) - E(Y|X)^2 = E((Y-E(Y|X))^2|X)\]

5. 전체 분산의 법칙(EVE's Law)

\[Var(Y) = E(Var(Y|X)) + Var(E(Y|X))\]

 

 

출처: https://www.edwith.org/ai152