27. 조건부 기댓값_3(Conditional Expectation given an R.V.)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

 

Ex. 

$$XN(0,1),Y=X^2->E(Y|X)=E(X^2|X)=X^2=Y$$

$$E(X|Y)=E(X|X^2)=0$$

X^2이 a라는 값을 가진다는 것을 관찰하였다면, X = ±√a, +값과 -값이 될 확률을 같다. 이를 평균내면 0이 된다.

기댓값이 0이라는 점이 X와 X^2가 독립임을 의미하지 않는다.

 

Ex. 막대 부러뜨리기 문제

균등분포

막대를 부러뜨린 후 남은부분에 대해 또 부러뜨린다.

X ~ Unif(0, 1), Y|X ~ Unif(0, X)

E(Y|X=x) = x/2 -> E(Y|X) = X/2

E(E(Y|X)) = E(X/2) = 1/4 = E(Y)

 

조건부 기댓값의 일반적인 성질

1. 아는 것 빼내기 성질

$$E(h(X)Y|X)=h(X)E(Y|X)$$

2. 

$$E(Y|X)=E(Y)$$

X와 Y가 독립인 경우만 성립

3. 전체 기댓값의 법칙

$$E(E(Y|X))=E(Y)$$

proof discrete case)

$$E(Y|X)=g(X)$$

$$E(g(X))=\sum _x^{}g(x)P(X=x)=\sum _x^{}E(Y|X=x)P(X=x)$$

$$=\sum _x^{}\sum _y^{}yP(Y=y|X=x)P(X=x)$$

$$=\sum _y^{}\sum _x^{}yP(Y=y,X=x)=\sum _y^{}yP(Y=y)=E(Y)$$

4.

$$E((Y-E(Y|X))h(X))=0$$ 

통계학에서 잔차라 불리는 Y-E(Y|X)는 X에 관한 임의의 함수와는 무상관

$$Cov(Y-E(Y|X),h(X))=E((Y-E(Y|X))h(X))-E(Y-E(Y|X))E(h(X))$$

$$=E((Y-E(Y|X))h(X))$$

<X, Y> (inner product) = E(XY)

X의 어떤 함수도 잔차(Y-E(Y|X))와는 수직이다.

 

proof)

$$E(Yh(X))-E(E(Y|X)h(X))$$

$$=E(Yh(X))-E(E(h(X)Y|X))$$

$$=E(Yh(X))-E(Yh(X))=0$$

 

※

$$Var(Y|X)=E(Y^2|X)-E(Y|X{)}^2=E((Y-E(Y|X){)}^2|X)$$

5. 전체 분산의 법칙(EVE's Law)

$$Var(Y)=E(Var(Y|X))+Var(E(Y|X))$$

 

 

출처: https://www.edwith.org/ai152