19. 결합, 조건부, 주변 확률질량함수(Joint, Conditional, and Marginal Distributions)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

Joint, Conditional, Marginal distribution

joint CDF $$F(x,y)=P(X\le x,Y\le y)$$

• 이산확률변수와 연속확률변수의 조합에도 성립

joint PDF $$f(x,y)=\frac{\partial }{\partial x\partial y}F(x,y)$$

• 확률이 아닌 확률밀도. 확률은 확률밀도를 적분하여 구할 수 있다.

$$P((x,y)\in A)={\iint }_A^{}f(x,y)dxdy$$

 

marginal PDF of X $${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x,y)dy$$

• marginalization :  Y에 대해 주변화해서  X의 주변분포를 구한다.
• X자체의 확률분포이기 때문에 이중적분시 값이 1이 나와야함.

conditional PDF of Y|X $$f_{Y|X}\left(y|x\right)=\frac{f_{X,Y}(x,y)}{f_X(x)}=\frac{f_{X|Y}(x|y)f_Y(y)}{f_X(x)}$$

 

X, Y indep if joint pdf = mul of marginal pdf of each r.v.s for all x, y

$$f_{X,Y}(x,y)=f_X(x)f_Y(y)$$

 

Check Unif

Unif in disc x^2 + y^2 = 1

$$f(x,y)=\{\begin{array}{c}\frac{1}{\pi },x^2+y^2\le 1\\ 0,otherwise\end{array}$$

X값이 Y값에 제한을 주기 때문에(x^2 + y^2 = 1) 독립이 아니다.

$$f_X(x)={\int }_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}\frac{1}{\pi }dy=\frac{2}{\pi }\sqrt{1-x^2},-1\le x\le 1$$

$$f_{Y|X}\left(y|x\right)=\frac{\frac{1}{\pi }}{\frac{2}{\pi }\sqrt{1-x^2}},if-\sqrt{1-x^2}\le y\le \sqrt{1-x^2}$$

• 수식에 Y에 대한 값이 없기 때문에 균등분포이다.

$$Y|X=x\sim Unif(-\sqrt{1-x^2},\sqrt{1-x^2})$$

2-dim LOTUS

X와 Y가 결합 확률밀도함수 f(x, y)를 가지고, g(x, y)가  x, y 에 대한 함수라고 할 때, 

만약 X와 Y가 독립이면 E(XY) = E(X)E(Y)

 

Proof(continuous case)

독립이기 때문에 PDF는 각 변수에 대한 PDF의 곱으로 나타낼 수 있다.

Ex. X, Y ~ Unif(0, 1), find E|X-Y|

• X, Y가 i.i.d. 하므로 확률밀도함수는 1이 된다.

M = max(X, Y), L = min(X, Y)

|X-Y| = M-L

E(M-L) = 1/3

E(M) - E(L) = 1/3

E(M+L) = E(M) + E(L) = E(X+Y) = 1

∴ E(M) = 2/3, E(L) = 1/3

M과 L의 PDF를 구하여 문제를 해결하는 방법도 있다.

---

Ex. chicken and egg problem(discrete problem)

N ~ Pois(λ), 각 달걀이 부화할 확률 p. indep, X = 부화한 알의 갯수

so X|N ~ Bin(N, p)

Y = 부화하지 못한 알의 갯수

so X+Y=N

Find joint PMF of X, Y

1. 전확률의 정리를 이용해 조건부 확률로 만들어줌.
2. i+j=N을 이용하여 식 변환, X가 i를 가지면 Y는 당연히 j를 가지기 때문에 반복된 정보라 삭제
3. 이항분포와 포아송분포를 이용해 함수를 방정식 형태로 변환
4. p+q=1을 이용하여 p와 q에 대한 식으로 정리

 

출처: https://www.edwith.org/ai152