19. 결합, 조건부, 주변 확률질량함수(Joint, Conditional, and Marginal Distributions)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

Joint, Conditional, Marginal distribution

joint CDF \[F\left ( x,y \right ) = P\left ( X\leq x,Y\leq y \right ) \]

• 이산확률변수와 연속확률변수의 조합에도 성립

joint PDF \[f\left ( x, y \right ) = \frac{\partial }{\partial x \partial y}F\left ( x, y \right )\]

• 확률이 아닌 확률밀도. 확률은 확률밀도를 적분하여 구할 수 있다.

\[P\left ( \left ( x, y \right ) \in A \right ) = \iint_{A}^{}f\left ( x, y \right )dxdy\]

 

marginal PDF of X \[\int_{- \infty }^{\infty} f\left ( x, y \right )dy \]

• marginalization :  Y에 대해 주변화해서  X의 주변분포를 구한다.
• X자체의 확률분포이기 때문에 이중적분시 값이 1이 나와야함.

conditional PDF of Y|X \[f_{Y|X}\left ( y|x \right ) = \frac{f_{X, Y}\left ( x, y \right ) }{f_{X}(x)} = \frac{f_{X|Y}(x|y) f_{Y}(y)} {f_{X}(x)} \]

 

X, Y indep if joint pdf = mul of marginal pdf of each r.v.s for all x, y

\[f_{X, Y}\left ( x, y \right ) = f_{X}(x) f_{Y}(y) \]

 

Check Unif

Unif in disc x^2 + y^2 = 1

\[f(x, y) =\left\{\begin{matrix}\frac{1}{\pi}, x^2 + y^2 \leq 1 \\ 0, otherwise\end{matrix}\right. \]

X값이 Y값에 제한을 주기 때문에(x^2 + y^2 = 1) 독립이 아니다.

\[f_{X}(x) = \int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}} \frac{1}{\pi}dy = \frac{2}{\pi}\sqrt{1-x^2}, -1 \leq x\leq 1\]

\[f_{Y|X}\left ( y|x \right ) = \frac{\frac{1}{\pi}}{\frac{2}{\pi}\sqrt{1-x^2}} , if -\sqrt{1-x^2} \leq y\leq \sqrt{1-x^2}\]

• 수식에 Y에 대한 값이 없기 때문에 균등분포이다.

\[Y|X=x \sim Unif(-\sqrt{1-x^2}, \sqrt{1-x^2})\]

2-dim LOTUS

X와 Y가 결합 확률밀도함수 f(x, y)를 가지고, g(x, y)가  x, y 에 대한 함수라고 할 때, 

만약 X와 Y가 독립이면 E(XY) = E(X)E(Y)

 

Proof(continuous case)

독립이기 때문에 PDF는 각 변수에 대한 PDF의 곱으로 나타낼 수 있다.

Ex. X, Y ~ Unif(0, 1), find E|X-Y|

• X, Y가 i.i.d. 하므로 확률밀도함수는 1이 된다.

M = max(X, Y), L = min(X, Y)

|X-Y| = M-L

E(M-L) = 1/3

E(M) - E(L) = 1/3

E(M+L) = E(M) + E(L) = E(X+Y) = 1

∴ E(M) = 2/3, E(L) = 1/3

M과 L의 PDF를 구하여 문제를 해결하는 방법도 있다.

---

Ex. chicken and egg problem(discrete problem)

N ~ Pois(λ), 각 달걀이 부화할 확률 p. indep, X = 부화한 알의 갯수

so X|N ~ Bin(N, p)

Y = 부화하지 못한 알의 갯수

so X+Y=N

Find joint PMF of X, Y

1. 전확률의 정리를 이용해 조건부 확률로 만들어줌.
2. i+j=N을 이용하여 식 변환, X가 i를 가지면 Y는 당연히 j를 가지기 때문에 반복된 정보라 삭제
3. 이항분포와 포아송분포를 이용해 함수를 방정식 형태로 변환
4. p+q=1을 이용하여 p와 q에 대한 식으로 정리

 

출처: https://www.edwith.org/ai152