16~20강 Review

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

Exponential Distribution

지수함수의 PDF

$$\lambda e^{-\lambda x}$$

 

지수함수의 CDF

$$F(x)={\int }_0^x\lambda e^{-\lambda t}dt=1-e^{-\lambda x}$$

 

 Y = λX 라고 가정했을 때, Y ~ Expo(1)

$$E(Y)=\int y{e}^{-y}dy=1$$

$$Var(Y)=E(Y^2)-E(Y{)}^2=1$$

 

$$\therefore X=\frac{Y}{\lambda },E(X)=\frac{1}{\lambda },Var(X)=\frac{1}{{\lambda }^2}$$

Memoryless Property(지수분포의 무기역성)

$$P(X\ge s+t|X\ge s)=P(X\ge t)$$

$$E(X|X>a)=a+E(X-a|X>a)=a+\frac{1}{\lambda }$$

 

Moment Generating Function(적률생성함수)

확률변수 X가 적률생성함수 M(t)를 가지고 있다고 할 때, 

$$M(t)=E(e^{tx})=E(\sum _{n=0}^{\mathrm{\infty }}\frac{X^n{t}^n}{n!})=\sum _{n=0}^{\mathrm{\infty }}E(X^n)\frac{t^n}{n!}$$

• 테일러 급수인 t^n/n!의 계수인 E(X^n)이 n차 적률을 나타낸다.
• 같은 MGF를 가지는 두 확률변수는 같은 확률분포를 가짐
• $$E(e^{t(X+Y)})=E(e^{tX})E(e^{tY})=M_X{M}_Y$$

X ~ Bern(p)

$$M(t)=E(e^{tX})=p{e}^t+q$$

X ~ Bin(n,p)

$$M(t)=(p{e}^t+q{)}^n$$

Z ~ N(0, 1)

$$M(t)=e^{t^2/2}$$

Exponential MGF

X ~ Expo(1)

$$M(t)=E(e^{tx})={\int }_0^{\mathrm{\infty }}{e}^{tx}{e}^{-x}dx={\int }_0^{\mathrm{\infty }}{e}^{-x(1-t)}dx=\frac{1}{1-t}$$

$$M^{\prime }(0)=E(X)$$

$$M^{″}(0)=E(X^2)$$

$$M^{″}(0)=E(X^3)$$

$$\frac{1}{1-t}=\sum t^n=\sum n!\cdot \frac{t^n}{n!}\Rightarrow E(X^n)=n!$$

 

Y ~ Expo(λ), X = λY ~ Expo(1)

$$E(Y^n)=\frac{n!}{{\lambda }^n}$$

Normal MGF

Z ~ N(0, 1)

$$E(Z^{2n-1})=0$$

$$E(Z^{2n})=\frac{(2n)!}{(2^n\cdot n!)}$$

Poisson MGF

X ~ Pois(λ)

$$E(e^{tX})=\sum _{k=0}^{\mathrm{\infty }}\frac{e^{tk}{e}^{-\lambda }{\lambda }^k}{k!}=e^{\lambda (e^t-1)}$$

Y ~ Pois(μ), X, Y는 독립

$$MGF:M_X{M}_Y=e^{(\lambda +\mu )(e^t-1)}\Rightarrow X+Y\sim Pois(\lambda +\mu )$$

결합분포(Joint Distribution)

X, Y Bernoulli

확률변수  X, Y의 joint CDF F(x, y) = P(X≤x,Y≤y) 

• 이산확률변수와 연속확률변수의 조합에도 성립

이산형인 경우의 joint PMF P(X=x,Y=y) 

Joint PDF

$$f(x,y)=\frac{\partial }{\partial x\partial y}F(x,y)$$

주변 분포(Marginal Distribution)

확률변수 X의 marginal CDF:  P(X≤x)  

marginal PMF : P(X=x)

 

$$P(X=x)=\sum _y^{}P(X=x)(Y=y)$$

$$F_Y(y)=\int f_{X,Y}(x,y)dy$$

marginal PDF of X

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x,y)dy$$

conditional PDF of Y|X 

$$f_{Y|X}\left(y|x\right)=\frac{f_{X,Y}(x,y)}{f_X(x)}=\frac{f_{X|Y}(x|y)f_Y(y)}{f_X(x)}$$

 

2-dim LOTUS

X와 Y가 결합 확률밀도함수 f(x, y)를 가지고, g(x, y)가  x, y 에 대한 함수라고 할 때, 

만약 X와 Y가 독립이면 E(XY) = E(X)E(Y)

 

Proof(continuous case)

독립이기 때문에 PDF는 각 변수에 대한 PDF의 곱으로 나타낼 수 있다.

다항분포

$$\overrightarrow{X}\sim Mult(n,\overrightarrow{p})$$

joint PMF

$$P(X_1=n_1,\cdots ,X_k=n_k)=\frac{n!}{n_1!\cdots n_k!}\cdot p_1^{n_1}\cdots p_k^{n_k}$$

marginal distribution

$$X_j\sim Bin(n,p_j)$$

코시분포

T = X/y, X, Y ~ N(0, 1)

PDF

$$P(X\le t|Y|)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\mathrm{\Phi }(t|Y|)\phi (y)dy$$

 

 

 

출처: https://www.edwith.org/ai152