16~20강 Review

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

Exponential Distribution

지수함수의 PDF

\[\lambda e^{-\lambda x}\]

 

지수함수의 CDF

\[F(x) = \int_{0}^{x} \lambda e^{-\lambda t}dt = 1-e^{-\lambda x}\]

 

 Y = λX 라고 가정했을 때, Y ~ Expo(1)

\[E(Y) = \int ye^{-y}dy = 1\]

\[Var(Y) = E(Y^2) - E(Y)^2 = 1\]

 

\[\therefore X = \frac{Y}{\lambda}, E(X) = \frac{1}{\lambda}, Var(X) = \frac{1}{\lambda^2}\]

Memoryless Property(지수분포의 무기역성)

\[P(X \geq s+t | X \geq s) = P(X \geq t)\]

\[E(X|X>a) = a + E(X-a|X>a) = a + \frac{1}{\lambda}\]

 

Moment Generating Function(적률생성함수)

확률변수 X가 적률생성함수 M(t)를 가지고 있다고 할 때, 

\[M(t) = E(e^{tx}) = E(\sum_{n=0}^{\infty}\frac{X^nt^n}{n!}) = \sum_{n=0}^{\infty}E(X^n)\frac{t^n}{n!}\]

• 테일러 급수인 t^n/n!의 계수인 E(X^n)이 n차 적률을 나타낸다.
• 같은 MGF를 가지는 두 확률변수는 같은 확률분포를 가짐
• \[E(e^{t(X+Y)}) = E(e^{tX})E(e^{tY}) = M_XM_Y\]

X ~ Bern(p)

\[M(t) = E(e^{tX}) = pe^t + q\]

X ~ Bin(n,p)

\[M(t) = (pe^t + q)^n\]

Z ~ N(0, 1)

\[M(t) = e^{t^2/2}\]

Exponential MGF

X ~ Expo(1)

\[M(t) = E(e^{tx}) = \int_{0}^{\infty}e^{tx}e^{-x}dx = \int_{0}^{\infty}e^{-x(1-t)}dx = \frac{1}{1-t}\]

\[M'(0) = E(X)\]

\[M''(0) = E(X^2)\]

\[M''(0) = E(X^3)\]

\[\frac{1}{1-t} = \sum t^n = \sum n! \cdot \frac{t^n}{n!} \Rightarrow E(X^n) = n!\]

 

Y ~ Expo(λ), X = λY ~ Expo(1)

\[E(Y^n) = \frac{n!}{\lambda^n}\]

Normal MGF

Z ~ N(0, 1)

\[E(Z^{2n-1}) = 0 \]

\[E(Z^{2n}) = \frac{(2n)!}{(2^n \cdot n!)} \]

Poisson MGF

X ~ Pois(λ)

\[E(e^{tX}) = \sum_{k=0}^{\infty}\frac{e^{tk}e^{-\lambda}\lambda^k}{k!} = e^{\lambda(e^t-1)}\]

Y ~ Pois(μ), X, Y는 독립

\[MGF : M_XM_Y = e^{(\lambda+\mu)(e^t-1)} \Rightarrow X+Y \sim Pois(\lambda + \mu)\]

결합분포(Joint Distribution)

X, Y Bernoulli

확률변수  X, Y의 joint CDF F(x, y) = P(X≤x,Y≤y) 

• 이산확률변수와 연속확률변수의 조합에도 성립

이산형인 경우의 joint PMF P(X=x,Y=y) 

Joint PDF

\[f\left ( x, y \right ) = \frac{\partial }{\partial x \partial y}F\left ( x, y \right )\]

주변 분포(Marginal Distribution)

확률변수 X의 marginal CDF:  P(X≤x)  

marginal PMF : P(X=x)

 

\[P(X=x) = \sum_{y}^{}P(X=x)(Y=y)\]

\[F_Y (y) = \int f_{X,Y}(x, y)dy \]

marginal PDF of X

\[\int_{- \infty }^{\infty} f\left ( x, y \right )dy \]

conditional PDF of Y|X 

\[f_{Y|X}\left ( y|x \right ) = \frac{f_{X, Y}\left ( x, y \right ) }{f_{X}(x)} = \frac{f_{X|Y}(x|y) f_{Y}(y)} {f_{X}(x)} \]

 

2-dim LOTUS

X와 Y가 결합 확률밀도함수 f(x, y)를 가지고, g(x, y)가  x, y 에 대한 함수라고 할 때, 

만약 X와 Y가 독립이면 E(XY) = E(X)E(Y)

 

Proof(continuous case)

독립이기 때문에 PDF는 각 변수에 대한 PDF의 곱으로 나타낼 수 있다.

다항분포

\[\overrightarrow{X} \sim Mult(n, \overrightarrow{p})\]

joint PMF

\[P(X_1=n_1, \cdots, X_k=n_k) = \frac{n!}{n_1!\cdots n_k!}\cdot p_1^{n_1}\cdots p_k^{n_k}\]

marginal distribution

\[X_j \sim Bin(n, p_j)\]

코시분포

T = X/y, X, Y ~ N(0, 1)

PDF

\[P(X \leq t|Y|) = \int_{-\infty}^{\infty}\Phi (t|Y|)\varphi (y)dy\]

 

 

 

출처: https://www.edwith.org/ai152