29. 큰 수의 법칙과 중심극한정리(Law of Large Numbers and Central Limit Theorem)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

큰 수의 법칙(Law of Large Numbers)

X1, X2, ...가 i.i.d.이고, 평균(μ)과 분산(σ​2) ​이 존재한다.

표본평균

$$\overline{X_n}=\frac{1}{n}\sum _{j=1}^n{X}_j$$

Strong 큰 수의 법칙 : n이 무한대로 갈수록, Xn은 μ로 수렴한다.(확률은 1) -> 표본평균이 실제평균에 수렴한다.

 

Ex.

Xj ~ Bern(p) 일 때, 확률 1로 아래와같이 수렴한다.

$$\frac{X_1+\cdots +X_n}{n}\to p$$

 

Weak 큰 수의 법칙 : 0보다 큰 c에 대해, n이 무한대로 갈 때, 

$$P(|\overline{X_n}-\mu |>c)\to 0$$

Proof) 쳬비셰프 부등식 이용

$$P(|\overline{X_n}-\mu |>c)\le \frac{Var(\overline{X_n})}{c^2}=\frac{\frac{1}{n^2}n{\sigma }^2}{c^2}=\frac{{\sigma }^2}{n{c}^2}\to 0$$

sigma와 c는 모두 상수이고, n은 무한대로 가기 때문에 0으로 수렴

중심극한정리(Central Limit Theorem) 

$$\frac{\overline{X_n}-\mu }{\sqrt{n}\sigma }\to N(0,1)$$

X는 이항일 수도 있고 연속일 수도 있다.

n이 클 떼, 확률변수는 정규분포에 근사한다.

아래와 같은 형태로 작성할 수도 있다.

$$\frac{\sum _{j=1}^n{X}_j-n\mu }{\sqrt{n}\sigma }\to N(0,1)$$

M(0) = 1, M'(0) = 0, M''(0) = 1 

 

Ex. 정규분포의 이항분포에의 근사

$$X\sim Bin(n,p),X=\sum _{j=1}^n{X}_j,X_j\stackrel{iid}{\sim }Bern(p)$$

$$P(a\le X\le b)=P(\frac{a-np}{\sqrt{npq}}\le \frac{X-np}{\sqrt{npq}}\le \frac{b-np}{\sqrt{npq}})$$

$$\approx \mathrm{\Phi }(\frac{b-np}{\sqrt{npq}})-\mathrm{\Phi }(\frac{a-np}{\sqrt{npq}})$$

n이 무한대로 갈 때 p가 0으로 가고 np는 고정된다면, 이항분포는 포아송 분포로 수렴

Pois : n large, p small, lambda = np

Normal: n large, p close to 1/2

 

 

 

출처: https://www.edwith.org/ai152