29. 큰 수의 법칙과 중심극한정리(Law of Large Numbers and Central Limit Theorem)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

큰 수의 법칙(Law of Large Numbers)

X1, X2, ...가 i.i.d.이고, 평균(μ)과 분산(σ​2) ​이 존재한다.

표본평균

\[\overline{X_n} = \frac{1}{n}\sum_{j=1}^{n}X_j\]

Strong 큰 수의 법칙 : n이 무한대로 갈수록, Xn은 μ로 수렴한다.(확률은 1) -> 표본평균이 실제평균에 수렴한다.

 

Ex.

Xj ~ Bern(p) 일 때, 확률 1로 아래와같이 수렴한다.

\[\frac{X_1+\cdots + X_n}{n} \rightarrow p\]

 

Weak 큰 수의 법칙 : 0보다 큰 c에 대해, n이 무한대로 갈 때, 

\[P(|\overline{X_n}-\mu| > c) \rightarrow 0\]

Proof) 쳬비셰프 부등식 이용

\[P(|\overline{X_n}-\mu| > c)\leq \frac{Var(\overline{X_n})}{c^2} = \frac{\frac{1}{n^2}n \sigma^2}{c^2} = \frac{\sigma^2}{nc^2} \rightarrow 0\]

sigma와 c는 모두 상수이고, n은 무한대로 가기 때문에 0으로 수렴

중심극한정리(Central Limit Theorem) 

\[\frac{\overline{X_n}-\mu}{\sqrt{n}\sigma} \rightarrow N(0, 1)\]

X는 이항일 수도 있고 연속일 수도 있다.

n이 클 떼, 확률변수는 정규분포에 근사한다.

아래와 같은 형태로 작성할 수도 있다.

\[\frac{\sum_{j=1}^{n}X_j - n\mu}{\sqrt{n} \sigma } \rightarrow N(0, 1)\]

M(0) = 1, M'(0) = 0, M''(0) = 1 

 

Ex. 정규분포의 이항분포에의 근사

\[X \sim Bin(n, p), X = \sum_{j=1}^{n}X_j, X_j \overset{iid}{\sim}Bern(p)\]

\[P(a \leq X \leq b) = P(\frac{a-np}{\sqrt{npq}} \leq \frac{X-np}{\sqrt{npq}} \leq \frac{b-np}{\sqrt{npq}} )\]

\[\approx \Phi(\frac{b-np}{\sqrt{npq}}) - \Phi(\frac{a-np}{\sqrt{npq}})\]

n이 무한대로 갈 때 p가 0으로 가고 np는 고정된다면, 이항분포는 포아송 분포로 수렴

Pois : n large, p small, lambda = np

Normal: n large, p close to 1/2

 

 

 

출처: https://www.edwith.org/ai152