4~10강 Review

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

 

Independent(독립)

사건 A, B가 독립이라는 것은 P(A∩B) = P(A)P(B) 임을 나타낸다. 

독립은 배반과는 전혀 다른 개념이다.

독립 : A가 일어나는 일을 B는 알 수 없다.

배반 : A가 일어나면 B는 일어날 수 없다.

Conditional Probability(조건부 확률)

B사건이 일어났을 때 A가 일어날 사건, P(A|B) = P(A∩B) / P(B), P(B)는 0보다 크다는 조건하에 만족한다.

또한 조건부확률은 다음과 같이 나타낼 수 있다.

P(A|B) = P(B|A)P(A) / P(B) -> 이를 베이즈 정리라고 한다.

Law of Total Probability(전확률 정리)

Sample space S 내에 B라는 사건이 있을 때, 이 사건에 대한 확률을 구하기 위해 sample space를 작은 구간으로 나눈다.

$$S=A_1+A_2+\cdots A_n$$

이때 사건 B에 대한 확률은 아래와 같다.

$$P(B)=P(B\cap A_1)+P(B\cap A_2)+\cdot +P(B\cap A_n)$$

$$=P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+\cdot +P(B|A_n)P(A_n)$$

이를 Law of Total Probability(전확률 정리)라고 한다.

 

조건부 확률에 대해 자주하는 실수

1. P(A|B)와 P(B|A)를 헷갈리는 것(검사의 오류)
2. 사전확률 P(A)와 사후확률 P(A|B)에 대한 혼동
3. 독립과 조건부 독립에 대한 혼동

조건부확률의 예시 : Monty Hall Problem, Simpson's Paradox, Gambler's Ruin

확률변수

Sample space S의 원소 s를 실수 R로 대응시키는 함수

확률변수 X가 베르누이 분포를 따른다 -> X는 0과 1 두 값만 가질 수 있다.

베르누이 분포

Bern(p), p : 확률변수 X가 1을 가질 확률

이항분포

n개의 독립적인 Bern(p)의 성공 횟수 분포, Bin(n, p)

PMF of Bin(n, p)

$$P(X=k){=}_n{C}_k{p}^k(1-p{)}^{n-k}$$

X ~ Bin(n, p), Y ~ Bin(m, p) -> X+Y ~ Bin(n+m, p) -> 이항정리

초기하분포

복원을 하지 않은 표본추출

n값이 매우 크고 k값이 매우 작은 경우는 이항분포에 근사한다. 

기댓값

이산형 확률변수 E(X) = ∑XP(X=x)

베르누이 확률변수 E(X) = 1 * P(X=1) + 0 * P(X=0) = p 

이항 확률변수 E(X) = np

기대값의 선형성

E(X+Y) = E(X) + E(Y)

E(cX) = cE(X)

이항분포는 n개의 베르누이 분포이기 때문에 이항분포의 기댓값은 베르누이 분포의 기댓값에 n을 곱한 값과 같다.

 

초기하분포의 기댓값은 이항분포의 기댓값과 같다.

 

기하분포

독립인 Bern(p)의 시행을 할 때, 첫 성공 전까지 실패한 횟수

PMF of 기하분포 = q^k*p

E(X) = q/p

 

음이항분포

독립인 Bern(p)의 시행을 할 때, r번째 성공할 때까지 실패한 횟수

$$P(X=n){=}_{n+r-1}{C}_{r-1}{p}^r(1-p{)}^n$$

E(X) = r * q/p

 

 

출처: https://www.edwith.org/ai152