28. 부등식(Inequalities)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

 

Ex. 조건부 기댓값 추가 예시

어떤 가게에 방문하는 손님의 수

Xj : j 번째 손님이 소비한 돈, mean of Xj : μ, var of Xj : σ​2​​

N : 특정 기간 방문한 손님의 수(확률변수)

N, X1, ..., Xj는 독립

총 지출의 평균과 분산? X = ∑Xj

\[E(X) = \sum_{n=0}^{\infty}E(X|N=n)P(N=n) = \sum_{n=0}^{\infty}\mu nP(N=n) = \mu E(N)\]

Adam's Law

\[E(X) = E(E(X|N)) = E(\mu N) = \mu E(N)\]

Eve's Law

\[Var(X) = E(Var(X|N)) + Var(E(X|N)) = E(N\sigma^2) + Var(\mu N)\]

\[ = \sigma^2E(N) +\mu^2 Var(N)\]

부등식

1. 코시-슈바르츠 부등식

\[E(XY) \leq \sqrt{E(X^2)E(Y^2)}\]

X와 Y가 무상관이라면, \[ E(XY) = E(X)E(Y)\]

X와 Y의 평균이 0인 경우, \[  |Corr(X, Y)| = |\frac{E(XY)-E(X)E(Y)}{\sigma(X)\sigma(Y)}| = |\frac{E(XY)}{\sqrt{E(X)^2E(Y)^2}}| \leq 1\]

2. 젠슨 부등식

g가 볼록함수(Convex Function, g''(x) ≥ 0)일 때,

\[E(g(X)) \geq g(E(X))\]

h가 오목함수(Concave Function)일 때, \[  E(h(X)) \leq h(E(X))\]

ex. X가 0보다 클 때, 

\[ E(\frac{1}{X}) \geq \frac{1}{E(X)}\]

\[  E(ln(X)) \leq ln(E(X))\]

3. 마르코프 부등식

\[P(|X|\geq a) \leq \frac{E(|X|)}{a}, a > 0\]

ex. 100명의 사람이 있을 때, 

1) 95%의 사람들이 평균 나이보다 어릴 수 있는가? -> YES(한 사람이 매우 나이가 많은 경우)

2) 50%의 사람들이 평균나이의 2배보다 많을 수 있는가? -> NO

 

4. 쳬비셰프 부등식

\[P(|X-\mu| > a) \leq \frac{Var(X)}{a^2}, (\mu=E(X),a>0)\]

\[P(|X-\mu|>c\cdot SD(X)) \leq \frac{1}{c^2}, c>0\]

\[ P(|X-\mu|>a) = P((X-\mu)^2 > a^2) \leq \frac{E(X-\mu)^2}{a^2} = \frac{Var(X)}{a^2} \]

 

 

 

 

출처: https://www.edwith.org/ai152