25. 순서통계량과 조건부 기댓값(Order Statistics and Conditional Expectations)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

베타분포와 감마분포의 관계

ex. 은행-우체국 example

은행 대기시간 X∼Gamma(a,λ), 우체국 대기시간 Y∼Gamma(b,λ), X와 Y는 독립

전체 대기시간에 대한 결합분포 T

• X는 i.i.d. exp(a)의 합이고, Y는 i.i.d. exp(b)의 합이다.
• T ~ Gamma(a+b,λ)

W = X / (X+Y), λ=1로 가정

joint PDF

\[f_{T,W}(t,w) = f_{X,Y}(x, y)|\frac{\partial (x,y)}{\partial (t, w)}| = \frac{1}{\Gamma(a)\Gamma(b)}x^ae^{-x}y^be^{-y}\frac{1}{xy}t\]

\[|\frac{\partial (x,y)}{\partial (t, w)}| : Jacobian = t\]

x+y=t, x/x+y=w y/x+y = 1-w

x = tw, y = t(1-w)

\[\begin{vmatrix}w& t \\1-w & -t \\\end{vmatrix} = -tw-t(1-w) = -t\]

\[= \frac{1}{\Gamma(a)\Gamma(b)}w^{a-1}(1-w)^{b-1} t^{a+b}e^{-t}\frac{1}{t} * \frac{\Gamma(a+b)}{\Gamma(a+b)}\]

정규화상수를 만들어주기 위해 Γ(a)Γ(b)를 분모 분자에 각각 곱해준다.

\[\frac{ t^{a+b}e^{-t}\frac{1}{t} }{\Gamma(a+b)} = Gamma(a+b, 1): PDF\]

\[f_W(w) = \int_{}^{}f_{T,W}(t,w)dt = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}w^{a-1}(1-w)^{b-1}\]

식의 앞부분은 w에 대한 값이므로 t에대한 적분에서는 상수값이 되고, 뒷부분은 PDF이기 때문에 적분값이 1이 된다.

=> T ~ Gamma(a+b,1), W ! Beta(a,b), T, W는 독립

 

E(W), W ~ Beta(a, b)

1. LOTUS/defn

2. 

\[E(\frac{X}{X+Y}) = \frac{E(X)}{E(X+Y)} = \frac{a}{a+b}\]

E(X/X+Y)E(X+Y) = E(X)가 Gamma-beta 관련된 특별한 상황에서 성립하는 이유?

=> X/X+Y와 X+Y는 이 문제에서 독립이다. => 독립에서 무상관이다. => E(XY)=E(X)E(Y)

 

순서통계량

X1, ..., Xn i.i.d.임을 가정하였을 때, 

\[X_{(1)} \leq X_{(2)} \leq \cdots \leq X_{(n)}, X_{(1)} = min(X_1, \cdots X_n), \cdots, max(X_1, \cdots, X_n) \]

X(n) : n번째로 작은 숫자

• n이 홀수일 때, 중간값은 X_(n+1/2)이다.
• 사분위수 또한 구할 수 있다.

특징

• 순서적인 특징을 가지고 있기 때문에 독립이 아니다.(5번째 값은 4번째 값보다 크거나 같다)
• 이산형인 경우에는 같은 값에 대해 순서를 매기기 어렵다.

분포구하기

 X1, ..., Xn이 iid이고 PDF f, CDF F를 가질 때, X(j)의 CDF와 PDF?

\[CDF:P(X_{(j)} \leq x)\]

=P(최소 j개의 Xi가 x보다 작거나 같다)

\[= \sum_{k=j}^{n}\binom{n}{k}F(x)^k(1-F(x))^{n-k}\]

Xj보다 왼쪽에 있는 경우를 성공으로 보는 이항분포

\[PDF:f_{X_{(j)}}(x)dx = n\binom{n-1}{j-1}(f(x)dx)F(x)^{j-1}(1-F(x))^{n-j}\]

\[f_{X_{(j)}}(x) = n\binom{n-1}{j-1}F(x)^{j-1}(1-F(x))^{n-j}f(x)\]

PDF, CDF, 1-CDF가 모두 포함되어 있다.

 

Ex. 균등분포와 순서통계량

\[u_1, \cdots, u_n \sim Unif(0, 1), i.i.d.\]

\[f_{u_{(j)}}(x) = n\binom{n-1}{j-1}x^{j-1}(1-x)^{n-j}, 0 < x < 1\]

균등분포의 pdf는 1이된다.

x 와 1-x로 이루어진 식이 베타분포에 관한 식이므로

\[\therefore u_{(j)} \sim Beta(j, n-j+1)\]

 

조건부 기댓값

E(X|A), A : event

\[E(X) = E(X|A)P(A) + E(X|A^c)P(A^c)\]

\[E(X) =\sum_{x}^{}P(X=x)\]

 

두 봉투 역설(Two Envelope Paradox)

한 봉투에는 다른 봉투의 두 배에 해당하는 돈이 들어있다.(두 봉투의 외관은 같다)

 

출처: https://www.edwith.org/ai152