21. 공분산과 상관계수(Covariance and Correlation)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

 

공분산(Covariance)

Defn X, Y는 같은 표본 공간의 두 확률변수

\[Cov(X, Y) = E((X-EX) (Y-EY) ) = E(XY)-E(X)E(Y)\]

• Cov(X, X) = Var(X)
• Cov(X, Y) = Cox(Y, X)
• Cox(X, c) = 0 if c is const
• Cov(cX, Y) = c Cov(X, Y)
• Cov(X, Y+Z) = Cov(X,Y) + Cov(X,Z)
  • 위 두개의 성질을 이중선형성이라 한다.
• Cov(X+Y, Z+W) = Cov(X,Z) + Cov(X, W) + Cov(Y, Z) + Cov(Y, W)

\[Cov(\sum_{i=1}^{m}a_iX_i, \sum_{j=1}^{n}b_jY_j) = \sum_{i, j}^{}a_ib_jCov(X_i,Y_j)\]

• Var(X1 + X2) = Var(X1) + Var(X2) + 2Cov(X1, X2)
  • X1과 X2가 독립인 경우 공분산이 0이 되고 합의 분산은 분산의 합과 같아진다.\[Var(X_1 + \cdots + X_n) = Var(X_1) + \cdots + Var(X_n) + 2\sum_{i< j}^{}Cov(X_i,X_j)\]

Thm. X, Y가 독립일 때, uncorrelated라고 표현하고, Cov(X, Y)=0이 된다.

* 역은 성립하지 않는다.

\[Z \sim N(0,1), X = Z, Y = Z^2\]

\[Cov(X, Y) = E(XY) - E(X)E(Y) = E(Z^2) - E(Z)E(Z^2) = 0\]

공분산은 0이지만 Y는 X에 대한 함수이기 때문에 독립이 아니다.

상관(Correlation)

공분산의 표준화

Defn \[Corr(X, Y) = \frac{Cov(X, Y)}{SD(X)SD(Y)} = Cov(\frac{X - E(X)}{SD(X)},\frac{Y - E(Y)}{SD(Y)} )\]

Thm -1≤ Corr(X, Y) ≤1 (form of Cauchy-Schwarz)

Proof WLOG( Without Loss of Generality) X, Y는 이미 정규화 되어있음, Corr(X, Y) = ρ

\[Var(X+Y) = Var(X) + Var(Y) + 2Cov(X, Y) = 2 + 2\rho\]

\[Var(X-Y) = Var(X) + Var(Y) - 2Cov(X, Y) = 2 - 2\rho\]

분산은 0보다 크기 때문에 -1 ≤ ρ ≤ 1 이 된다.

 

Ex. 다항분포

\[(X_1, \cdots ,X_k) \sim Mult(n, \overrightarrow{p})\]

Find Cov*Xi, Xj) for all i, j

\[i = j \rightarrow Cov(X_i,X_i) = Var(X_i) = np_i(1-p_i)\]

다항분포에서 i와 j가 다를 때, 일정한 집단에 대한 경쟁이기 때문에 공분산 값은 음수를 가진다.

\[i \neq j \rightarrow Cov(X_1, X_2) = c\]

\[Var(X_1 + X_2) = np_1(1-p_1) + np_2(1-p_2) + 2c - n(p_1+p_2)(1-(p_1+p_2))\]

\[\Rightarrow Cov(X_1,X_2) = -np_1p_2\]

\[General : Cov(X_i,X_j) = -np_ip_j, for i \neq j\]

 

Ex. 이항분포

X ~ Bin(n, p), X = X1 + .... + Xn ~ Bern(p)

\[Var(X_j) = E(X_j^2) - E(X_j)^2 = p-p^2= p(1-p)\]

\[Var(X) = npq , (\because Cov(X_i,X_j) = 0)\]

 

Ex. 초기하분포

X ~ HGeom(w, b, n), X = X1 + ... + Xn, Xj = {1 if jth ball is white, 0 otherwise

\[Var(X) = n Var(X_1) + 2\binom{n}{2}Cov(X_1,X_2)\]

\[Cov(X_1,X_2) = E(X_1X_2) - E(X_1)E(X_2) = \frac{w}{w+b}\frac{w-1}{w+b-1} - \frac{w}{w+b}^2\]

 

 

 

출처: https://www.edwith.org/ai152