21. 공분산과 상관계수(Covariance and Correlation)

본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다.

 

공분산(Covariance)

Defn X, Y는 같은 표본 공간의 두 확률변수

$$Cov(X,Y)=E((X-EX)(Y-EY))=E(XY)-E(X)E(Y)$$

• Cov(X, X) = Var(X)
• Cov(X, Y) = Cox(Y, X)
• Cox(X, c) = 0 if c is const
• Cov(cX, Y) = c Cov(X, Y)
• Cov(X, Y+Z) = Cov(X,Y) + Cov(X,Z)
  • 위 두개의 성질을 이중선형성이라 한다.
• Cov(X+Y, Z+W) = Cov(X,Z) + Cov(X, W) + Cov(Y, Z) + Cov(Y, W)

$$Cov(\sum _{i=1}^m{a}_i{X}_i,\sum _{j=1}^n{b}_j{Y}_j)=\sum _{i,j}^{}{a}_i{b}_{j}Cov(X_i,Y_j)$$

• Var(X1 + X2) = Var(X1) + Var(X2) + 2Cov(X1, X2)
  • X1과 X2가 독립인 경우 공분산이 0이 되고 합의 분산은 분산의 합과 같아진다.$$Var(X_1+\cdots +X_n)=Var(X_1)+\cdots +Var(X_n)+2\sum _{i<j}^{}Cov(X_i,X_j)$$

Thm. X, Y가 독립일 때, uncorrelated라고 표현하고, Cov(X, Y)=0이 된다.

* 역은 성립하지 않는다.

$$Z\sim N(0,1),X=Z,Y=Z^2$$

$$Cov(X,Y)=E(XY)-E(X)E(Y)=E(Z^2)-E(Z)E(Z^2)=0$$

공분산은 0이지만 Y는 X에 대한 함수이기 때문에 독립이 아니다.

상관(Correlation)

공분산의 표준화

Defn $$Corr(X,Y)=\frac{Cov(X,Y)}{SD(X)SD(Y)}=Cov(\frac{X-E(X)}{SD(X)},\frac{Y-E(Y)}{SD(Y)})$$

Thm -1≤ Corr(X, Y) ≤1 (form of Cauchy-Schwarz)

Proof WLOG( Without Loss of Generality) X, Y는 이미 정규화 되어있음, Corr(X, Y) = ρ

$$Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)=2+2\rho$$

$$Var(X-Y)=Var(X)+Var(Y)-2Cov(X,Y)=2-2\rho$$

분산은 0보다 크기 때문에 -1 ≤ ρ ≤ 1 이 된다.

 

Ex. 다항분포

$$(X_1,\cdots ,X_k)\sim Mult(n,\overrightarrow{p})$$

Find Cov*Xi, Xj) for all i, j

$$i=j\to Cov(X_i,X_i)=Var(X_i)=n{p}_i(1-p_i)$$

다항분포에서 i와 j가 다를 때, 일정한 집단에 대한 경쟁이기 때문에 공분산 값은 음수를 가진다.

$$i\ne j\to Cov(X_1,X_2)=c$$

$$Var(X_1+X_2)=n{p}_1(1-p_1)+n{p}_2(1-p_2)+2c-n(p_1+p_2)(1-(p_1+p_2))$$

$$\Rightarrow Cov(X_1,X_2)=-n{p}_1{p}_2$$

$$General:Cov(X_i,X_j)=-n{p}_i{p}_j,fori\ne j$$

 

Ex. 이항분포

X ~ Bin(n, p), X = X1 + .... + Xn ~ Bern(p)

$$Var(X_j)=E(X_j^2)-E(X_j{)}^2=p-p^2=p(1-p)$$

$$Var(X)=npq,(\because Cov(X_i,X_j)=0)$$

 

Ex. 초기하분포

X ~ HGeom(w, b, n), X = X1 + ... + Xn, Xj = {1 if jth ball is white, 0 otherwise

$$Var(X)=nVar(X_1)+2(\genfrac{}{}{0ex}{}{n}{2})Cov(X_1,X_2)$$

$$Cov(X_1,X_2)=E(X_1{X}_2)-E(X_1)E(X_2)=\frac{w}{w+b}\frac{w-1}{w+b-1}-{\frac{w}{w+b}}^2$$

 

 

 

출처: https://www.edwith.org/ai152