본문 바로가기

Study62

23. 베타분포(Beta disctribution) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. 베타분포 Beta(a, b), a>0, b>0 PDF \[f(x) = cx^{a-1}(1-x)^{b-1}\] 베타분포는 매우 유연한 확률분포이다. a=b=1 a=2, b=1 a=b=1/2 a=b=2 이러한 성질에 의하여 사전분포로 사용할 수 있고, 모수는 0과 1 사이의 값을 가진다 이항분포에 "켤레사전분포(conjugate prior)"로 쓰인다. 다른 분포와의 연결성이 좋다. Conjugate prior for Binomial X|P ~ Bin(n, p), P ~ Beta(a, b) [prior] 사후분포 P|X? \[f(p|X=k) = \frac{P(X=k|p)f(p)}{P(X=k)} = \frac{.. 2022. 2. 21.
22. 변수변환과 합성곱(Transformations and Convolutions) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. 초기하분포의 분산 HyperGeom(w, b, n), p w / (w+b), w+b=N \[Var(\sum_{j=1}^{n}X_j) = Var(X_1) + \cdots + Var(X_n) + 2\sum_{i 2022. 2. 21.
21. 공분산과 상관계수(Covariance and Correlation) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. 공분산(Covariance) Defn X, Y는 같은 표본 공간의 두 확률변수 \[Cov(X, Y) = E((X-EX) (Y-EY) ) = E(XY)-E(X)E(Y)\] Cov(X, X) = Var(X) Cov(X, Y) = Cox(Y, X) Cox(X, c) = 0 if c is const Cov(cX, Y) = c Cov(X, Y) Cov(X, Y+Z) = Cov(X,Y) + Cov(X,Z) 위 두개의 성질을 이중선형성이라 한다. Cov(X+Y, Z+W) = Cov(X,Z) + Cov(X, W) + Cov(Y, Z) + Cov(Y, W) \[Cov(\sum_{i=1}^{m}a_iX_i, \sum_{j=.. 2022. 2. 20.
11~15강 Review 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Poisson Distribution X ~ Pois(λ) \[P(X=k) = \frac{e^{-\lambda}\lambda^k} {k!}\] 포아송 분포는 많은 시도의 횟수를 시행하고, 성공 확룰이 매우 작은 경우에 성공의 수를 count 할 때 많이 사용한다. Poisson Paradign (Pois Approximation, 포아송 근사) event Aj, P(Aj) = pj 에서 n은 매우 큰 수이고 pj는 매우 작은 수라고 할 때, event 끼리 독립이면(혹은 약한 종속성을 가지고 있는 경우) event Aj는 포아송 분포로 근사할 수 있다. Ex. Raindrops, Birthday Probl.. 2022. 2. 16.
Lecture 7 . Training Neural Networks II 본 글은 Stanford University CS231n 강의를 듣고 정리한 내용입니다. Fancier optimization Regularization Transfer Learning Optimizer W1와 W2를 optimizer하는 과정은 곧 오른쪽 그래프에서 가장 빨간 지점(가장 낮은 loss를 가지는 Weight)을 찾는 것이다. 위 사진같은 loss function의 경우 수평 방향으로는 loss가 매우 적게 줄어들지만, 수직방향으로는 변화에 매우 민감해진다. 수평 방향으로는 매우 느리게 진행되며, 수직 방향으로는 불안정(zigzag)하게 진행된다. 실제 모델은 수백만, 수천만개의 파라미터를 가지고 있고, 이는 수백 수천만개의 방향이 있음을 의미한다. 이 때 가장 큰 값과 작은 값의 비율이 .. 2022. 2. 14.
4~10강 Review 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Independent(독립) 사건 A, B가 독립이라는 것은 P(A∩B) = P(A)P(B) 임을 나타낸다. 독립은 배반과는 전혀 다른 개념이다. 독립 : A가 일어나는 일을 B는 알 수 없다. 배반 : A가 일어나면 B는 일어날 수 없다. Conditional Probability(조건부 확률) B사건이 일어났을 때 A가 일어날 사건, P(A|B) = P(A∩B) / P(B), P(B)는 0보다 크다는 조건하에 만족한다. 또한 조건부확률은 다음과 같이 나타낼 수 있다. P(A|B) = P(B|A)P(A) / P(B) -> 이를 베이즈 정리라고 한다. Law of Total Probability(전확률 정.. 2022. 2. 13.