본문 바로가기

Study62

20. 다항분포 및 코시분포(Multinomial and Cauchy) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Ex. Find E|Z1-Z2| with Z1, Z2 ~ N(0, 1) i.i.d. Thm. \[X \sim N(\mu_1 , \sigma_1 ^2), Y \sim N(\mu_2 , \sigma_2 ^2) , X, Y \rightarrow indep\] \[X + Y \sim N(\mu_1 + \mu_2 , \sigma_1 ^2 + \sigma_2 ^2)\] 차의 경우 평균은 평균간의 차이지만 분산은 분산간의 합이 된다. Proof Use MGFs : MGF of X+Y is \[e^{\mu_1 t + \frac{1}{2} \sigma_1 ^2 t^2} * e^{\mu_2 t + \frac{1}{2} \s.. 2022. 2. 7.
Lecture 6. Training Neural Networks I 본 글은 Stanford University CS231n 강의를 듣고 정리한 내용입니다. Activation Functions input으로 들어온 데이터를 weight와 곱해주고, activation function을 통과하는 과정을 거친다. Sigmoid Problem of Sigmoid 1. Saturated neurons 'kill' the gradients x = -10 -> gradient는 0에 가까운 값이 된다. x = 0 -> resonable gradient를 얻게 되어 역전파가 잘 일어난다. x = 10 -> gradient는 0에 가까운 값이 된다. 2. Sigmoid outputs are not zero-centered neuron의 입력 x가 항상 양수라면 W의 값들을 항상 증가.. 2022. 2. 7.
19. 결합, 조건부, 주변 확률질량함수(Joint, Conditional, and Marginal Distributions) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Joint, Conditional, Marginal distribution joint CDF \[F\left ( x,y \right ) = P\left ( X\leq x,Y\leq y \right ) \] 이산확률변수와 연속확률변수의 조합에도 성립 joint PDF \[f\left ( x, y \right ) = \frac{\partial }{\partial x \partial y}F\left ( x, y \right )\] 확률이 아닌 확률밀도. 확률은 확률밀도를 적분하여 구할 수 있다. \[P\left ( \left ( x, y \right ) \in A \right ) = \iint_{A}^{}f\l.. 2022. 2. 6.
18. 적률생성함수_2 (MGFs Continued) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Exponential MGF X ~ Expo(1), Find MGF M(t) = E(e^{tx}) = ∫[x=0~∞] e^{tx}e^{-x}dx = ∫e^{-x(1-t)} dx = 1/(1-t) t 기하급수 = ∑t^n = ∑n! * t^n/n! => E(X^n) = n! ∵n! = n차적률 Y ~ Expo(λ), Let X = λY ~ Expo(1), so Y^n = X^n/λ^n E(Y^n) = n!/λ^n Normal MGF Let Z ~ N(0, 1), find all i.. 2022. 2. 5.
17. 적률생성함수(Moment Generating Functions) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. 무기억성(Memoryless property) T = 기대수명 E(T|T>20) > E(T) 만약 무기억성이라면, E(T|T>20) = 20 + E(T) if X is positive continuous r.v. with memoryless property, then X ~ Expo(λ) for some λ (지수분포의 특성) Proof Let F be the CDF of X, G(x) = P(X>x) = 1-F(x) Memoryless Property G(s+t) = G(s)G(t) if s = t -> G(2t) = G(t)^2, G(3t) = G(2t)G(t) = G(t)^3, G(kt) = G(t).. 2022. 2. 3.
16. 지수분포(Exponential Distribution) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Exponential Distribution rate parameter λ PDF = λe^(-λx), x > 0(0 otherwise), 지속적으로 감수하는 함소 valid ∫λe^(-λx) = 1 CDF F(x) = ∫[x=0~x] λe^(-λt)dt = 1-e^(-λx), x>0 Let Y = λx, then Y ~ Expo(1) Expo(1)을 먼저 구한 후 λ를 곱해주면 된다. P(Y≤y) = P(X ≤ y/λ) = 1-e^-y Find E(Y), Var(Y) E(Y) = ∫ye^(-y) dy (부분적분 공식 이용) = (-ye^-y)|[0~∞] + ∫[0~∞] e^(-y)dy = 0 + 1 u .. 2022. 2. 1.

티스토리툴바