Study62 4. 조건부 확률 (Conditional Probability) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Independent Defn : Event A, B are independent if P(A∩B) = P(A)P(B) completely different from disjointness(배반) 독립 : A가 일어나는 일을 B는 알 수 없다 배반 : A가 일어나면 B는 일어날 수 없다. A, B, C are independent if P(A,B) = P(A)P(B), P(A,C) = P(A)P(C), P(B,C) = P(B)P(C), P(A,B,C) = P(A)P(B)P(C) 비슷하게 A1 , ... , An의 사건이 있을때, 몇개의 사건을 뽑아도 모두 독립이다. Newton-Pepys Problem 공.. 2022. 1. 13. Lecture 4. Introduction to Neural Networks 본 글은 Stanford University CS231n 강의를 듣고 정리한 내용입니다. Computational graphs 1. weight W와 data x가 만나 score를 출력한다. 2. hinge loss를 통해 L_i값을 구하고, regularization까지 더하여 최종 loss L을 출력한다. Backpropagation e.g. x = -2, y = 5, z = -4 ∂f / ∂f = 1 ∂f / ∂z = q = 3 ∂f / ∂q = z = -4 ∂f / ∂x = ∂f / ∂q * ∂q / ∂x = z * 1 = - 4 ∂f / ∂y = ∂f / ∂q * ∂q / ∂y = z * 1 = -4 Chain rule = upstream gradient * local gradient 정방향으.. 2022. 1. 13. 3. Birthday Problem과 확률의 특성 (Birthday Problem, Properties of Probability) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Birthday Problem 특정 파티에 여러 사람이 있을 때, 같은 생일의 사람이 있을 확률에 대한 문제(최소 2명) K people, find prob that 2 habe same birthday 365 days a year(exclude Feb.29) equally likely, assume independent if k > 365, prob is 1 (pigeongole principle) Let k ≤ 365, prob > 0.5 일 경우 -> k = 23 P(no match) = 365 * 364 * 363 * ... * (365 - k + 1) / 365^k P(match) = 50.7 %.. 2022. 1. 13. 2. 해석을 통한 문제풀이 및 확률의 공리 (Story Proofs, Axioms of Probability) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Sampling table : choose k object out of n Order matters Order doesn't Replace n^k n+k-1 C k Don't replace n*(n-1)*...*(n-k+1) n C k Pick k times from set of n objects, where order doesn't matter with replacement Extreme cases : k = 0 => n-1 C 0 = 1 Less extreme cases : k = 1 => n C 1 = n Simplest nontrivial examples: n = 2 => k + 1 C k = k .. 2022. 1. 11. Lecture 3. Loss Functions and Optimization 본 글은 Stanford University CS231n 강의를 듣고 정리한 내용입니다. Loss Function : 학습 진행 과정에서 W값이 얼마나 나쁜지를 나타내 주는 함수 Optimization : 모든 가능한 W들 중에 가장 덜 나쁜(bad) W를 찾는 과정 image x와 weight W를 통해 나온 결과와 label y간의 loss값을 모두 더한 뒤 데이터의 갯수만큼 나눠준 값 loss값을 최소화 하는 W값을 찾아가는 과정이 필요함 CIFAR-10의 경우 10개의 class가 있기 때문에 맞고 틀린게 아닌 multiclass에 대한 계산이 필요하다. Multiclass SVM Loss 정답 class의 score가 다른 label의 score보다 월등히 큰 경우(위 식에서는 1이상 큰 경우).. 2022. 1. 11. 1. 확률과 셈 원리 (Probability and Counting) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. 확률론의 활용영역: 유전학, 물리학, 계랑경제학, 금융, 역사학, 정치 인문학, 사회과학계에서도 중요도와 활용이 늘어나고 있음 도박과 게임 - 통계에서 여러 번 연구된 주제이다(페르마, 파스칼) 인생 전반: (수학이 활실성에 대한 학문이라면,) 확률은 불확실성(uncertainty)을 계량화하는 것을 가능하게 해 준다. A sample space(표본 공간) is the set of all possible outcomes of an experiment An event(사건) is a subset of the sample space Naive definition of probability P(A) = Num.. 2022. 1. 10. 이전 1 ··· 4 5 6 7 8 9 10 11 다음
