본문 바로가기

전체 글108

6. Monty Hall 문제와 심슨의 역설 (Monty Hall, Simpson's Paradox) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Monty Hall Problem 1 door has car, 2 doors have goats, Monty knows which Monty는 항상 염소가 있는 문을 연다. (Monty가 2번 문을 열었다 -> 2번 문 뒤에 염소가 있음을 가정.) P(success if switch | Monty opens door 2) = 2/3 Law of total probability wish we knew where car is event S : succeed (assuming switch) event Dj : Door j has car(c ∈ (1, 2, 3)) P(S) = P(S|D1) / 3 + P(S|D2.. 2022. 1. 18.
Parameter, HyperParameter Model Parameter 모델 내부에서 데이터를 통해 값을 추정할 수 있는 변수 prediction을 만들기 위해 모델에서 필요하다. parameter는 모델의 skill을 정의한다. data에 의해 결정된다. 학습에 의해 자동으로 최적화된다. 학습된 모델의 일부로 저장된다. Model Hyperparameter 모델 외부에 있고 데이터를 통해 추정할 수 없는 변수 모델 parameter를 추정하는 프로세스에서 주로 사용 실무자가 직접 결정 휴리스틱을 사용하여 설정 휴리스틱 : 불충분한 시간이나 정보로 인하여 합리적인 판단을 할 수 없거나, 체계적이면서 합리적인 판단이 굳이 필요하지 않은 상황에서 사람들이 빠르게 사용할 수 있게 보다 용이하게 구성된 간편추론의 방법 주어진 예측 모델링 문제에 대해 조.. 2022. 1. 18.
House Prices - Advanced Regression Techniques 코드리뷰 Competition : https://www.kaggle.com/c/house-prices-advanced-regression-techniques/overview Code : https://www.kaggle.com/pmarcelino/comprehensive-data-exploration-with-python Description Dataset train.csv - the training set test.csv - the test set data_description.txt - 각 컬럼에 대한 자세한 설명 sample_submission.csv - a benchmark submission from a linear regression on year and month of sale, lot square .. 2022. 1. 17.
5. 조건부 확률과 전확률정리 (Conditioning Continued, Law of Total Probability) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Thinking conditionally is a condition for thinking How to solve a problem? 간단한 케이스와 극단적인 케이스 적용 문제를 더 작은 조각으로 나누어서 해결 Let A1, A2, ... An partition of S -> disjoint, ∑An = S Then P(B) = P(B∩A1) + P(B∩A2) + ... + P(B∩An) = P(B|A1)P(A1) + ... + P(B|An)P(An) -> law of total probability(전체 확률의 정리) Ex. 52장 중 2개의 랜덤한 카드를 뽑았을 때의 조건부 확률 Find P(both .. 2022. 1. 17.
4. 조건부 확률 (Conditional Probability) 본 글은 Havard University Statistics 110 강의를 듣고 정리한 내용입니다. Independent Defn : Event A, B are independent if P(A∩B) = P(A)P(B) completely different from disjointness(배반) 독립 : A가 일어나는 일을 B는 알 수 없다 배반 : A가 일어나면 B는 일어날 수 없다. A, B, C are independent if P(A,B) = P(A)P(B), P(A,C) = P(A)P(C), P(B,C) = P(B)P(C), P(A,B,C) = P(A)P(B)P(C) 비슷하게 A1 , ... , An의 사건이 있을때, 몇개의 사건을 뽑아도 모두 독립이다. Newton-Pepys Problem 공.. 2022. 1. 13.
Lecture 4. Introduction to Neural Networks 본 글은 Stanford University CS231n 강의를 듣고 정리한 내용입니다. Computational graphs 1. weight W와 data x가 만나 score를 출력한다. 2. hinge loss를 통해 L_i값을 구하고, regularization까지 더하여 최종 loss L을 출력한다. Backpropagation e.g. x = -2, y = 5, z = -4 ∂f / ∂f = 1 ∂f / ∂z = q = 3 ∂f / ∂q = z = -4 ∂f / ∂x = ∂f / ∂q * ∂q / ∂x = z * 1 = - 4 ∂f / ∂y = ∂f / ∂q * ∂q / ∂y = z * 1 = -4 Chain rule = upstream gradient * local gradient 정방향으.. 2022. 1. 13.