전체 글108 Logistic Regression 가장 널리 알려진 선형 분류 알고리즘. 소프트맥스(softmas) 함수를 사용한 다중 클래스 분류 알고리즘이며, 다중 클래스 분류를 위한 로지스틱 회귀를 소프트맥스 회귀(Softmax Regression)라고도 합니다. 이름은 회귀지만, 실제로는 분류를 수행합니다. Softmax 입력받은 값을 출력으로 0~1사이의 값으로 모두 정규화하며 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수 분류하고 싶은 클래수의 수 만큼 출력으로 구성한다. 가장 큰 출력 값을 부여받은 클래스가 확률이 가장 높은 것으로 이용된다. 참고문헌 https://velog.io/@guide333/GD-P2-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%AA%A8%EB%8D%B8-%EC%A0%95%EB%A.. 2022. 1. 6. Stochastic Gradient Descent SGD (Stochastic Gradient Descent)이란? batch size가 1인 경사하강법 알고리즘 입니다. 즉, 확률적 경사하강법은 데이터 세트에서 무작위로 균일하게 선택한 하나의 예를 의존하여 각 단계의 예측 경사를 계산합니다. batch size : 경사하강법에서 배치는 단일 반복에서 기울기를 계산하는 데 사용하는 예(data)의 총 개수 데이터 세트에서 data를 무작위로 선택하면 (노이즈는 있겠지만) 훨씬 적은 데이터 세트로 중요한 평균값을 추정할 수 있습니다. 확률적 경사하강법(SGD)은 이 아이디어를 더욱 확장한 것으로서, 반복당 하나의 data만을 사용합니다. '확률적(Stochastic)'이라는 용어는 각 배치를 포함하는 하나의 data가 무작위로 선택된다는 것을 의미합니다... 2022. 1. 6. RandomForest Random Forest는 분류, 회귀 분석 등에 사용되는 앙상블 학습 방법의 일종으로, 훈련 과정에서 구성한 다수의 결정 트리로부터 부류(분류) 또는 평균 예측치(회귀 분석)를 출력함으로써 동작한다. Random Forest 진행 과정 훈련 단계 훈련 단계에서는 종단 노드에 대한 매개변수와 내부 노드와 관련된 노드 분할 함수(split function)의 매개변수를 최적화하는 작업이 진행된다. 데이터 포인트의 훈련 집합 및 실제 데이터 레이블(ground truth label)이 주어졌을 때, 트리의 매개변수는 정의한 목적 함수를 최소화 하도록 선택된다. 트리의 성장을 언제 멈출지 결정하기 위해 미리 정의된 여러가지 멈춤 조건이 적용된다. T개의 트리로 구성된 하나의 포레스트의 경우, 일반적으로 훈련 .. 2022. 1. 6. 4-4. 대각화 본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다. Diagonalization a given square matrix 𝐴 ∈ ℝ𝑛×𝑛 into a diagonal matrix via the following form 𝑉 ∈ ℝ𝑛×𝑛 is an invertible matrix and 𝐷 ∈ ℝ𝑛×𝑛 is a diagonal matrix. This is called a diagonalization of 𝐴. V는 A와 같은 dimension의 정사각행렬 𝐷 = 𝑉^(−1)𝐴𝑉 ⟹ 𝑉𝐷 = 𝐴𝑉 𝐴𝑉 = 𝑉𝐷 ⟺ [𝐴𝐯1 𝐴𝐯2 ⋯ 𝐴𝐯𝑛] = [𝜆1𝐯1 𝜆2𝐯2 ⋯ 𝜆𝑛𝐯𝑛] => 𝐴𝐯1 = 𝜆1𝐯1, 𝐴𝐯2 = 𝜆2𝐯2, …, 𝐴𝐯𝑛 = 𝜆𝑛𝐯𝑛 ∴ 𝐯1, 𝐯2, …, 𝐯𝑛 .. 2022. 1. 5. 4-3. 특성방정식 본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다. Linearly Independent 와 Linearly dependent는 역행렬을 가진다와 안가진다와는 다른 개념이다. Linearly Independent는 정사각행렬이 아닌 경우에도 존재하기 때문 정사각행렬의 경우에는 위 개념이 동치가 된다. Characteristic Equation If (𝐴−𝜆𝐼)𝐱=𝟎 has a nontrivial solution, then the columns of (𝐴−𝜆𝐼) should be noninvertible. If it is invertible, 𝐱cannot be a nonzero vector since (𝐴−𝜆𝐼)−1(𝐴−𝜆𝐼)𝐱=(𝐴−𝜆𝐼)−1𝟎⟹𝐱=𝟎 Thus, we can.. 2022. 1. 5. 4-2. 영공간과 직교여공간 본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다. Null Space The null space of a matrix 𝐴 ∈ ℝ𝑚×𝑛 is the set of all solutions of a homogeneous linear system, 𝐴𝐱 = 𝟎. We denote the null space of 𝐴 as Nul 𝐴. Ax=0을 만족하는 모든 솔루션. 직사각행렬에서도 존재 A Matirx가 linearly independent한 경우 nontrivial solution밖에 존재하지 않는다. linearly independent 하면 orthogonal 할 가능성이 있다. orthogonal하지 않은 경우는 projection을 통해 orthogonal한 벡터를 찾을 .. 2022. 1. 5. 이전 1 ··· 9 10 11 12 13 14 15 ··· 18 다음
