본문 바로가기

LinearAlgebra17

5-2. 고유값 분해와 특이값 분해의 응용 본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다. 머신러닝에서 Eigendecomposition often handle symmetric positive definite matrix A : 3명에 대한 10개의 feature를 가지는 matrix ATA : inner product 기준으로 두 사람에 대한 similarity pariwise inner product similarity AAT : 특정 feature에 대한 inner product 를 기준으로 한 similarity principal component analysis gram matrix(feature inner product similarity) in style transfer Low Rank Approxi.. 2022. 1. 10.
5-1 특이값 분해 본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다. Singular Value Decomposition 직사각행렬에 대한 decomposition 𝑈 ∈ ℝ𝑚×𝑚 , 𝑉 ∈ ℝ𝑛×𝑛 : matrices with orthonormal columns, providing an orthonormal basis of Col 𝐴 and Row 𝐴, respectively • Σ ∈ ℝ𝑚×𝑛 : a diagonal matrix whose entries are in a decreasing order, i.e., 𝜎1 ≥ 𝜎2 ≥ ⋯ ≥ 𝜎min (𝑚,n) Another Perspective of SVD {𝐮1, … , 𝐮𝑛} for Col 𝐴 and {𝐯1, … , 𝐯𝑛} for Row 𝐴.. 2022. 1. 7.
4-5. 고유값 분해와 선형변환 본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다. Eigendecomposition A가 diagonalizable하면, 𝐷=𝑉−1𝐴𝑉. 위 식은 𝐴=𝑉𝐷𝑉−1 로 쓸 수 있다. 이를 eigendecomposition of 𝐴 라고 부른다. V : invertible(역행렬 존재) 𝐴 being diagonalizable is equivalent to 𝐴 having eigendecomposition Linear Transformation 𝑇(x)=𝐴x 𝑇(x) = 𝐴x = 𝑉𝐷𝑉−1x = 𝑉(𝐷(𝑉−1x)) 1. Change of Basis Let y=𝑉−1x. Then, 𝑉y=x y is a new coordinate of x with respect to a new ba.. 2022. 1. 6.
4-3. 특성방정식 본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다. Linearly Independent 와 Linearly dependent는 역행렬을 가진다와 안가진다와는 다른 개념이다. Linearly Independent는 정사각행렬이 아닌 경우에도 존재하기 때문 정사각행렬의 경우에는 위 개념이 동치가 된다. Characteristic Equation If (𝐴−𝜆𝐼)𝐱=𝟎 has a nontrivial solution, then the columns of (𝐴−𝜆𝐼) should be noninvertible. If it is invertible, 𝐱cannot be a nonzero vector since (𝐴−𝜆𝐼)−1(𝐴−𝜆𝐼)𝐱=(𝐴−𝜆𝐼)−1𝟎⟹𝐱=𝟎 Thus, we can.. 2022. 1. 5.
4-2. 영공간과 직교여공간 본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다. Null Space The null space of a matrix 𝐴 ∈ ℝ𝑚×𝑛 is the set of all solutions of a homogeneous linear system, 𝐴𝐱 = 𝟎. We denote the null space of 𝐴 as Nul 𝐴. Ax=0을 만족하는 모든 솔루션. 직사각행렬에서도 존재 A Matirx가 linearly independent한 경우 nontrivial solution밖에 존재하지 않는다. linearly independent 하면 orthogonal 할 가능성이 있다. orthogonal하지 않은 경우는 projection을 통해 orthogonal한 벡터를 찾을 .. 2022. 1. 5.
4-1. 고유벡터와 고유값 본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다. Eigenvectors and Eigenvalues An eigenvector of a square matrix 𝐴 ∈ ℝ𝑛×𝑛 is a nonzero vector 𝐱 ∈ ℝ𝑛 such that 𝐴𝐱 = 𝜆𝐱 for some scalar 𝜆 In this case, 𝜆 is called an eigenvalue of 𝐴, and such an 𝐱 is called an eigenvector corresponding to 𝝀. x가 eigenvector라면, 𝑇(x) = 𝐴x = 𝜆x 는 같은 방향으로 길이만 𝜆로 scale된 백터를 출력한다. eigenvalue를 사용하면 A matrix를 사용하는것 보다 연산의 양이 훨씬 .. 2022. 1. 5.

티스토리툴바