5-2. 고유값 분해와 특이값 분해의 응용

본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다.

머신러닝에서 Eigendecomposition

• often handle symmetric positive definite matrix
• A : 3명에 대한 10개의 feature를 가지는 matrix
• ATA : inner product 기준으로 두 사람에 대한 similarity
  • pariwise inner product similarity
• AAT : 특정 feature에 대한 inner product 를 기준으로 한 similarity
  • principal component analysis
  • gram matrix(feature inner product similarity) in style transfer

Low Rank Approximation of a Matrix

rank n

Rank : 여러 컬럼들을 만들기 위해 필요한 column space의 basis 갯수 

• Consider the problem of the best low rank approximation of 𝐴:

F : A-Ar한 matrix의 요소들의 제곱합

• Optimal Solution

r까지의 합

singular value는 항상 positive

Dimension Reducing Transformation

• 선형 변환을 통한 차원 축소
• Can we find the linear transformation, 𝐲𝑖=𝐺^𝑇𝐱𝑖, where the columns of 𝐺∈ℝ𝑚×𝑟 are orthonormal
• Y = G^TX, pairwise similarity
  • 

• 

출처: https://www.edwith.org/ai251