3-3. 정규방정식

본 글은 주재걸교수님의 인공지능을 위한 선형대수 강의를 듣고 정리한 내용입니다.

 

This can be viewed as a new linear system, 𝐶𝐱 = 𝐝, where a square matrix 𝐶 = 𝐴^𝑇𝐴 ∈ ℝ𝑛×𝑛 , and 𝐝 = 𝐴^𝑇𝐛 ∈ ℝ𝑛

If 𝐶 = 𝐴^𝑇𝐴 is invertible, then the solution is computed as

Another Derivation of Normal Equation

Computing derivatives w.r.t. 𝐱, we obtain

∵ x^T · a (=a^T · x) 를 미분한 값은 a가 된다. 순서를 바꿔서 한 내적이기 때문

 

Thus, if 𝐶 = 𝐴^𝑇𝐴 is invertible, then the solution is computed as

 

 

 

출처: https://www.edwith.org/ai251