손실함수 (Loss Function)

비선형 활성화 함수를 가진 여러 개의 은닉층을 거친 다음 신호 정보들은 출력층으로 전달되는데, 이때 우리가 원하는 정답과 전달된 신호 정보들 사이의 차이를 계산하기 위한 함수가 손실함수 입니다.

 

1.  평균제곱오차(MSE : Mean Square Error)

오차의 제곱에 평균을 취한 값. 작을 수록 원본과의 오차가 적고 추측한 값의 정확성이 높은 것이다.

MSE를 기본으로 최소평균제곱오차(MMSE), 평균제곱근오차(RMSE) 등이 있다.

 

2. 교차 엔트로피(Cross Entropy)

• Entropy : 불확실성(어떤 데이터가 나올지 예측하기 어려운 경우)의 척도. 엔트로피가 높다는 것은 정보가 많고 확률이 낮음을 의미

Ex. 동전던지기, 주사위 던지기 (Fair Probability)

동전의 엔트로피 값은 약 0.693, 주사위의 엔트로피 값은 1.79 정도로 주사위의 엔트로피 값이 더 높다.

• Cross Entropy : 실제 분포 q에 대하여 알지 못하는 상태에서 모델링을 통하여 구한 분포인 p를 통하여 q를 예측하는 것.

머신러닝을 하는 경우에 실제 환경의 값과 q를, 예측값(관찰값) p를 모두 알고 있는 경우가 있습니다. 머신러닝의 모델은 몇%의 확률로 예측했는데, 실제 확률은 몇%라는 사실을 알고 있을 때 사용합니다.

실제값과 예측값이 맞는 경우 0으로 수렴하고, 틀릴 경우 값이 커지기 때문에 실제 값과 예측 값의 차이를 줄이기 위한 엔트로피라고 정의할 수 있다.

 

 

참고자료

http://melonicedlatte.com/machinelearning/2019/12/20/204900.html