Softmax 함수와 Cross Entropy

Softmax

softmax 함수는 2가지가 아닌 여러 범주로 분류하는 함수입니다. Multi class classification에서 주로 사용한다.

각 범주의 확률값이 0과 1 사이의 값이고, 모든 범주에 해당하는 확률값을 더했을 때 1이 된다는 것입니다.

또한 softmax 함수는 큰 log-odds와 작은 log-odds의 차이를 극대화시켜줍니다. 그렇기 때문에 마지막에 softmax 함수에 모든 범주의 log-odds를 통과시키면 해당 데이터가 어떤 범주로 분류되는지 확실히 알 수 있게 되는데, 가장 큰 값을 1, 그 외 나머지 값들을 0으로 인코딩하는 one-hot encoding을 통해 표현하게 됩니다.

---

Cross Entropy

Cross Entropy 함수는 softmax함수의 손실함수로 사용된다.

가중치가 최적화될수록 H(p,q)의 값이 감소하게 되는 방향으로 가중치 학습이 됩니다. 그리고 p(x)는 실제 데이터의 범주 값, q(x)는 softmax의 결과값을 대입하게 됩니다.