Loss Function
quantifies our unhappiness with the scores across the training data.
모델의 학습 결과로 얻어낸 예측값(score)이 실제값과 얼마나 다른지 수치화할 수 있어야 한다.
이것을 가능하게 하는 것이 Loss function이다.
Loss function(=cost func)을 통해 얻어낸 unhapiness를 우리는 loss(cost)라고 부른다.
Loss를 계산하는 몇가지 방법에 대해서 알아보자.
Log Likelihood Loss
이전에 알아보았던 hinge loss는 모델의 score값을 이용하여 loss값을 계산하였다.
이제는 모델이 각 class로 판단할 확률에 기반하여 loss를 계산해보자.
어떤 방식으로 모델이 각 class로의 확률인 p를 알았다고 가정하자. (확률p를 구하는 방식은 다음 포스팅에 소개)
이때, Log likelihood loss 식은 다음과 같다.
식을 풀어서 설명하면 다음과 같다.
p는 이미지에 대한 estimated probability로, 각 class에 대한 확률이다. 이때 이는 normalized되어 있으므로 |p|=1이다.
z는 이미지에 대한 정답 class만 1이고, 나머지 값은 모두 0인 벡터이다.
Loss는 z인 정답 class의 확률에 -log를 취한 값이다.
예를 들어, 이미지의 정답 class가 2인 경우, z와 Loss는 다음과 같다.
즉, log likelihood loss는 정답 class에 대한 확률에 -log를 취한 값이다.
'ML' 카테고리의 다른 글
| [Machine Learning] Decision Trees (0) | 2023.10.18 |
|---|---|
| [ML] Generative learning algorithm (0) | 2023.10.08 |
| [ML] Gaussian Discriminant Analysis (0) | 2023.09.23 |
| [ML]Linear Models for Regressions (part1) (0) | 2023.09.13 |
| Loss Function: Hinge Loss (0) | 2023.08.05 |
