Focal Loss 정리

in Til on Til

1. Focal Loss란?

  • 클래스 불균형 문제를 해결하고, 어려운 샘플에 집중하도록 설계된 손실 함수
  • 주요 목적:
    1. 쉽게 분류되는 샘플의 손실 기여도를 줄임.
    2. 어려운 샘플(잘못 분류되는 샘플)에 더 높은 가중치를 부여.

      2. 주요 매개변수 (α와 γ)

      | 매개변수 | 역할 | | — | — | | α (알파) | 클래스 간 불균형을 완화 (클래스별 가중치 부여). | | γ (감마) | 어려운 샘플과 쉬운 샘플 간 손실 기여도 조정. |

  • 결합 효과:
    • α: 소수 클래스의 중요성을 높임.
    • γ: 학습 초점이 어려운 샘플로 이동.

      3. Focal Loss와 Precision, Recall

      | 평가지표 | Focal Loss의 영향 | | — | — | | Recall | 어려운 샘플에 집중하여 긍정 클래스(특히 소수 클래스)의 Recall 개선. | | Precision | 주된 목표는 아니지만, γ와 α의 적절한 설정으로 Precision도 간접 개선 가능. |

      4. Class Weight와 Focal Loss의 조합

  • 단독 사용:
    1. Class Weight: 클래스 간 불균형 완화에 효과적.
    2. Focal Loss: 샘플 난이도에 따른 손실 조정.
  • 조합 사용:
    • 클래스 불균형(α 조정)과 샘플 난이도(γ 조정) 문제를 동시에 해결.
    • 적절한 매개변수 선택이 중요:
      • αt: 특정 클래스에 대한 가중치.
      • γ: 어려운 샘플에 대한 기여도 조정.