목록Softmax (1)

Hello Data

Softmax 활성화함수 알아보기

우리가 분류할 때 레이어 최상단에 많이 쓰는 함수로는 softmax 함수가 있다. 이전에 다른 entropy 함수랑 mse함수를 다루었는데 softmax도 한번 체크해보고자 한다. 참고 문서: 블로그 파이토치문서 수식 $$\frac{exp(a_{k})}{\sum_{i=1}^{n}exp(a_{i})}$$ 분모에서는 함수 값들에 자연상수를 씌워준 값의 합이고 분자는 해당 함수 값의 자연상수를 취한 것을 확인할 수 있습니다. 특징 각 함수 값에 softmax를 씌운 모든 값들의 범위는 [0,1]이며 합은 1이다. -->예를 들어 함수 값(1, 1, 2)가 각각 나왔다고 했을 때 각각의 softmax값은 (0.21, 0.21, 0.58)이다. softmax를 취한다고 함수 값의 대소변화에 변화를 일으키지 않는다..
딥러닝/손실함수 2023. 1. 3. 15:38
이전 Prev 1 Next 다음