목록momentum (1)

Hello Data

딥러닝 Momentum(관성)에 대한 이해

해당 내용에 대한 출처와 이미지는 밑에 남겨 두었습니다. 우리가 아무리 혁신적인 아이디어와 모델을 가지고 있더라도 가장 중요한 것은 이 모델이 잘 학습할 수 있느냐다. 본인이 가지고 있는 모델의 100% 성능을 끌어내기 위해 사람들은 여러 하이퍼 파라미터를 훈련한다. 여기서 잘 학습할 수 있느냐는 gradient descent과정에서 잘 수렴하냐이다. 해당 함수를 convex function(볼록 함수)라고 한다. 만약 손실함수가 이러하다면 초기 weight가 어떻든 잘 수렴할 것입니다. 그렇지만 우리가 만나는 함수들은 대부분 non convex function일 텐데요, 이렇게 무시무시한 함수 사이에서 우리의 손실값은 minimum값을 찾아야합니다. 잘 찾으면 좋겠지만 아마 local minimum 안..
딥러닝 2022. 11. 25. 18:20
이전 Prev 1 Next 다음