lr_scheduler CosineAnnealingLR 알아보기

BYOL 논문 설명을 보다 해당 학습 스케쥴러에 대한 내용이 보여 한번 알아보려고 한다. 학습률을 관리하는 기법도 참 많은 거 같은데 이것만 관리해서 과연 얼마나 정확도가 올라갈지 직접 보지는 않아서 모르겠다

 

해당 공식 문서

https://pytorch.org/docs/stable/generated/torch.optim.lr_scheduler.CosineAnnealingLR.html

CosineAnnealingLR — PyTorch 2.0 documentation

우선 식은 다음과 같다. 우선 기본적으로 코사인 함수 주기함수를 따른다.

min, max가 들어가있는 기호는 직접 지정해주는 학습률 최대,최소값이다.

Tcur : 현재 몇번째 epoch인지

Tmax: 주기 최대 epoch

 

 

그림을 살펴보면 지정한 max epoch마다 학습률이 주기적으로 증가하고 감소하는 것을 확인할 수 있다.

---

Reference

https://paperswithcode.com/method/cosine-annealing