목록경사하강법 (1)

Hello Data

비전공생의 Gradient Descent(경사 하강법)살펴보기

딥러닝 모델을 만지면서 당연히 해왔던 것들인데 기초는 닦아도 닦아도 끝이 없기 때문에 한번 정리하고 넘어가려고 합니다. 사실 이 내용만해도 한 학기 수업을 할 수 있을 정도로 방대하지만 앞으로의 모델을 만지면서 당분간 무리없을 정도로 정리해보려고 합니다. (사실 우연히 본 영상이 너무 재밌어서 한번 정리하고 넘어가야 할 것 같네요.. 해당 동영상은 여기 Grdient Descent는 경사하강법입니다. 그리고 많은 논문에서 'gradient가 소실되었네' ,'gradient가 없어 학습이 진행이 안되네 ' 이러한 문구들을 많이 찾아볼 수 있습니다(최근 논문들을 보면서 더 느끼는 거 같습니다) 그렇다면 이 Gradient Descent는 왜 필요한 걸까요? 예를 들어 MNIST 데이터셋을 통해 숫자들을 구별..
딥러닝 2022. 11. 9. 19:38
이전 Prev 1 Next 다음