목록딥러닝/파이토치 (33)

Hello Computer Vision

모델 및 레이어 가중치 초기화(weights initialization)

이번에 논문 구조를 구현하는 과정에서 (DCGAN, LSGAN) 가중치 초기화하는 과정을 거쳤는데요 어이없는 착각을 하면서 며칠간 가중치 초기화만 만졌습니다.. 그래서 가중치 초기화 이 녀석이랑 너무 친해진 거 같아서 다른 분들께 도움이 되고자 합니다. 1. Why 가중치 초기화? 왜 하는지에 대해서는 이미 다른 분들이 많이 포스팅하였더라고요. gradient 관련해서 많이들 쓰시는데 쓰시는 Neural Network에 맞게 쓰시면 될 거 같습니다 (He / Xavier) 그리고 논문에서 모델 구조에 대해 설명하면서 가중치 초기화에 대해 언급하는 경우가 있으니 그럴 경우 그에 맞게 초기화하면 될 거 같습니다. 2. 가중치 초기화 코드 net = nn.Sequential( nn.Conv2d(3, 2, 3)..
딥러닝/파이토치 2022. 11. 3. 11:12
이전 Prev 1 2 3 4 5 Next 다음