목록nn.ReLU (1)

Hello Computer Vision

nn.ReLU 에서의 inplace = True 의미

활성화 함수로 가장 많이 쓰이는 ReLU 함수에서 종종 nn.ReLU(inplace = True)를 볼 수 있다. 파이토치 공식문서에는 정확히 이렇게 적혀있다. inplace (bool) – can optionally do the operation in-place. Default: False 이에 대해 해석해보자면 inplace값을 True로 준다면 인풋 값에 대한 결과값을 따로 저장하는 것이 아니라 그 자리에 있던 데이터 값을 대신하는 것이라고 할 수 있다. 조금 복잡해보일 수 있지만 정리하자면 들어온 input값이 없어지고 output값만 남는다고 할 수 있다. 따라서 기존에 input값을 저장했던 메모리를 따로 할당할 필요가 없으니 약간의 메모리적인 이득을 얻을 수 있다고 하는데 이 부분은 현업에 ..
딥러닝/파이토치 2023. 1. 19. 21:22
이전 Prev 1 Next 다음