목록DDP (1)

Hello Data

GPU연산 DP, DDP 공부해보기

이번에 아는 분들이랑 대회를 참여하고 있는데 나는 개인 GPU가 없다보니 base line에서 어떤 변화가 더 좋은지 알아보는 역할을 맡았는데 다른 분들이 코드 관련해서 이야기하는데 DP, DDP 이야기를 하더라. 무의식적으로 병렬처리 관련된 이야기인줄은 알았지만 제대로 알 수 없어 이번 기회에 한번 공부해보려고 한다. 해당 내용에 대한 참조는 글 밑에 있습니다. DP(Data Parallelism)란? 텐서플로는 모르겠지만 torch에서는 torch.nn.DataParallel 로 작동이 가능하다. 이러한 과정에서도 Forward Pass(데이터를 처리 및 loss발생)와 Backward Pass(gradient계산)으로 나뉜다. Forward pass 이를 한번 단계별로 설명해보자면 1. mini b..
딥러닝 2023. 6. 29. 16:24
이전 Prev 1 Next 다음