| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- SSL
- WGAN
- shrinkmatch
- Entropy Minimization
- Pix2Pix
- GAN
- CoMatch
- semi supervised learnin 가정
- tent paper
- mme paper
- cifar100-c
- simclrv2
- 백준 알고리즘
- CycleGAN
- mocov3
- remixmatch paper
- 컴퓨터구조
- dann paper
- dcgan
- conjugate pseudo label paper
- UnderstandingDeepLearning
- BYOL
- Pseudo Label
- adamatch paper
- 딥러닝손실함수
- CGAN
- ConMatch
- Meta Pseudo Labels
- shrinkmatch paper
- 최린컴퓨터구조
Archives
- Today
- Total
목록DP (1)
Hello Data
GPU연산 DP, DDP 공부해보기
이번에 아는 분들이랑 대회를 참여하고 있는데 나는 개인 GPU가 없다보니 base line에서 어떤 변화가 더 좋은지 알아보는 역할을 맡았는데 다른 분들이 코드 관련해서 이야기하는데 DP, DDP 이야기를 하더라. 무의식적으로 병렬처리 관련된 이야기인줄은 알았지만 제대로 알 수 없어 이번 기회에 한번 공부해보려고 한다. 해당 내용에 대한 참조는 글 밑에 있습니다. DP(Data Parallelism)란? 텐서플로는 모르겠지만 torch에서는 torch.nn.DataParallel 로 작동이 가능하다. 이러한 과정에서도 Forward Pass(데이터를 처리 및 loss발생)와 Backward Pass(gradient계산)으로 나뉜다. Forward pass 이를 한번 단계별로 설명해보자면 1. mini b..
딥러닝
2023. 6. 29. 16:24