일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Entropy Minimization
- CGAN
- simclrv2
- Pseudo Label
- GAN
- BYOL
- CoMatch
- tent paper
- 백준 알고리즘
- dcgan
- 딥러닝손실함수
- 컴퓨터구조
- cifar100-c
- semi supervised learnin 가정
- Pix2Pix
- WGAN
- 최린컴퓨터구조
- Meta Pseudo Labels
- mme paper
- ConMatch
- SSL
- mocov3
- CycleGAN
- shrinkmatch
- shrinkmatch paper
- conjugate pseudo label paper
- adamatch paper
- dann paper
- UnderstandingDeepLearning
- remixmatch paper
- Today
- Total
목록딥러닝 (76)
Hello Computer Vision
저번 GoogleNet에 이은 ResNet구조이다. 이전 VGGNet은 19층이상 쌓지 못했고 GoogleNet도 20층가까이 쌓았지만 그 범위에서 크게 벗어나지 못했다. 그 이유는 gradient vanishing 문제가 발생했기 때문에 깊게 쌓아도 성능이 안나왔기 때문이다. GoogleNet에서는 그나마 중간중간 분류기를 설치하여 훈련할 때 이러한 문제점을 조금이나마 해결했고 이는 몇층이상더 쌓을 수 있는 성과를 냈다. 그리고 GoogleNet보다 효과적으로 문제를 처리한 것이 ResNet이며 Imagenet대회에서 96.43%의 정확도를 기록했다. ResNet의 기본 구조는 다음과 같으며 층의 깊이가 훨씬 늘어났음을 알 수 있다. 그리고 단순히 층만 늘린 것이 아닌 성능이 좋아졌다고 한다. 이것이 ..
저번 VGGNet 에 이은 GoogleNet이다. 이 모델은 구글에서 2014년에 발표한 모델이며 Imagenet대회에서 93.3%의 정확도를 기록하였다. 모델의 특징이라고 하면은 Inception 모듈을 추가한 모델이라고 할 수 있다. 모델의 구조는 다음와 같다. 단순히 보았을 때 이전 모델들과 비교했을 때 확연히 복잡한 구조를 가지고 있는데 이를 이해하기 위해서는 모델에서 많은 부분 차지하고 있는 Inception모듈을 이해해야한다. Inception 모듈의 구조는 다음와 같다. 이전 AlexNet, VGGNet 에서는 모두 일방향으로 Layer들이 연결이 됐다면 여기서는 이전 Layer에서 여러 개의 CNN블럭들이 나뉘어져 받는 것을 알 수 있다. 모듈을 이렇게 구조화한 이유는 한마디로 다음과 같다..
저번에 썼던 Lenet(1998)과 AlexNet(2012)에 이은 CNN 모델 구조이디. 2014년에 발표된 VGGNet(2014)이다. Imagenet 분류 대회에서 92.7%를 기록하였으며 현재도 전이학습으로 많이 사용되는 모델이다. 기본 구조는 왼쪽과 같으며 층의 깊이에 따라 VGG-16, VGG-19 이렇게 나뉘어져있다. 기존 모델들과 비교해보면서 가장 쉽게 눈에 띄는 점은 일단 층의 깊이이다. 우측 이미지에서 AlexNet과 비교해보면 이 차이를 확실하게 느낄 수 있다. 이렇게 레이어를 깊게 쌓는다면 비선형성을 많이 더해질 수 있기 때문에 일정 깊이까지는 성능이 좋다. 위 이미지와 같이 커널 크기를 5x5 -> 3x3으로 변경함으로써 output으로 나오는 이미지 결과는 같지만 그 과정에 있어..
이번 동아리에서 GAN스터디에 들어갔는데 본격적으로 GAN모델들을 살펴보기 전에 CV에 관해 간략하게 스터디를 하기로 했는데 내가 담당하였다. 그래서 발표한 내용들을 중심으로 이미지 분류에서 획을 그은 모델들을 소개하려고한다. 먼저 1998년에 발표된 LeNet. 우리가 현재 쓰는 Convolutional Layer 들을 기본적으로 쌓은 모델이다. 기존에 이미지 분류를 할 때는 Convolutional Layer를 쌓는 것이 아니라 단순 Multi Linear Layer들을 쌓았다면 Lenet에서는 Conv Layer통해 이미지 분류를 하였다. Convolutional Neural Network는 기본적으로 Linear Network 보다 파라미터 계산량에서 적으며 Locality, stationarit..