일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- cifar100-c
- ConMatch
- Meta Pseudo Labels
- simclrv2
- mme paper
- dann paper
- tent paper
- CoMatch
- WGAN
- conjugate pseudo label paper
- semi supervised learnin 가정
- 딥러닝손실함수
- Entropy Minimization
- UnderstandingDeepLearning
- mocov3
- Pix2Pix
- shrinkmatch
- 최린컴퓨터구조
- SSL
- CycleGAN
- remixmatch paper
- CGAN
- Pseudo Label
- 컴퓨터구조
- 백준 알고리즘
- GAN
- BYOL
- shrinkmatch paper
- dcgan
- adamatch paper
- Today
- Total
목록Self,Semi-supervised learning (53)
Hello Computer Vision
논문의 풀 제목은 Dash: Semi-Supervised Learning with Dynamic Thresholding 이다. https://arxiv.org/pdf/2109.00650v1.pdf Introduction Semi-Supervised Learning(SSL)은 많은 관심을 받고 발전해나가고 있다(개인적인 생각으로 트렌드가 크게바뀌지 않는 거 같긴하다. 모든 논문이 consistency regularization, pseudo label 등으로 이루어지기 때문이다). 이전까지 많은 논문이 있지만 해당 이 논문에서는 주로 FixMatch와 비교를 통해 진행이 된다(그 이유는 FixMatch에서는 고정된 threshold를 이용해 consistency regularization을 수행하는데 이 ..
해당 논문은 2023 NIPS 에 억셉된 논문이고 풀 제목은 FlatMatch: Bridging Labeled Data and Unlabeled with Cross-Sharpness for Semi-Supervised Learning이다. https://arxiv.org/pdf/2310.16412.pdf Introduction 기존 SSL의 효율성과 방법들을 소개한다. 위 figure를 보여주면서 문제점을 언급하는데 labeled data의 loss landscape같은 경우 굉장히 sharp 하지만 unlabeled data의 loss landscape은 굉장히 flat하다고 한다. 이것을 저자가 해석하기를 다음과 같다. The learning on scarce labeled data convergen..
이번 NIPS 2023에 억셉된 따끈따끈 논문이다. https://openreview.net/pdf?id=A6PRwRjI8V Introduction 많이 사용되는 Semi supervised learning(SSL)은 다수의 unlabeled 데이터와 소수의 labeled 데이터를 사용하는 훈련 방식이다. 그러나 기존의 SSL에서의 unlabeled 데이터들은 labeled 데이터와 분포가 같을 것이라고 가정하고 사용되고 있지만 실제로는 이러한 가정이 빗나가며 이를 간과한채 훈련한다면 모델의 성능이 떨어진다고 언급한다. 따라서 다른 분포에 있는 unlabeled데이터에 대해 잘 활용하는 것이 중요하다고 한다. 따라서 저자는 FDM-SSL(Feature distribution Mismatch - SSL)에..
OOD detection 에 대해서 공부하고 있는데 많은 논문들이 contrastive learning을 활용하는데 있어 이론적으로 설득력이 있어 사용하는 것이 아닌 그냥 CL을 사용하는 것을 확인할 수 있다. OOD detection에서 활용하기 위해서는 조금 다르게 사용되어야 하고 해당 논문이 많은 도움이 될 거 같아 한번 공부해보려고 한다. 논문: https://arxiv.org/pdf/2004.11362.pdf Introduction 최근 Contrastive Learning은 Self supervised learning을 이끌고 있다. 핵심 아이디어는 Embedding space에서의 Anchor 이미지에 대하여 positive 이미지는 끌어당기고 많은 수의 negative 이미지는 미는 것이다..
최근에 OOD detection 논문을 많이 읽었는데 나는 해당 task에 대해 semi supervised 를 적용하고 싶은 마음이 있어서 인사이트를 얻고 싶어 읽어보려고 한다. 문제가 살짝 다르긴한데 그래도 도움을 얻을 수 있을 거 같다. 그리고 읽으면서 느낀 것이 semi supervised learning에 대한 비교들이 많이 진행되는데 제 관심분야는 OOD 에 대한 저자의 견해가 궁금했기 때문에 이 부분에 치중되어 있습니다. https://arxiv.org/pdf/1804.09170.pdf Introduction 라벨링 비용에 대한 가장 매력적인 대안은 semi supervised learning 이라고 말한다. 해당 방법은 unlabeled 데이터에 대해 데이터들간의 구조를 배워 모델을 학습한..
오랜만에 리뷰할 논문은 MoCo V3 논문이다. 해당 논문은 CNN이 아닌 Transformer를 통한 Contrastive Learning을 수행하였고 왜 Transformer를 사용하였는지에 대한 경험적인 실험결과들을 많이 담고 있다. 그리고 밑 글에서 추가로 설명하겠지만 기존 MoCo에서 사용하였던 memory bank는 사용하지 않는다. https://arxiv.org/pdf/2104.02057.pdf Introduction 이전부터 NLP분야에서는 Transformer를 통한 Masked autoencoder가 유행하고 있지만 CV분야에서는 여전히 Siamese 구조가 유행하고 있다는 걸 언급한다(ResNet기반). 따라서 저자는 Vision분야에서도 ViT를 쓰는 것에 집중했다고 한다. 그러나..
논문의 제목은 Big Self-supervised models are Strong Semi-supervised learners 이다. SimCLR 저자가 낸 후속 논문으로 SimCLR에서 몇가지 변화를 통해 성능을 높였다. https://arxiv.org/pdf/2006.10029.pdf Introduction 우선 제목이 일반 SSL 논문 같지 않다. 기본적으로 SSL 성능을 올리는 방법을 제목으로 올릴텐데 self supervised 모델이 semi supervised 모델의 도움이 된다고 제목으로 썼기 때문이다. 기존의 SSL모델을 활용하는 방법은 "task agnostic" 한 unlabeled 데이터를 활용하여 pre-train --> task specific 한 labeled 데이터를 활용하여..
해당 논문은 Contrastive Learning 의 시초가 되는 논문이라 한번 읽어보려고 한다. https://openaccess.thecvf.com/content_cvpr_2018/CameraReady/0801.pdf Introduction 신경망의 마지막 단에 존재하는 linear classifier 로 분류를 하게 된다면 위와 같은 결과를 얻을 수 있는데 의도하지 않았는데도 신경망은 jaguar 와 leopard가 비슷한 이미지를 가졌기 때문에 semantic similarity 자동으로 밝혀낸다고 한다. 이를 통해 알 수 있는 점은 이미지에 따로 annotaing 하지 않더라도 이미지 그 자체의 visual data만으로도 이미지 각각의 similarity를 구분할 수 있다는 것을 의미한다. 그..