Hello Computer Vision

논문에서 결과를 비교할 때 top1, top5의 결과를 비교할 때가 많은데 이때 사용하는 함수가 torch.topk함수이다. https://pytorch.org/docs/stable/generated/torch.topk.html torch.topk — PyTorch 2.0 documentation Shortcuts pytorch.org 예시를 통해 한번 알아보자 x = torch.arange(1, 10) value, pred = torch.topk(x, 3) print(x) print(pred) print(value) tensor([1, 2, 3, 4, 5, 6, 7, 8, 9]) tensor([8, 7, 6]) tensor([9, 8, 7]) 상위 3개의 값을 뽑아봤다. 추가적인 파라미터로는 설정으로 ..

이번에 semi supervised learning의 대표 모델인 FixMatch 코드를 공부하는 도중 np.random.choice 함수를 만났다. 이전에 본적 있지만 그냥 넘어갔는데 확실히 공부해보려고 한다. https://numpy.org/doc/stable/reference/random/generated/numpy.random.choice.html numpy.random.choice — NumPy v1.25 Manual If a is an int and less than zero, if a or p are not 1-dimensional, if a is an array-like of size 0, if p is not a vector of probabilities, if a and p have d..

논문의 제목은 Big Self-supervised models are Strong Semi-supervised learners 이다. SimCLR 저자가 낸 후속 논문으로 SimCLR에서 몇가지 변화를 통해 성능을 높였다. https://arxiv.org/pdf/2006.10029.pdf Introduction 우선 제목이 일반 SSL 논문 같지 않다. 기본적으로 SSL 성능을 올리는 방법을 제목으로 올릴텐데 self supervised 모델이 semi supervised 모델의 도움이 된다고 제목으로 썼기 때문이다. 기존의 SSL모델을 활용하는 방법은 "task agnostic" 한 unlabeled 데이터를 활용하여 pre-train --> task specific 한 labeled 데이터를 활용하여..

해당 논문은 Contrastive Learning 의 시초가 되는 논문이라 한번 읽어보려고 한다. https://openaccess.thecvf.com/content_cvpr_2018/CameraReady/0801.pdf Introduction 신경망의 마지막 단에 존재하는 linear classifier 로 분류를 하게 된다면 위와 같은 결과를 얻을 수 있는데 의도하지 않았는데도 신경망은 jaguar 와 leopard가 비슷한 이미지를 가졌기 때문에 semantic similarity 자동으로 밝혀낸다고 한다. 이를 통해 알 수 있는 점은 이미지에 따로 annotaing 하지 않더라도 이미지 그 자체의 visual data만으로도 이미지 각각의 similarity를 구분할 수 있다는 것을 의미한다. 그..

최근에 semi supervised learning 논문을 읽으면서 contrastive learning이 결합된 논문들을 읽어봤는데 이에 시초가 되는 논문인 CoMatch를 읽어보려고 한다. https://arxiv.org/pdf/2011.11183.pdf Introduction 많은 SSL(semi supervised learning)방법들은 Pseudo label방법을 사용한다. 그런데 이 방법의 단점이라고 한다면 class distribution을 뱉는 모델의 성능에 크게 의존하는 것인데 따라서 확증편향이 일어나기 쉽다(confirmation bias). 그래서 논문의 저자는 이러한 편향을 줄이기 위해 class probability와 low-dimensional embedding을 결합하는 방식..

이번에 읽을 논문은 MixMatch이다. 상당히 유명한 논문이기 때문에 읽어보려고 한다. 그리고 해당 논문에서 주요하게 사용되는 이론이 Mixup 인데, https://arxiv.org/abs/1710.09412 이 논문에서 나온 데이터 증강 방법이며 이를 이해하고 MixMatch를 읽으니 한결 이해하기 쉬웠다. mixmatch의 논문 : https://arxiv.org/abs/1905.02249 MixMatch: A Holistic Approach to Semi-Supervised Learning Semi-supervised learning has proven to be a powerful paradigm for leveraging unlabeled data to mitigate the reliance..

이번 논문은 한국인 분들이 작성한 ConMatch라는 논문이다. 지난 번에 리뷰한 SimMatch, CCSSL 논문처럼 비슷한 문제 해결을 위해 새로운 프레임워크를 제안한다. https://arxiv.org/pdf/2208.08631.pdf Introduction Semi supervised learning은 데이터 문제에 대해서 많은 도움을 주는 방법이다. 하나의 이미지에 대해 strong augmentation, weak augmentation을 각각 적용한 후 모델에 넣고 분포가 consistency 하게 나와야 하는 것이 SSL에서 자주 사용하는 방식이다. 그러나 저자는 이러한 방식에 문제점을 제시하는데, 모델이 어떠한 방향으로 분포를 생성하는 것이 옳은 것인지 정의를 해주어야지, 그렇지 않고 단..

논문의 풀 제목은 Class-Aware Contrastive Semi Supervised Learning이다. https://arxiv.org/pdf/2203.02261.pdf Introduction 모델을 훈련시킬 때 중요한 요소가 있는데 바로 Raw data에 대한 접근이다. Real world에서는 Raw data가 많을 것이며 이 중 일부는 훈련에서 경험하지 못한 클래스들의 데이터들도 있을 것이다. 이것을 out of distribution data라고 하며 훈련과정에서 경험한 데이터를 in distribution data라고 한다. 이를 잘 보여주는 사진이다. SSL을 통해 raw data 에 대한 대비 없이 훈련하게 된다면 confirmation bias, 즉 확증편향이 일어나게 되는데 이는 ..