Hello Computer Vision

최근에 semi supervised learning 논문을 읽으면서 contrastive learning이 결합된 논문들을 읽어봤는데 이에 시초가 되는 논문인 CoMatch를 읽어보려고 한다. https://arxiv.org/pdf/2011.11183.pdf Introduction 많은 SSL(semi supervised learning)방법들은 Pseudo label방법을 사용한다. 그런데 이 방법의 단점이라고 한다면 class distribution을 뱉는 모델의 성능에 크게 의존하는 것인데 따라서 확증편향이 일어나기 쉽다(confirmation bias). 그래서 논문의 저자는 이러한 편향을 줄이기 위해 class probability와 low-dimensional embedding을 결합하는 방식..

이번에 읽을 논문은 MixMatch이다. 상당히 유명한 논문이기 때문에 읽어보려고 한다. 그리고 해당 논문에서 주요하게 사용되는 이론이 Mixup 인데, https://arxiv.org/abs/1710.09412 이 논문에서 나온 데이터 증강 방법이며 이를 이해하고 MixMatch를 읽으니 한결 이해하기 쉬웠다. mixmatch의 논문 : https://arxiv.org/abs/1905.02249 MixMatch: A Holistic Approach to Semi-Supervised Learning Semi-supervised learning has proven to be a powerful paradigm for leveraging unlabeled data to mitigate the reliance..

이번 논문은 한국인 분들이 작성한 ConMatch라는 논문이다. 지난 번에 리뷰한 SimMatch, CCSSL 논문처럼 비슷한 문제 해결을 위해 새로운 프레임워크를 제안한다. https://arxiv.org/pdf/2208.08631.pdf Introduction Semi supervised learning은 데이터 문제에 대해서 많은 도움을 주는 방법이다. 하나의 이미지에 대해 strong augmentation, weak augmentation을 각각 적용한 후 모델에 넣고 분포가 consistency 하게 나와야 하는 것이 SSL에서 자주 사용하는 방식이다. 그러나 저자는 이러한 방식에 문제점을 제시하는데, 모델이 어떠한 방향으로 분포를 생성하는 것이 옳은 것인지 정의를 해주어야지, 그렇지 않고 단..

논문의 풀 제목은 Class-Aware Contrastive Semi Supervised Learning이다. https://arxiv.org/pdf/2203.02261.pdf Introduction 모델을 훈련시킬 때 중요한 요소가 있는데 바로 Raw data에 대한 접근이다. Real world에서는 Raw data가 많을 것이며 이 중 일부는 훈련에서 경험하지 못한 클래스들의 데이터들도 있을 것이다. 이것을 out of distribution data라고 하며 훈련과정에서 경험한 데이터를 in distribution data라고 한다. 이를 잘 보여주는 사진이다. SSL을 통해 raw data 에 대한 대비 없이 훈련하게 된다면 confirmation bias, 즉 확증편향이 일어나게 되는데 이는 ..

이번에 읽어볼 논문은 SimMatch이다. 내가 읽었던 논문 중에 손에 꼽힐 정도로 헷갈리면서 오래 걸렸던 논문이다. 그만큼 많은 인사이트를 얻은 거 같다. 이 논문을 읽어보시면 알겠지만 pseudo label을 calibrate하는 과정이 상당히 복잡한데 논문 나온 순서대로 정리하였으며 최대한 제 이해를 담았습니다. https://arxiv.org/abs/2203.06915 SimMatch: Semi-supervised Learning with Similarity Matching Learning with few labeled data has been a longstanding problem in the computer vision and machine learning research community...

논문의 풀 제목은 DASO: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning 이다. https://arxiv.org/abs/2106.05682 Introduction semi/self supervised learning은 unlabeled data에 대해서 좋은 성능을 보여주고 있으며 대표적인 방식은 pseudo label을 만들어 regularization하는 것이다(Fixmatch 논문을 보면은 쉽게 이해할 수 있다. 해당 논문도 비교대상으로 Fixmatch를 말한다). 그러나 지금까지의 많은 논문들은 class balanced data들에 한해서 연구들이 진행되었는데 실제 세상에서는 i..

2021년 나온 SegFormer가 성능이 가장 좋아서 이전에 리뷰한 이후 model 에 대한 논문은 딱히 읽지 않았는데 그래도 유명한 모델이라 한번 읽어보려고 한다. 읽으니 새로운 구조와 정보들이 재밌었다. https://arxiv.org/pdf/1807.10165.pdf Introduction 이 논문 이전까지 SOTA를 이룬 구조는 U-Net과 FCN이라고 한다. 그리고 이러한 Encoder-Decoder 구조의 segmentation모델들은 중요한 공통점을 공유하는데 그것은 skip-connection이다. skip connection은 decoder에서 나온 deep, semantic, coarse-grained feature maps과 encoder에서 나온 shallow, low-level,..

논문의 풀 제목은 FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence 이다. MixMatch 라는 논문도 있었는데 FixMatch가 더 나중에 나온 논문이고 인용수도 많아 우선 이걸 읽을라고 한다. https://arxiv.org/ftp/arxiv/papers/2001/2001.07685.pdf Introduction 딥러닝 모델들은 높은 성과를 이룰려면 많은 데이터가 필요하다고 한다. 당연하게도 일일이 annotated 된 데이터들의 cost는 높다. 그러나 unlabeled 데이터들은 적은 노력으로도 얻을 수 있기 때문에 semi / self supervised learning에 의한 성능 상승은 low cost..