Hello Data

Consistency regularzation은 SSL 비롯하여 GAN에서도 사용된 기법으로 이해하기는 쉽지만 깊이 들어가보려고 한다. 해당 내용은 Kevin P. Murphy 의 Probabilistic Machine Learning의 내용을 바탕으로 제 개인적인 의견을 추가하여 작성했습니다.  Consistency Regularzation 이 무엇을 수행하는지는 간단하다. 데이터 $여기서 말하는 데이터는 다 이미지 데이터$에 대해 일정한 노이즈 및 증강을 가해도 데이터의 본질 및 결과가 바뀌지 않는다는 것이다. 예를 들어 강아지 이미지에 대해 회전, 혹은 crop을 하더라도 강아지이다. 당연할 수 있으나 우리가 다루고 있는 모델은 이를 모를 수 있으니 이러한 부분에 대해 regularization 을..

해당 논문의 풀 제목은 Semi Supervised Learning by Entropy Minimization이고 NIPS 2004에 억셉된 논문이다. 요슈아 벤지오가 참여한 논문이다. https://proceedings.neurips.cc/paper_files/paper/2004/file/96f2b50b5d3613adf9c27049b2a888c7-Paper.pdf IntroductionSemi supervised learning은 분류 단계에서 labeled 데이터만 활용하는 것이 아니라 unlabeled 데이터도 활용해 decision boundary를 잘 결정하는 것이 목적이다$여기서 근본적인 질문을 하는데 과연 Unlabeled 데이터가 더 도움이 되냐는 것에 꽤 많은 내용을 담는다$.  Deri..

논문의 풀 제목은 Pseudo Label: The Simple and Efficient SEmi Supervised Learning Method for Deep Neural Networks 이다. https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=798d9840d2439a0e5d47bcf5d164aa46d5e7dc26 Introduction많은 SSL$Semi$ 방법들은 Unsupervised pre-training 을 하고 $뒤에서 나오겠지만 Denoising Autoencoder를 사용한다$ labeled 데이터로 fine-tuning하는 방식을 택했다고 한다. 그 외 방법들은 볼츠만 머신을 사용하거나 Semi Supervised Embe..

논문의 풀 제목은 글 제목에 적혀있다. https://arxiv.org/pdf/1803.11364.pdf Introduction정제된 라벨을 가지는 데이터셋도 있찌만 noisy label을 가지는 데이터셋도 있다고 한다. 여기서 저자는 과연 DNN이 이러한 label 데이터들에 대해서 잘 훈련할 수 있는지 의문점을 던진다. 그러나 기존 연구에서도 밝혔 듯이 DNN은 어떠한 데이터셋이든 기억하는 특징이 있기 때문에 noisy label을 가지고 훈련하는 것은 우리가 원하는 방향은 아니다. 이러한 것을 방지하기 위해 dropout, early stopping 같은 regularization 방법들이 있지만 이러한 것은 최적화하는 것을 보장하지는 않는다고 한다. 여기서 말하는 contribution은 다음과 ..

논문의 풀 제목은 글 제목에 적혀있다. https://arxiv.org/pdf/2003.10580.pdf Introduction여기서 제시하는 기존 Pseudo label의 문제는 잘못 만든 PL의 경우 악영향을 끼칠 수 있다는 것이며 이는 confirmation bias를 크게 할 수 있다는 것이다$여기서 말하는 PL의 경우 일반적인 SSL에서의 PL이 아니라 pre-trained 된 Teacher를 통해 만든 PL을 student에게 주는 PL을 말한다$. 따라서 여기서 제시하는 해결점은 PL을 만드는 Teacher 모델도 추가적으로 훈련하는 것이다$기존 방식에서의 Teacher 의 파라미터는 업데이트 하지 않는다$. 추가적으로 훈련하는 방식이 Novelty라고 할 수 있는데 이를 student 로부..

논문의 풀 제목은 글 제목에 적혀있다. https://arxiv.org/pdf/1908.02983.pdfIntroductionSemi Supervised Learning$SSL$ 에서는 consistecy regularization과 pseudo label 두가지 방법이 있다$물론 FixMatch에서는 두가지 방법을 혼합한다$. 여기서는 pseudo label방법만을 사용하고 pseudo label의 단점이라고 한다면 confirmation bias 가 쉽게 일어날 수 있으며 일어날 경우 iid 가정이 무너지므로 일반적인 SSL 프레임워크에서는 성능이 떨어진다고 한다(iid는 label, unlabel 데이터가 같은 분포에서 샘플링된다는 것인데, 만약 틀린 label로 예측할 경우 이러한 완전히 새로운 ..

논문의 풀 제목은 Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning이다. https://openaccess.thecvf.com/content/ICCV2023/papers/Yang_Shrinking_Class_Space_for_Enhanced_Certainty_in_Semi-Supervised_Learning_ICCV_2023_paper.pdf Introduction 많은 SSL$semi$ 프레임워크는 pseudo label을 생성한 후 훈련을 진행한다. 그렇기 때문에 unlabeled 데이터에 대해 얼마나 정확한 pseudo label을 생성하는지가 모델 성능을 좌지우지한다고 볼 수 있다. 따라서 FixMatch 에서는 hi..

논문의 풀 제목은 AdaMatch: A unified approach to Semi-Supervised Learning and Domain Adapation 이다.https://arxiv.org/abs/2106.04732 AdaMatch: A Unified Approach to Semi-Supervised Learning and Domain AdaptationWe extend semi-supervised learning to the problem of domain adaptation to learn significantly higher-accuracy models that train on one data distribution and test on a different one. With the goal ..