Hello Data

논문의 풀 제목은 Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning이다. https://openaccess.thecvf.com/content/ICCV2023/papers/Yang_Shrinking_Class_Space_for_Enhanced_Certainty_in_Semi-Supervised_Learning_ICCV_2023_paper.pdf Introduction 많은 SSL(semi) 프레임워크는 pseudo label을 생성한 후 훈련을 진행한다. 그렇기 때문에 unlabeled 데이터에 대해 얼마나 정확한 pseudo label을 생성하는지가 모델 성능을 좌지우지한다고 볼 수 있다. 따라서 FixMatch 에서는 hi..

논문의 풀 제목은 Attract, Perturb and Explore: Learning a Feature Alignment Network for semi-supervised Domain Adaption이다. 저자의 github에서 APE로 되어있기에 이렇게 표기했다.https://arxiv.org/pdf/2007.09375.pdf Introduction이 논문에서는 기존 UDA, SSDA 방식들의 문제점을 지적하는데, source distribution을 사용하여 분류하는 방식을 배우는 과정에서 target distribution에서 source와 비슷한 이미지를 attract할 수 있다고 한다. 이 부분은 당연할 수 있지만 반대로 생각한다면 그렇지 못한 feature들이 대부분일 것이고 이것을 줄이는 ..

논문의 풀 제목은 AdaMatch: A unified approach to Semi-Supervised Learning and Domain Adapation 이다.https://arxiv.org/abs/2106.04732 AdaMatch: A Unified Approach to Semi-Supervised Learning and Domain AdaptationWe extend semi-supervised learning to the problem of domain adaptation to learn significantly higher-accuracy models that train on one data distribution and test on a different one. With the goal ..

논문의 풀제목은 Semi-Supervised Domain Adaptation via Minmax Entropy이다https://arxiv.org/pdf/1904.06487.pdf Introductiontrain 과정에서 훈련한 분포와 test 과정에서의 데이터가 iid가 아니라 다른 분포에서 샘플링됐다면 이는 성능 하락으로 이어 지기 때문에 이를 대처하는 것이 중요하다. SSDA에서는 많은 labeled source data, 약간의 labeled target data, 많은 unlabeled target data가 주어지고 gap을 줄이는 것을 목적으로 한다. 이 논문에서는 Minmax entropy minimization을 사용하여 이를 해결하려고 한다.기존 방식과 비교를 한 것인데, 기존 방식들은 ..

논문의 풀 제목은 Domain-Adversarial Training of Neural Networks이다. DANN이라고도 불리며 Semi supervised Domain Adaptation에서 시초격인 거 같아서 리뷰해보려고 한다.https://arxiv.org/pdf/1505.07818.pdf Introduction딥러닝에서 겪을 수 있는 흔한 문제는 train, test 데이터 셋에서 흔하게 일어날 수 있는 shift문제이다. 따라서 이러한 shfited distribution에서의 classifier가 잘 분류할 수 있도록 훈련하는 것이 Domain Adaptation(DA) 라고 할 수 있다. 여기서 target distribution은 모두 unlabeled 데이터이다. 기존의 방법들은 위의 ..

논문의 풀 제목은 ReMixMatch: Semi supervised learning with distribution alignment and augmentation anchoring 이다.https://arxiv.org/pdf/1911.09785.pdf2020년에 나온 논문이고 Distribution alignment를 사용하는데 이를 사용하는 이유를 잘 살펴볼 필요가 있는 논문이다. IntroductionSSL에서는 주로 consistency regularization, entropy minimiation이 활용되는데 여기서 entropy minimization은 high confidence prediction을 내뱉도록 모델을 훈련시키는 것이다. 그리고 큰 framework 자체는 기존의 mixmat..

Label smoothing은 구글에서 낸 Classification model인 Inception model에서 먼저 제안되었다. https://arxiv.org/pdf/1512.00567.pdf 그리고 Label smoothing이 왜 좋고, 어떤 점이 좋은지에 대한 논문은 https://arxiv.org/pdf/1906.02629.pdf 그래서 기존 논문에서는 main contribution은 아니지만 regularization 방식으로 소개되는데 이 논문에서 소개된 내용만큼과 효과에 대하여 간단하게 적어보려고 한다. K개의 class 가 있다고 하면은 model이 계산한 각각의 class 에 대한 probability는 $$ p(k | x) = \frac{exp(z_{k})}{\sum^{K}_{k..

텐서 데이터에 적용되는 여러 메소드들이 있는데 이를 한번 정리해보려고 한다. tensor.data x = torch.tensor([1,2]) print(x) print(x.data) y = torch.rand(3,5) print(y.data) tensor([1, 2]) tensor([1, 2]) tensor([[0.7150, 0.9495, 0.3474, 0.3829, 0.2828], [0.4531, 0.4677, 0.0863, 0.6763, 0.2480], [0.6295, 0.0573, 0.5454, 0.4892, 0.5464]]) x, y = next(iter(loader)) print(x.shape) print(x[1].data) torch.Size([32, 3, 32, 32]) tensor([[[0..