Hello Computer Vision

ICLR 2022에 억셉된 논문이고 굉장히 간단한 테크닉을 사용한다. 저자는 해당 방법을 ASH(Activation SHaping)라고 한다. https://openreview.net/pdf?id=ndYXTEL6cZz Introduction 이전의 딥러닝 모델들 같은 경우 어떤 것이 더 좋은 방법인지 training 과정을 반복했다. 그러나 모델이 점점 커지면서 이러한 방법은 힘들어짐에 따라 별다른 training 과정 없이 model의 성능을 올리는 post hoc방법이 각광받고 있다고 한다(뭔가 감은 오는데 정확히는 잘 모르겠다). OOD detection문제의 경우 이 질문 하나로 정의될 수 있다. "Do models know when they don't know?" 많은 노력에 따라 OOD det..

OOD 분야의 ReAct논문을 리뷰해보려고 한다. 논문의 풀 제목은 ReAct: Out-of-distribution Detection with Rectified Activations 이다. https://arxiv.org/pdf/2111.12797.pdf Introduction OOD는 현재 많이 진행되고 있는 주제 중 하나이며 2017년의 MSP논문을 시작으로 ODIN, GradNorm, Mahalanobis등 좋은 논문들이 쓰여지고 있다.저자는 이러한 연구들에서 중요한 발견을 하게 되는데, OOD 데이터들이 ID 데이터에 비해 더 큰 unit activation pattern을 일으킨다고 하며 다음 figure 를 보여준다. 일정한 threshold를 score function이 전에 적용한다면 ID..

논문의 풀 제목은 Dash: Semi-Supervised Learning with Dynamic Thresholding 이다. https://arxiv.org/pdf/2109.00650v1.pdf Introduction Semi-Supervised Learning(SSL)은 많은 관심을 받고 발전해나가고 있다(개인적인 생각으로 트렌드가 크게바뀌지 않는 거 같긴하다. 모든 논문이 consistency regularization, pseudo label 등으로 이루어지기 때문이다). 이전까지 많은 논문이 있지만 해당 이 논문에서는 주로 FixMatch와 비교를 통해 진행이 된다(그 이유는 FixMatch에서는 고정된 threshold를 이용해 consistency regularization을 수행하는데 이 ..

논문에서 가끔 Auxiliary task라는 용어를 보았고 task를 잘 정해 수행한다면 좋은 결과를 내지 않을까 생각해서 한번 찾아보았다. 논문이 길지 않은 것도 있지만 내가 원하는 결과만을 압축해서 요약해보았다. https://arxiv.org/pdf/1805.06334.pdf Introduction MTL은 하나의 input에 대하여 여러 output을 산출하는 방식이다(논문에서는 구체적인 작업을 언급하기는 하지만 내 관심사는 아니라서 제외하였다). 그리고 auxiliary task를 소개하는데, image에 대한 rich, robust common representation을 제공할 수 있다고 하며 main task를 푸는데 도움이 될 수 있다고 한다. 이를 시각화해보면 다음과 같다. 위 이미지는..

해당 논문은 2018 ICML 에서 억셉되었고 가중치에 관련한 논문이다. 풀 제목은 GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks 이다. https://arxiv.org/pdf/1711.02257.pdf Introduction 많은 딥러닝 모델들이 높은 성능을 보이고 있지만 vision에 관련하여 full understanding 하기 위해서는 multit task들을 동시에, 효율적으로 할 수 있어야한다고 언급한다(단순히 한가지만 잘하는 것이 아니라 여러개를 동시에 잘해야 좋은 것이라는 가정이 깔려있는 거 같다). 그러나 multitask network를 훈련시키기는 어려운데 그 이유는 각기 ..

해당 논문은 2023 NIPS에 억셉된 논문이고 기존 Gradient를 이용한 방식에 대하여 개선했다고 말한다. 풀 제목은 GradOrth: A Simple yet Efficient Out-of-Distribution Detection with Orthogonal Projection of Gradients https://openreview.net/attachment?id=L9nTuSbAws&name=pdf Introduction OOD detection에서는 score function에 대하여 일정한 threshold를 두고(보통 TPR이 95%일 때) OOD인지 구분한다. 그리고 이 score function을 어떻게 정의하는지가 중요하다고 하며 기존의 model output, feature repre..

해당 논문은 2023 NIPS 에 억셉된 논문이고 풀 제목은 FlatMatch: Bridging Labeled Data and Unlabeled with Cross-Sharpness for Semi-Supervised Learning이다. https://arxiv.org/pdf/2310.16412.pdf Introduction 기존 SSL의 효율성과 방법들을 소개한다. 위 figure를 보여주면서 문제점을 언급하는데 labeled data의 loss landscape같은 경우 굉장히 sharp 하지만 unlabeled data의 loss landscape은 굉장히 flat하다고 한다. 이것을 저자가 해석하기를 다음과 같다. The learning on scarce labeled data convergen..

이번 NIPS 2023에 억셉된 따끈따끈 논문이다. https://openreview.net/pdf?id=A6PRwRjI8V Introduction 많이 사용되는 Semi supervised learning(SSL)은 다수의 unlabeled 데이터와 소수의 labeled 데이터를 사용하는 훈련 방식이다. 그러나 기존의 SSL에서의 unlabeled 데이터들은 labeled 데이터와 분포가 같을 것이라고 가정하고 사용되고 있지만 실제로는 이러한 가정이 빗나가며 이를 간과한채 훈련한다면 모델의 성능이 떨어진다고 언급한다. 따라서 다른 분포에 있는 unlabeled데이터에 대해 잘 활용하는 것이 중요하다고 한다. 따라서 저자는 FDM-SSL(Feature distribution Mismatch - SSL)에..