Hello Data

해당 논문은 2022 ECCV에 억셉된 논문이다. 이전에 리뷰한 ReAct, ASH와 비슷한 결의 논문이며 소개하는 방법을 DICE$Directed Sparisification$라고 한다. https://arxiv.org/pdf/2111.09805.pdf Introduction 기존의 OOD 연구들은 score function에 대하여 많이 이루어져왔으며 sparsification는 경시되었다고 한다$여기서 sparsification에 대한 설명은 따로 나와있지 않지만 나온 내용들을 바탕으로 설명해보자면, sparse 자체가 '드문'이러한 의미를 가지고 있기 때문에 중요한 weight만을 선정해서 사용한다 이런 뜻으로 이해하면 편할 거 같습니다$. 이 논문에서는 이러한 부분을 강조해서 OOD detect..

ICLR 2022에 억셉된 논문이고 굉장히 간단한 테크닉을 사용한다. 저자는 해당 방법을 ASH$Activation SHaping$라고 한다. https://openreview.net/pdf?id=ndYXTEL6cZz Introduction 이전의 딥러닝 모델들 같은 경우 어떤 것이 더 좋은 방법인지 training 과정을 반복했다. 그러나 모델이 점점 커지면서 이러한 방법은 힘들어짐에 따라 별다른 training 과정 없이 model의 성능을 올리는 post hoc방법이 각광받고 있다고 한다$뭔가 감은 오는데 정확히는 잘 모르겠다$. OOD detection문제의 경우 이 질문 하나로 정의될 수 있다. "Do models know when they don't know?" 많은 노력에 따라 OOD det..

OOD 분야의 ReAct논문을 리뷰해보려고 한다. 논문의 풀 제목은 ReAct: Out-of-distribution Detection with Rectified Activations 이다. https://arxiv.org/pdf/2111.12797.pdf Introduction OOD는 현재 많이 진행되고 있는 주제 중 하나이며 2017년의 MSP논문을 시작으로 ODIN, GradNorm, Mahalanobis등 좋은 논문들이 쓰여지고 있다.저자는 이러한 연구들에서 중요한 발견을 하게 되는데, OOD 데이터들이 ID 데이터에 비해 더 큰 unit activation pattern을 일으킨다고 하며 다음 figure 를 보여준다. 일정한 threshold를 score function이 전에 적용한다면 ID..

해당 논문은 2023 NIPS에 억셉된 논문이고 기존 Gradient를 이용한 방식에 대하여 개선했다고 말한다. 풀 제목은 GradOrth: A Simple yet Efficient Out-of-Distribution Detection with Orthogonal Projection of Gradients https://openreview.net/attachment?id=L9nTuSbAws&name=pdf Introduction OOD detection에서는 score function에 대하여 일정한 threshold를 두고$보통 TPR이 95%일 때$ OOD인지 구분한다. 그리고 이 score function을 어떻게 정의하는지가 중요하다고 하며 기존의 model output, feature repre..

논문의 풀 제목은 On the Importance of gradients for detecting distributiomal shifts in the wild이고 논문에서는 GradNorm이라고 한다. 그러나 기존의 2018년에 GradNorm이라는 논문이 따로 존재해서 구분할 필요가 있다. https://arxiv.org/pdf/2110.00218.pdf Introduction 기존의 OOD task 논문들이 OOD score를 뽑아내는 방식은 model output/feature representation을 사용하는 경우가 주를 이루었다고 한다. 그러나 gradient space를 사용하는 경우는 없어서 저자는 이를 언급한다(gradient space라고 하니까 조금 어려워보이고 거부감이 드는데 읽어..

이번에 Multitask 관련하여 ood를 보던 와중에 발견한 논문! CVPR에서 발표된 2020년 논문이다. https://arxiv.org/pdf/2007.11330.pdf Introduction 기존 딥러닝 모델들의 단점들을 말하면서 OOD를 제시하는 것이 아닌 semi supervised learning의 효율성을 언급하면서 unlabeled 데이터 안에 OOD 데이터가 있을 수 있다는 가능성을 언급한다. 여기서 SSL backbone으로 사용하는 방법은 MixMatch이다. 해당 저자들은 "Joint optimization framework for learning with noisy labels" 해당 논문에서 착안하여 방법론을 고안하는데 labeled 데이터들은 OOD score를 모두 0, ..

2021 ICLR에서 억셉된 논문이고 SSD라고 불리나 object detection 분야에 유명한 SSD 논문이 있어 제목에는 OOD분야라는 것을 더 명시하였다. https://arxiv.org/pdf/2103.12051.pdf Introduction 저자는 질문을 던진다. 어떤 정보가 outlier detection에 유용할까? 많은 training data가 필요할까 혹은 training process가 중요할까? 데이터 라벨과 outlier들이 항상 가용상태로 있는 것이 아니기 때문에 저자는 unlabeled ID데이터를 사용해야 한다고 말한다. 해당 방법을 수행하기 위한 framework는 2가지 step을 거쳐야한다고 한다. 1. learning a good feature representat..

이번 ICLR 2023에 억셉된 논문이고 풀 제목은 Contrastive Vision Transformer for self-supervised out-of-distribution detection이다. 기존 Contrastive Learning을 활용한 OOD detection문제에서는 CNN을 사용하였는데 해당 논문에서는 ViT를 사용하여 더 좋은 성능을 냈다는 것이 novelty이다. https://openreview.net/pdf?id=UAmH4nDH4l Introduction OOD detection에서의 주 해결점은 당연히 기존 DNN이 다른 domain을 만날 때의 잘 인식하지 못한다는 것을 해결하는 것이다$모르면 모른다고 하는게 인간이지만, AI는 어떻게든 답을 말한다$.이런 문제는 자율주행..