Hello Data

해당 논문은 기존의 Tent 논문에서 사용한 Cross Entropy에 대하여 왜 성능이 좋은지에 대해 이론적으로 설명하는 논문이다. 완벽하게 이해하기는 어려웠지만 최대한의 이해를 담았고 조금씩 수정해나가려고한다.https://arxiv.org/pdf/2207.09640.pdf Introduction실제 세계에서의 가능한 모든 distribution shift에 대해서 훈련과정에서 준비하는 것은 불가능하기 때문에, Training 때는 source 데이터로 훈련하고 Test 때는 들어온 input에 대해 잘 adapt토록 하는 것이 Test time Adaption이다(Test Time Training이라고 해도 무방할 거 같다. 세팅에서 약간의 차이는 있을 수 있지만 사소한 거 같다). Test 때 들..

논문의 풀 제목은 글 제목에 있고 주로 TENT라고 불린다. 2021 ICLR에서 억셉된 논문이고 milestone 논문 같아 읽어보았고 코드도 함께 살펴보려고 한다 https://arxiv.org/pdf/2006.10726.pdf Introduction Deep neural network는 train, test data들이 same distribution이라는 setting하에 높은 성능을 보여줬다. 그러나 이러한 성능은 두 data의 분포가 다를 경우 하락을 보여주는데 이러한 것을 dataset shift라고 한다(distribution shift라고 이해해도 문제 없을 거 같다). 모델은 unexpected weather, sensor degradation등의 variation한 상황을 맞이할 가능..

해당 논문은 지난 번에 리뷰했던 Test Time Training with self-supervision의 후속논문으로 Rotate방식에서 MAE방식으로 변경한 것이 차이점이며 Test Time Training이 왜 작동하는지 조금 더 자세하게 설명했다. https://arxiv.org/pdf/2209.07522.pdf Introduction Generalization은 지도학습에서 중요한 문제이다. 기본적으로 Test할 때 train set 과 test set이 same distribution 에서 나온 것으로 가정되어서 성능을 평가하지만 실제로는 그렇지 않은 경우가 많이 때문이다. 따라서 훈련되는 모델들은 possible distribution에 대하여 robust할 필요가 있지만 possible f..

해당 논문은 TTT라고불리는 Test Time Adation 관련 논문이며 2020년 ICML에서 억셉된 논문이다. https://arxiv.org/pdf/1909.13231.pdf Introduction Supervised learning은 distribution shift에 약하다고 한다. 기존의 Adversarial robustness, Domain Adaption 같은 경우 Training 분포와 Test 분포가 다른 것에 대해 예측(anticipate)하려고 한다. 그러나 저자는 예측을 하는 것이 아니라 Test time에서 배우는 것을 목적으로 한다. 어느 한 Distribution의 unlabeled test데이터가 들어올 경우 우리는 해당 데이터를 통해 test distribution 관련..