Hello Computer Vision

이번에 읽어볼 논문은 SimMatch이다. 내가 읽었던 논문 중에 손에 꼽힐 정도로 헷갈리면서 오래 걸렸던 논문이다. 그만큼 많은 인사이트를 얻은 거 같다. 이 논문을 읽어보시면 알겠지만 pseudo label을 calibrate하는 과정이 상당히 복잡한데 논문 나온 순서대로 정리하였으며 최대한 제 이해를 담았습니다. https://arxiv.org/abs/2203.06915 SimMatch: Semi-supervised Learning with Similarity Matching Learning with few labeled data has been a longstanding problem in the computer vision and machine learning research community...

이번에 논문을 읽으면서 Precision, Recall 에 대한 표가 나왔는데 precision은 대충 감으로 알고 있었는데 recall은 많이 봤는데 항상 까먹는다. 그래서 다시 공부해보려고 한다. 우선 많이 봤을 표다. 근데 사실 봐도 계속 까먹긴한다. 일단 맞춘 것은 앞에 True가 붙는다 --> True Positive, True Negative 그리고 틀린 것은 앞에 False가 붙는데 내가 negative 로 예측했으면 False Negative, true로 예측했으면 False Positive로 붙는 것이다. 사실 또 까먹을 거 같다.. 그래서 가장 중요한 Precision, Recall을 알아보려고 한다. 일단 Precision을 살펴보자. TP / TP + FP 이다. 내가 True로 예..

논문의 풀 제목은 DASO: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning 이다. https://arxiv.org/abs/2106.05682 Introduction semi/self supervised learning은 unlabeled data에 대해서 좋은 성능을 보여주고 있으며 대표적인 방식은 pseudo label을 만들어 regularization하는 것이다(Fixmatch 논문을 보면은 쉽게 이해할 수 있다. 해당 논문도 비교대상으로 Fixmatch를 말한다). 그러나 지금까지의 많은 논문들은 class balanced data들에 한해서 연구들이 진행되었는데 실제 세상에서는 i..

이번에 대회를 나가면서 baseline 코드를 수행했는데 코드 일부에 torch.cuda.amp.GradScaler 및 autocast 가 있는 것을 확인하였다. 이전에도 본적이 있어서 알아봤던 거 같은데 기억이 안나 다시 한번 공부하고 기록해놓으려고 한다. 우선 이 코드를 왜 쓰는지 알아보기 위해서는 Auto Mixed Precision 이 필요하다. 그리고 이걸 알아보기 전에 부동소수점 즉 Floating Point에 대한 정보를 필요로 한다. 나도 잘 몰라서 기본적으로만 적으려고 한다. 부동소수점은 한가지 방식이 아니라 여러가지 방식으로 나타낼 수 있는데 FP16, FP32, FP64, FP 128이 있다. 값을 세밀하게 표현하기 위해서는 더 높은 숫자인 FP128, FP 64를 사용해야하지만 그만..

어제 읽은 Fast R-CNN에 이은 Faster R-CNN 논문 리뷰이다. https://arxiv.org/pdf/1506.01497.pdf Fast R-CNN과 같이 자세하게 하나하나 파고드는 것 보다는 핵심 구조 위주로 이해하려고 노력하였다. Introduction 최근의 R-CNN과 Selective Search 로 인해 detection분야에서 많은 발전이 있었다고 한다. 그리고 Fast R-CNN은 near real time(when ignoring region proposal) 에 가까운 시간이라고 한다. 그러나 여전히 region proposal 부분에서 computational bottleneck이 존재한다고 한다. 하나의 문제점이라고 하면 region proposal은 CPU에서 수행된..

논문 링크는 다음과 같다. https://arxiv.org/pdf/1504.08083.pdf semantic segmentation을 공부하다가 instance segmentation도 공부해보려고 하는데 이를 수행하려면 Detection이랑 같이 수행해야 되는 것을 확인했다. 아무래도 semantic 은 같은 사람이라면 똑같은 클래스로 처리하지만, instance는 각 물체를 하나하나 찾은 후 다른 클래스로 처리해야하니 이러한 물체들을 찾는 작업들을 detection 을 통해 bounding box로 마킹하는 방법을 수행하더라. 그래서 R-CNN 부터 천천히 읽어봐야하지만 조금 서두르고 싶어서 Fast R-CNN 부터 공부해본다. 사실 지난번에 공부해본적 있지만 기억이 잘 안나 다시 공부하고 이번에는 ..

Test Time Augmentation, 즉 TTA 는 train 할 때 augmentation을 사용하는 것이 아닌 test시 augmentation을 수행해 augmentation된 이미지들의 예측값을 평균내어 최종적으로 예측하는 것이다. inference시에 한 이미지에 대하여 여러 이미지들로 만들고 이를 평균해 예측하는 것이므로 Ensemble기법이라고 할 수 있다. 또한 Test시 한 이미지가 아닌 여러 이미지를 생성해 평균을 내 결과를 생성하므로 사용하지 않을 때보다 더 강건할 수 있다. 일단 설명은 쉬운데 한번 코드로 수행해보았다. import torch import ttach as tta import timm import numpy as np import cv2 from PIL impor..

해당 글은 많은 부분 https://gaussian37.github.io/dl-concept-focal_loss/ 를 참조하였습니다. Object detection 문제에서 사용하는 손실함수는 여러가지가 있는데 우선적으로 bounding box가 한 물체에 대해 생성하는 classification loss가 있다. 그리고 너무 당연하게도 많은 bounding box들이 우리가 찾고자 하는 물체가 아닌 배경, 즉 background에 대하여 bounding box를 그릴 것이고 이에 대하여 loss를 발생시켜 안하도록 해야한다. 그러나 이러한 loss를 발생시키는 Cross Entropy의 경우 많은 negative, positive 부분에 대하여 가중치가 없다. 일반적인 분류문제에서는 상관없겠지만 한 이..