Hello Computer Vision

MLE, MAP에 대한 이해 및 헷갈리는 부분을 정리해보려고 한다. 참조한 글 및 영상 정보는 밑에 남겨두었습니다. 우선 기본적으로 MLE에 대한 이해, 왜 딥러닝에서 MLE를 쓰는지 이유를 알고 있다는 전제이다. https://keepgoingrunner.tistory.com/186 Gaussian distribution과 Mean Squared Error와의 관계 우선 해당 내용은 아래 블로그의 내용을 따랐으며 개인 공부를 위해 개인적인 이해를 추가로 담은 내용입니다. https://hyeongminlee.github.io/post/bnn002_mle_map/ Maximum Likelihood Estimation(MLE) & Maximum A Posterior keepgoingrunner.tistor..

파이썬 코드들을 보면은 많은 코드들에서 if __name__ == '__main__': 이라는 것을 발견할 수 있다. 물론 많은 분들이 이에 대해 작성해놓았지만 안잊어버리기 위해 적어놓으려고 한다. 우선 __name__ 은 파이썬에 내장되어 있는 변수라고 할 수 있다. 해당 변수는 만약 파일이 interpreter통해 수행된다면(해당 파일이 직접적으로 수행된다면) __main__ 이라는 변수가 되는 거고 만약 다른 파일로부터 import 되서 수행된다면 해당 파일의 이름으로 변수가 저장된다. 예시를 통해 알아보는 것이 제일 빠르다. def print_test(): if __name__ == '__main__': print('interpreter 통해 직접 출력') else: print('해당 파일 imp..

이번에 FixMatch관련하여 코드를 뜯어보던 중 배울 점도 있고 기록해야겠다는 생각을 했다. 1. torchvision dataset 을 상속받는 class를 생성할 때 들어가는 파라미터들을 줄 수 있다. 사실 너무나도 당연한 것일 수 있지만 그동안 코드를 뜯어보지 않고 기계적으로 수행하다보니 몰랐던 거 같다. class CIFAR10SSL(datasets.CIFAR10): def __init__(self, root, indexs, train=True, transform=None, target_transform=None, download=False): super().__init__(root, train=train, transform=transform, target_transform=target_tran..

해당 논문은 ICLR 2021 에 억셉된 논문으로 기존의 Contrastive loss 대신 쓸 수 있는 loss를 제시하는 논문이다. https://arxiv.org/pdf/2007.06346.pdf Introduction 최근의 Self-Supervised learning(SSL) 의 성공에 대해서 언급하면서 이에 대한 단점도 언급한다. Contrastive learning을 수행하려면 많은 수의 negative 데이터들이 필요하거나, 2개의 네트워크를 사용하는 등의 여러가지 방법들이 고안되어왔다. 저자는 따라서 새로운 SSL loss function을 제시한다(물론 기본적으로 증강을 통한 invariance 특징을 사용하는 것은 동일하다). 이 논문에서는 whitening transformation..

2023 ICLR에 억셉된 논문이고 풀 제목은 FreeMatch: Self-Adaptive Thresholding for Semi-Supervised Learning이다. Flexmatch, AdaMatch의 후속 논문이라고보면 된다. https://arxiv.org/pdf/2205.07246v3.pdf Introduction 최근 SSL은 pseudo label, consistency regularization으로 이루어진다. 그러나 이러한 fixed threshold, ad-hoc threshold adjusting(Dash 논문에서는 t에 따라 threshold를 변경하지만 learning status 를 반영하지 않는다)은 많은 unlabeled 데이터를 훈련초기에 사용할 수 없을 것이며, cla..

이번에 교양으로 python 과목을 들었는데, 기초적인 자료구조에 대한 설명을 보았다. 물론 그 중에서도 잘 사용하지 않는 Dict, 튜플, set 등이 있었다. 그러다 갑자기쓰임새가 비슷할 거 같은 튜플과 리스트 중에 리스트가 더 편한데 왜 튜플을 사용하는지 궁금했다. 튜플의 가장 큰 불편한 점이라고 하면 리스트처럼 데이터를 추가할 수도, 변경할 수도 없다. 첫번째. 동적 배열 당연하지만 메모리 측면에서 튜플이 훨씬 유리하다고 한다. 그 중 리스트는 동적으로 크기를 늘릴 수 있는데 이러한 과정에서 메모리 크기는 더블링 된다. 따라서 배열에 추가로 데이터를 추가하는 동적 배열을 하게 될 경우 더 많은 메모리를 사용하게 된다. 두번째. 불변객체 튜플은 데이터를 변경할 수 없는 불변개체이며 리스트는 안의 데..

해당 논문은 NIPS 2021년에 억셉된 논문이고 풀 제목은 FlexMatch: Boosting semi-Supervised Learning with Curriculum Pseudo labeling이다. FixMatch에서 사용된 fix threshold에 대하여 adpative 하게 바꿔주는 것이 특징이다. https://arxiv.org/pdf/2110.08263.pdf Introduction SSL 에서 자주 사용되는 기법은 pseudo labeling과 consistency regularization이고 FixMatch는 이러한 방법을 사용해 SOTA를 달성했다. 그러나 threshold를 fix시키는 방법은 학습 초기 단계에서 많은 unlabeled 데이터를 반영할 수 없다고 한다. 따라서 이 ..

해당 논문은 2022 ECCV에 억셉된 논문이다. 이전에 리뷰한 ReAct, ASH와 비슷한 결의 논문이며 소개하는 방법을 DICE(Directed Sparisification)라고 한다. https://arxiv.org/pdf/2111.09805.pdf Introduction 기존의 OOD 연구들은 score function에 대하여 많이 이루어져왔으며 sparsification는 경시되었다고 한다(여기서 sparsification에 대한 설명은 따로 나와있지 않지만 나온 내용들을 바탕으로 설명해보자면, sparse 자체가 '드문'이러한 의미를 가지고 있기 때문에 중요한 weight만을 선정해서 사용한다 이런 뜻으로 이해하면 편할 거 같습니다). 이 논문에서는 이러한 부분을 강조해서 OOD detect..