티스토리

Hello Data
검색하기

블로그 홈

Hello Data

keepgoingrunner.tistory.com/m

computer vision을 공부하는 학생 github 주소 : https://github.com/JiWoongCho1

구독자
0
방명록 방문하기
공지 안녕하세요 모두보기

주요 글 목록

  • 딥러닝에서의 Hessian 기하하적 의미 이번에 Hessian matrix를 다루고 있는데 머릿속으로만 기억하면 까먹을 거 같아서 기록한다. 개인적인 기록이니 틀릴 수 있습니다. 딥러닝에서 학습할 때 gradient descent 방식으로 update를 하며 이를 수행하기 위해 loss값에 대해 미분을 수행하고, 기울기를 활용해 update한다. 그렇다면 hessian 은 무엇인가? hessian 은 함수에 대해 두번 미분, 즉 이계도함수이다. 원래 함수에 대해서 한번 미분을 한다는 것은 해당 지점에서 기울기를 구할 수 있으며 이에 음수를 붙여 update하는 것이 보통이다. 그리고 이 기울기가 양수라는 것은 해당 x값이 증가할 때, y값도 증가하는 것이다. 그렇다면 도함수에 대해 한번 더 미분한 그래프는 어떤 것을 의미할까? 이계도함수도 똑같.. 공감수 0 댓글수 0 2024. 4. 28.
  • Consistency Regularization 설명 Consistency regularzation은 SSL 비롯하여 GAN에서도 사용된 기법으로 이해하기는 쉽지만 깊이 들어가보려고 한다. 해당 내용은 Kevin P. Murphy 의 Probabilistic Machine Learning의 내용을 바탕으로 제 개인적인 의견을 추가하여 작성했습니다.  Consistency Regularzation 이 무엇을 수행하는지는 간단하다. 데이터 (여기서 말하는 데이터는 다 이미지 데이터)에 대해 일정한 노이즈 및 증강을 가해도 데이터의 본질 및 결과가 바뀌지 않는다는 것이다. 예를 들어 강아지 이미지에 대해 회전, 혹은 crop을 하더라도 강아지이다. 당연할 수 있으나 우리가 다루고 있는 모델은 이를 모를 수 있으니 이러한 부분에 대해 regularization 을.. 공감수 0 댓글수 1 2024. 4. 28.
  • Entropy Minimization(2004) 논문리뷰 해당 논문의 풀 제목은 Semi Supervised Learning by Entropy Minimization이고 NIPS 2004에 억셉된 논문이다. 요슈아 벤지오가 참여한 논문이다. https://proceedings.neurips.cc/paper_files/paper/2004/file/96f2b50b5d3613adf9c27049b2a888c7-Paper.pdf IntroductionSemi supervised learning은 분류 단계에서 labeled 데이터만 활용하는 것이 아니라 unlabeled 데이터도 활용해 decision boundary를 잘 결정하는 것이 목적이다(여기서 근본적인 질문을 하는데 과연 Unlabeled 데이터가 더 도움이 되냐는 것에 꽤 많은 내용을 담는다).  Deri.. 공감수 0 댓글수 1 2024. 4. 3.
  • Pseudo Label(2013) 논문리뷰 논문의 풀 제목은 Pseudo Label: The Simple and Efficient SEmi Supervised Learning Method for Deep Neural Networks 이다. https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=798d9840d2439a0e5d47bcf5d164aa46d5e7dc26 Introduction많은 SSL(Semi) 방법들은 Unsupervised pre-training 을 하고 (뒤에서 나오겠지만 Denoising Autoencoder를 사용한다) labeled 데이터로 fine-tuning하는 방식을 택했다고 한다. 그 외 방법들은 볼츠만 머신을 사용하거나 Semi Supervised Embe.. 공감수 0 댓글수 0 2024. 4. 2.
  • Joint Optimization Framework for Learning with Noisy Labels(2018) 논문리뷰 논문의 풀 제목은 글 제목에 적혀있다. https://arxiv.org/pdf/1803.11364.pdf Introduction정제된 라벨을 가지는 데이터셋도 있찌만 noisy label을 가지는 데이터셋도 있다고 한다. 여기서 저자는 과연 DNN이 이러한 label 데이터들에 대해서 잘 훈련할 수 있는지 의문점을 던진다. 그러나 기존 연구에서도 밝혔 듯이 DNN은 어떠한 데이터셋이든 기억하는 특징이 있기 때문에 noisy label을 가지고 훈련하는 것은 우리가 원하는 방향은 아니다. 이러한 것을 방지하기 위해 dropout, early stopping 같은 regularization 방법들이 있지만 이러한 것은 최적화하는 것을 보장하지는 않는다고 한다. 여기서 말하는 contribution은 다음과 .. 공감수 0 댓글수 0 2024. 3. 29.
  • Meta Pseudo Labels(2021) 논문리뷰 논문의 풀 제목은 글 제목에 적혀있다. https://arxiv.org/pdf/2003.10580.pdf Introduction여기서 제시하는 기존 Pseudo label의 문제는 잘못 만든 PL의 경우 악영향을 끼칠 수 있다는 것이며 이는 confirmation bias를 크게 할 수 있다는 것이다(여기서 말하는 PL의 경우 일반적인 SSL에서의 PL이 아니라 pre-trained 된 Teacher를 통해 만든 PL을 student에게 주는 PL을 말한다). 따라서 여기서 제시하는 해결점은 PL을 만드는 Teacher 모델도 추가적으로 훈련하는 것이다(기존 방식에서의 Teacher 의 파라미터는 업데이트 하지 않는다). 추가적으로 훈련하는 방식이 Novelty라고 할 수 있는데 이를 student 로부.. 공감수 0 댓글수 0 2024. 3. 28.
  • Pseudo Labeling and Confirmation Bias in Deep Semi-Supervised Learning(2020) 논문리뷰 논문의 풀 제목은 글 제목에 적혀있다. https://arxiv.org/pdf/1908.02983.pdfIntroductionSemi Supervised Learning(SSL) 에서는 consistecy regularization과 pseudo label 두가지 방법이 있다(물론 FixMatch에서는 두가지 방법을 혼합한다). 여기서는 pseudo label방법만을 사용하고 pseudo label의 단점이라고 한다면 confirmation bias 가 쉽게 일어날 수 있으며 일어날 경우 iid 가정이 무너지므로 일반적인 SSL 프레임워크에서는 성능이 떨어진다고 한다(iid는 label, unlabel 데이터가 같은 분포에서 샘플링된다는 것인데, 만약 틀린 label로 예측할 경우 이러한 완전히 새로운 .. 공감수 0 댓글수 0 2024. 3. 27.
  • [리눅스]프로세스 확인하고 kill하기 나는 돌리는 모델의 성능의 진행상황을 보기 위해 tensorboard 를 자주 활용한다. 포트도 고정해서 사용하는데 가끔씩 이미 배정되있다며 다른 포트로 바꿔줘야하는 귀찮은 일이 발생하기도 한다. 따라서 이럴 때 해당 포트에 있는 프로세스를 확인하고 kill하는 방법을 기록해보려고 한다. 우선 수행하고 있는 해당 포트 프로세스의 ID를 알고있어야한다. lsof -i TCP:6006 간단한 명령어로 해당 포트의 ID를 알 수 있다. 그리고 kill하기 위해서는 kill {ID} ID안에 해당 포트 프로세스를 넣으면 된다. 공감수 0 댓글수 0 2024. 3. 23.
  • ShrinkMatch(2023) 논문리뷰 논문의 풀 제목은 Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning이다. https://openaccess.thecvf.com/content/ICCV2023/papers/Yang_Shrinking_Class_Space_for_Enhanced_Certainty_in_Semi-Supervised_Learning_ICCV_2023_paper.pdf Introduction 많은 SSL(semi) 프레임워크는 pseudo label을 생성한 후 훈련을 진행한다. 그렇기 때문에 unlabeled 데이터에 대해 얼마나 정확한 pseudo label을 생성하는지가 모델 성능을 좌지우지한다고 볼 수 있다. 따라서 FixMatch 에서는 hi.. 공감수 0 댓글수 4 2024. 3. 19.
  • APE(2020) 논문리뷰 논문의 풀 제목은 Attract, Perturb and Explore: Learning a Feature Alignment Network for semi-supervised Domain Adaption이다. 저자의 github에서 APE로 되어있기에 이렇게 표기했다.https://arxiv.org/pdf/2007.09375.pdf Introduction이 논문에서는 기존 UDA, SSDA 방식들의 문제점을 지적하는데, source distribution을 사용하여 분류하는 방식을 배우는 과정에서 target distribution에서 source와 비슷한 이미지를 attract할 수 있다고 한다. 이 부분은 당연할 수 있지만 반대로 생각한다면 그렇지 못한 feature들이 대부분일 것이고 이것을 줄이는 .. 공감수 0 댓글수 1 2024. 3. 14.
  • AdaMatch(2022) 논문리뷰 논문의 풀 제목은 AdaMatch: A unified approach to Semi-Supervised Learning and Domain Adapation 이다.https://arxiv.org/abs/2106.04732 AdaMatch: A Unified Approach to Semi-Supervised Learning and Domain AdaptationWe extend semi-supervised learning to the problem of domain adaptation to learn significantly higher-accuracy models that train on one data distribution and test on a different one. With the goal .. 공감수 0 댓글수 0 2024. 3. 13.
  • MME(2019) 논문리뷰 논문의 풀제목은 Semi-Supervised Domain Adaptation via Minmax Entropy이다https://arxiv.org/pdf/1904.06487.pdf Introductiontrain 과정에서 훈련한 분포와 test 과정에서의 데이터가 iid가 아니라 다른 분포에서 샘플링됐다면 이는 성능 하락으로 이어 지기 때문에 이를 대처하는 것이 중요하다. SSDA에서는 많은 labeled source data, 약간의 labeled target data, 많은 unlabeled target data가 주어지고 gap을 줄이는 것을 목적으로 한다. 이 논문에서는 Minmax entropy minimization을 사용하여 이를 해결하려고 한다.기존 방식과 비교를 한 것인데, 기존 방식들은 .. 공감수 0 댓글수 0 2024. 3. 12.
  • DANN(2016) 논문리뷰 논문의 풀 제목은 Domain-Adversarial Training of Neural Networks이다. DANN이라고도 불리며 Semi supervised Domain Adaptation에서 시초격인 거 같아서 리뷰해보려고 한다.https://arxiv.org/pdf/1505.07818.pdf Introduction딥러닝에서 겪을 수 있는 흔한 문제는 train, test 데이터 셋에서 흔하게 일어날 수 있는 shift문제이다. 따라서 이러한 shfited distribution에서의 classifier가 잘 분류할 수 있도록 훈련하는 것이 Domain Adaptation(DA) 라고 할 수 있다. 여기서 target distribution은 모두 unlabeled 데이터이다. 기존의 방법들은 위의 .. 공감수 0 댓글수 0 2024. 3. 12.
  • ReMixMatch(2020) 논문리뷰 논문의 풀 제목은 ReMixMatch: Semi supervised learning with distribution alignment and augmentation anchoring 이다.https://arxiv.org/pdf/1911.09785.pdf2020년에 나온 논문이고 Distribution alignment를 사용하는데 이를 사용하는 이유를 잘 살펴볼 필요가 있는 논문이다. IntroductionSSL에서는 주로 consistency regularization, entropy minimiation이 활용되는데 여기서 entropy minimization은 high confidence prediction을 내뱉도록 모델을 훈련시키는 것이다. 그리고 큰 framework 자체는 기존의 mixmat.. 공감수 0 댓글수 0 2024. 3. 7.
  • Label smoothing 효과 공부해보기 Label smoothing은 구글에서 낸 Classification model인 Inception model에서 먼저 제안되었다. https://arxiv.org/pdf/1512.00567.pdf 그리고 Label smoothing이 왜 좋고, 어떤 점이 좋은지에 대한 논문은 https://arxiv.org/pdf/1906.02629.pdf 그래서 기존 논문에서는 main contribution은 아니지만 regularization 방식으로 소개되는데 이 논문에서 소개된 내용만큼과 효과에 대하여 간단하게 적어보려고 한다. K개의 class 가 있다고 하면은 model이 계산한 각각의 class 에 대한 probability는 $$ p(k | x) = \frac{exp(z_{k})}{\sum^{K}_{k.. 공감수 0 댓글수 0 2024. 3. 4.
  • [pytorch] tensor 관련 여러 메소드들 정리 텐서 데이터에 적용되는 여러 메소드들이 있는데 이를 한번 정리해보려고 한다. tensor.data x = torch.tensor([1,2]) print(x) print(x.data) y = torch.rand(3,5) print(y.data) tensor([1, 2]) tensor([1, 2]) tensor([[0.7150, 0.9495, 0.3474, 0.3829, 0.2828], [0.4531, 0.4677, 0.0863, 0.6763, 0.2480], [0.6295, 0.0573, 0.5454, 0.4892, 0.5464]]) x, y = next(iter(loader)) print(x.shape) print(x[1].data) torch.Size([32, 3, 32, 32]) tensor([[[0.. 공감수 0 댓글수 0 2024. 3. 1.
  • CIFAR100-C, CIFAR100 비교 1. 데이터의 개수는 같지만 각각의 해당되는 데이터 라벨은 다르다. file_path = '/content/CIFAR-100-C/labels.npy' data_array = np.load(file_path) print("데이터 형태:", data_array.shape) print("데이터 내용:") cor = np.array(cifar_dataset.targets) == data_array print(np.sum(cor)) 데이터 형태: (50000,) 데이터 내용: 475 2. 제일 놀라운 사실. CIFAR100 C 에는 50,000개의 단순한 노이즈 데이터들이 있는 것이 아닌, 10,000개 묶음으로 severity 가 높아진다. 한마디로 처음 10개의 이미지와, 10000~10010번째 이미지, 2.. 공감수 0 댓글수 0 2024. 2. 29.
  • [pytorch] 데이터셋 합치기 corrupted 된 이미지들을 다루다보면은 여러 개의 데이터셋을 다루다보니 코드가 더러워질 수 있다. 이에 대해서 코드의 간편성을 위해서는 데이터셋을 합칠 수 있다. mnist = datasets.MNIST(root = './sample_data', train = True, download =True, transform = transforms.ToTensor()) cifar = datasets.CIFAR10(root = './sample_data', train = True, download = True, transform = transforms.ToTensor()) concat = torch.utils.data.ConcatDataset([cifar, mnist]) print(len(concat)) pr.. 공감수 1 댓글수 0 2024. 2. 17.
  • [pytorch] 행렬 계산 이번에 논문에 나온 값들이 어떻게 변하는지 알아보려던 찰나에 아무 생각 없이 * 연산자를 쓰니까 원하던 값들이 안나와서 적어두려고 한다. x = torch.tensor([[0.85, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.07]]) xt = torch.transpose(x, 0, 1) i = torch.eye(10) diag = torch.diag(x) xx = xt * x k = (i + 8*i - 8*xx) k = torch.inverse(k) pseudo = k.matmul(xt) p = torch.mul(k, xt).sum(0) print(xt.shape) print(x.shape) print(i.shape) print(xx.shape) print.. 공감수 0 댓글수 0 2024. 2. 17.
  • SelfMatch(2021) 논문리뷰 이번에 semi를 공부하는 도중에 self 와 섞인 논문을 발견하여 리뷰해보려고 한다. NIPS에 억셉된 시기는 2020년으로 해당 년도는 SimCLR이 나오고 FixMatch가 나온지 얼마 안된 시점인데 두가지를 결합한 것이 큰 novelty라고 생각했다. https://arxiv.org/pdf/2101.06480.pdf  Introductionsemi supervised learning은 적은 수의 라벨에 대해서 문제를 해결할 수 있는 매력적인 방법이고 self supervised 역시 SimCLR 로 시작된 contrastive learning을 활용한 representation learning을 한 후 fine tuning을 하면은 좋은 성능을 냈다고 한다. 따라서 논문은 이 두가지 방법을 활용해.. 공감수 0 댓글수 0 2024. 2. 14.
  • Test-Time Adaption via Conjugate Pseudo labels(2022) 논문 리뷰 해당 논문은 기존의 Tent 논문에서 사용한 Cross Entropy에 대하여 왜 성능이 좋은지에 대해 이론적으로 설명하는 논문이다. 완벽하게 이해하기는 어려웠지만 최대한의 이해를 담았고 조금씩 수정해나가려고한다.https://arxiv.org/pdf/2207.09640.pdf Introduction실제 세계에서의 가능한 모든 distribution shift에 대해서 훈련과정에서 준비하는 것은 불가능하기 때문에, Training 때는 source 데이터로 훈련하고 Test 때는 들어온 input에 대해 잘 adapt토록 하는 것이 Test time Adaption이다(Test Time Training이라고 해도 무방할 거 같다. 세팅에서 약간의 차이는 있을 수 있지만 사소한 거 같다). Test 때 들.. 공감수 0 댓글수 1 2024. 2. 11.
  • 비전공생의 TENT(Fully Test-Time Adaptation by entropy minimization) 논문리뷰 논문의 풀 제목은 글 제목에 있고 주로 TENT라고 불린다. 2021 ICLR에서 억셉된 논문이고 milestone 논문 같아 읽어보았고 코드도 함께 살펴보려고 한다 https://arxiv.org/pdf/2006.10726.pdf Introduction Deep neural network는 train, test data들이 same distribution이라는 setting하에 높은 성능을 보여줬다. 그러나 이러한 성능은 두 data의 분포가 다를 경우 하락을 보여주는데 이러한 것을 dataset shift라고 한다(distribution shift라고 이해해도 문제 없을 거 같다). 모델은 unexpected weather, sensor degradation등의 variation한 상황을 맞이할 가능.. 공감수 0 댓글수 0 2024. 2. 7.
  • [pytorch] 기본적인 tensor 조작해보기 딥러닝 훈련을 시키면서 가벼운 텐서로 세팅할 때도 있는데 이럴 때마다 구글을 서칭한다.. 그래서 torch의 가벼운 문법을 정리해보려고 한다. a = torch.tensor(1) b = torch.tensor([1]) c = torch.tensor([[1,2, 3], [3,4,5]]) print(a) print(a.shape) print(b) print(b.shape) print(c) print(c.shape) tensor(1) torch.Size([]) tensor([1]) torch.Size([1]) tensor([[1, 2, 3], [3, 4, 5]]) torch.Size([2, 3]) 이렇게 가벼운 텐서 정도는 torch.tensor를 사용해서 생성할 수 있다. a = torch.arange(1,.. 공감수 0 댓글수 0 2024. 2. 6.
  • [pytorch] Nan, inf알아보기 아주 가끔 loss를 찍어보면 nan을 만날 수 있다. 내 경우는 loss 미분에 대해 learning rate를 낮추니 해결되었는데 이유에 대해서 한번 간단한 코드로 실험해보려고 한다. a = torch.exp(torch.tensor(100)) b = torch.tensor(100) print(a) print(torch.log(a)) print(a / a) softmax에 기본적으로 exp가 사용되니 적용해보았다. tensor(inf) tensor(inf) tensor(nan) 결과는 이렇게 나오는데 즉 inf는 너무 높은 값이 나오면 컴퓨터에서 처리하지 못하는 것을 알 수 있다. 음의 방향으로 너무 크다면 -inf라는 결과가 나온다. 세번째에 나온 nan같은 경우 무한대 / 무한대 이런 값을 넣으니 .. 공감수 0 댓글수 0 2024. 2. 6.
  • 데이터셋 동등하게 분리하기 semi supervised learning을 공부하면은 labeled 데이터가 몇개가 있냐에 따라 성능이 달라진다. 따라서 dataset에서 labeled데이터 개수에 맞추어 분리하는 과정이 필요하다. cifar10 데이터셋을 사용하고 labeled 데이터가 4,000개 있을 때의 setting의 예시이다. num_labels = 4000 #labeled 데이터 개수 num_classes = 10 # class 개수 labels = cifar_dataset.targets # list로 되어있다 labels = np.array(labels) # array 로 변경해준다 label_per_class = num_labels // num_classes #클래스별 데이터 개수 labeled_idx = [] #i.. 공감수 0 댓글수 1 2024. 1. 28.
  • [matplotlib] tensorboard 여러 지표 저장하기, 지표 색깔 지정하기 우선 직관적으로 코드만 보여주면 다음과 같다. layout = {'Loss' :{ 'loss':['Multiline', ['loss/label', 'loss/unlabel', 'loss/unlabel_c', 'loss/aux']] }} writer.add_custom_scalars(layout) 이렇게 layout을 저장하고 writer.add_scalar('loss/label', Lx, epoch+1) writer.add_scalar('loss/unlabel', Lu, epoch + 1) writer.add_scalar('loss/unlabel_c', Lu_c, epoch + 1) writer.add_scalar('loss/aux', Laux, epoch + 1) 값들을 다음과 같이 저장하면 된다. 그.. 공감수 0 댓글수 0 2024. 1. 26.
  • [pytorch] load state dict 후 업데이트 2개의 동일 모델이 있고 한개는 이미 학습이 어느 정도 됐고 다른 1개는 초기화 상태이다. 학습이 어느 정도 된 모델의 파라미터를 안된 모델의 가중치로 넘겨주고, 이 모델에 대해서 학습을 시킨다. 그렇다면 기존 넘겨준 모델의 가중치는 업데이트가 될까? 직관적으로는 안될 거 같지만 실험을 해봤다. import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F x_train = torch.FloatTensor([[1], [2], [3]]) y_train = torch.FloatTensor([[2], [4], [6]]) layer = nn.Linear(1, 1) layerc = nn.Linear(1, 1.. 공감수 0 댓글수 0 2024. 1. 22.
  • CIFAR10-C 데이터셋 다루기 이번에 실험하면서 CIFAR10-C 데이터셋을 다루게되었는데 시행착오도 많아가지고 공유해보려고 한다. 우선 https://zenodo.org/records/2535967 사이트에서 CIFAR10-C 데이터 다운로드 링크를 복사 후 터미널에 wget {dataest link} 를 하면된다. colab환경이라면 !wget하면 된다 그렇다면 tar를 확장자로 하는 압축파일을 다운로드 받게 되는데 압축을 푸는데 다양한 방법이 있지만 import tarfile tar = tarfile.open('/content/CIFAR-10-C.tar?download=1', 'r') tar.extractall() tar.close() 이렇게 한다면 압축 파일을 해제할 수 있다(위 환경은 colab환경이다) 그렇다면 이렇게 많은.. 공감수 0 댓글수 0 2024. 1. 20.
  • 파이썬 copy, deepcopy 쓰는 이유 및 사용해보기 모델을 훈련 전에 복사할 필요성이 생겼는데 이번 기회에 copy, deepcopy를 비교해보려고 한다. 1. 다른 변수로 할당 우선 코딩 초보인 나에게 해당 변수 값을 다른 변수에 넘겨주면은 되지 않나 생각을 했다. a = [1,2,3] b = a a.append(4) print(f'a: {a}, 주소 : {id(a)}') print(f'b: {b}, 주소 : {id(b)}') a: [1, 2, 3, 4], 주소 : 2603786361344 b: [1, 2, 3, 4], 주소 : 2603786361344 이렇게 다른 변수를 사용하더라도 기존 변수에 대한 참조를 하기 때문에 값이 같이 변하는 것을 확인할 수 있고 메모리 주소도 같은 것을 확인할 수 있다. 이렇게 새로운 변수 생성하는 방법을 왜 사용하는지에.. 공감수 0 댓글수 0 2024. 1. 17.
  • torch stack, cat 차이 데이터셋을 다루다보면은 cat, stack을 사용하는 코드들이 종종 있는데 이를 구분하기 위해 정리하려고 한다. 우선 코드로 먼저 확인하는게 제일 빠를 거 같다. x = torch.rand(3, 5) y = torch.rand(3, 5) a = torch.cat([x, y], dim = 0) b = torch.stack([x, y], dim = 0) print(a.shape) print(b.shape) torch.Size([6, 5]) torch.Size([2, 3, 5]) 결과로 보는 것처럼 torch.cat을 사용한다면 지정해준 dim에 텐서들을 붙이는 것을 확인할 수 있다. 그러나 torch.stack을 사용한다면 새로운 차원에서 텐서들을 붙이는 것을 확인할 수 있다. 공감수 0 댓글수 0 2024. 1. 17.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.