Hello Data

이번에 Hessian matrix를 다루고 있는데 머릿속으로만 기억하면 까먹을 거 같아서 기록한다. 개인적인 기록이니 틀릴 수 있습니다. 딥러닝에서 학습할 때 gradient descent 방식으로 update를 하며 이를 수행하기 위해 loss값에 대해 미분을 수행하고, 기울기를 활용해 update한다. 그렇다면 hessian 은 무엇인가? hessian 은 함수에 대해 두번 미분, 즉 이계도함수이다. 원래 함수에 대해서 한번 미분을 한다는 것은 해당 지점에서 기울기를 구할 수 있으며 이에 음수를 붙여 update하는 것이 보통이다. 그리고 이 기울기가 양수라는 것은 해당 x값이 증가할 때, y값도 증가하는 것이다. 그렇다면 도함수에 대해 한번 더 미분한 그래프는 어떤 것을 의미할까? 이계도함수도 똑같..

Consistency regularzation은 SSL 비롯하여 GAN에서도 사용된 기법으로 이해하기는 쉽지만 깊이 들어가보려고 한다. 해당 내용은 Kevin P. Murphy 의 Probabilistic Machine Learning의 내용을 바탕으로 제 개인적인 의견을 추가하여 작성했습니다.  Consistency Regularzation 이 무엇을 수행하는지는 간단하다. 데이터 (여기서 말하는 데이터는 다 이미지 데이터)에 대해 일정한 노이즈 및 증강을 가해도 데이터의 본질 및 결과가 바뀌지 않는다는 것이다. 예를 들어 강아지 이미지에 대해 회전, 혹은 crop을 하더라도 강아지이다. 당연할 수 있으나 우리가 다루고 있는 모델은 이를 모를 수 있으니 이러한 부분에 대해 regularization 을..

해당 논문의 풀 제목은 Semi Supervised Learning by Entropy Minimization이고 NIPS 2004에 억셉된 논문이다. 요슈아 벤지오가 참여한 논문이다. https://proceedings.neurips.cc/paper_files/paper/2004/file/96f2b50b5d3613adf9c27049b2a888c7-Paper.pdf IntroductionSemi supervised learning은 분류 단계에서 labeled 데이터만 활용하는 것이 아니라 unlabeled 데이터도 활용해 decision boundary를 잘 결정하는 것이 목적이다(여기서 근본적인 질문을 하는데 과연 Unlabeled 데이터가 더 도움이 되냐는 것에 꽤 많은 내용을 담는다).  Deri..

논문의 풀 제목은 Pseudo Label: The Simple and Efficient SEmi Supervised Learning Method for Deep Neural Networks 이다. https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=798d9840d2439a0e5d47bcf5d164aa46d5e7dc26 Introduction많은 SSL(Semi) 방법들은 Unsupervised pre-training 을 하고 (뒤에서 나오겠지만 Denoising Autoencoder를 사용한다) labeled 데이터로 fine-tuning하는 방식을 택했다고 한다. 그 외 방법들은 볼츠만 머신을 사용하거나 Semi Supervised Embe..

논문의 풀 제목은 글 제목에 적혀있다. https://arxiv.org/pdf/1803.11364.pdf Introduction정제된 라벨을 가지는 데이터셋도 있찌만 noisy label을 가지는 데이터셋도 있다고 한다. 여기서 저자는 과연 DNN이 이러한 label 데이터들에 대해서 잘 훈련할 수 있는지 의문점을 던진다. 그러나 기존 연구에서도 밝혔 듯이 DNN은 어떠한 데이터셋이든 기억하는 특징이 있기 때문에 noisy label을 가지고 훈련하는 것은 우리가 원하는 방향은 아니다. 이러한 것을 방지하기 위해 dropout, early stopping 같은 regularization 방법들이 있지만 이러한 것은 최적화하는 것을 보장하지는 않는다고 한다. 여기서 말하는 contribution은 다음과 ..

논문의 풀 제목은 글 제목에 적혀있다. https://arxiv.org/pdf/2003.10580.pdf Introduction여기서 제시하는 기존 Pseudo label의 문제는 잘못 만든 PL의 경우 악영향을 끼칠 수 있다는 것이며 이는 confirmation bias를 크게 할 수 있다는 것이다(여기서 말하는 PL의 경우 일반적인 SSL에서의 PL이 아니라 pre-trained 된 Teacher를 통해 만든 PL을 student에게 주는 PL을 말한다). 따라서 여기서 제시하는 해결점은 PL을 만드는 Teacher 모델도 추가적으로 훈련하는 것이다(기존 방식에서의 Teacher 의 파라미터는 업데이트 하지 않는다). 추가적으로 훈련하는 방식이 Novelty라고 할 수 있는데 이를 student 로부..

논문의 풀 제목은 글 제목에 적혀있다. https://arxiv.org/pdf/1908.02983.pdfIntroductionSemi Supervised Learning(SSL) 에서는 consistecy regularization과 pseudo label 두가지 방법이 있다(물론 FixMatch에서는 두가지 방법을 혼합한다). 여기서는 pseudo label방법만을 사용하고 pseudo label의 단점이라고 한다면 confirmation bias 가 쉽게 일어날 수 있으며 일어날 경우 iid 가정이 무너지므로 일반적인 SSL 프레임워크에서는 성능이 떨어진다고 한다(iid는 label, unlabel 데이터가 같은 분포에서 샘플링된다는 것인데, 만약 틀린 label로 예측할 경우 이러한 완전히 새로운 ..

나는 돌리는 모델의 성능의 진행상황을 보기 위해 tensorboard 를 자주 활용한다. 포트도 고정해서 사용하는데 가끔씩 이미 배정되있다며 다른 포트로 바꿔줘야하는 귀찮은 일이 발생하기도 한다. 따라서 이럴 때 해당 포트에 있는 프로세스를 확인하고 kill하는 방법을 기록해보려고 한다. 우선 수행하고 있는 해당 포트 프로세스의 ID를 알고있어야한다. lsof -i TCP:6006 간단한 명령어로 해당 포트의 ID를 알 수 있다. 그리고 kill하기 위해서는 kill {ID} ID안에 해당 포트 프로세스를 넣으면 된다.