Hello Computer Vision

이번주 과제랑 쪽지 시험이 많이 몰려서 스트레스 받지만 강의를 미루면 계속 한없이 미룰 거 같더라고요... 그래서 간략하게라도 필기를 해보았습니다. 이번 강의에서도 파일과 파일을 합쳐주는 링커의 예시에 대해서 많이 설명해주셨다. 교수님이 거의 3주간에 걸쳐 링커에 대한 강의를 하시고, 예제들을 풀어주시는 거보면은 아주 중요한 역할을 하는 거 같다. 그도 그럴 것이 우리는 항상 라이브러리들을 사용하고 프로그램을 만들 때 많은 파일들을 합치는데 이러한 역할들을 링커가 한다. 우리가 seperation programming 하는 이유는 2가지이다. Modularity, Efficiency 저번 강의에서도 말씀해주셨던 부분이다. 다른 사람의 코드를 재사용하기 쉽게, 그리고 컴파일 할 때 효율성을 증대시킬 수 있..

이번에 읽으려고 했던 논문은 WGAN이었다. 그러나 너무나 많은 수식으로 인해 저 혼자서 이해하기에는 힘들다고 생각했고 많은 블로그들을 참조해 WGAN 에서 필요한 부분들에 대한 저만의 이해를 써보겠습니다. 최대한 앞으로의 모델을 공부하는데 있어 불편함 없을 정도로 알아보겠습니다. 참조 자료 영상 : 십분 딥러닝 https://www.youtube.com/watch?v=j-6uUCmY4p8 글 : 하우론님의 https://haawron.tistory.com/21 먼저 확률분포는 특정한 값을 가질 확률을 나타내는 함수를 나타냅니다. 확률밀도함수라고 한다면 구간별로 적분한 넓이가 확률이 될 것이고 확률은 1이 넘을 수 없으므로 분포의 총 면적은 1이 됩니다. 그리고 거리함수에 대한 정의를 해보겠습니다. 거리..

딥러닝에 빠지고 공부한지 반년 정도의 시간이 흘렀는데요, Backpropagation이라는 개념을 어렴풋이 알고 있었고 모델을 훈련시킬 때 잘 되겠지 하고, 생각을 했지만 앞으로 계속 모델을 만질텐데 이러한 black box부분을 정확히는 모르더라도 어떻게 돌아가는지는 알아야 겠다고 생각해 한번 손으로 써보고 정리해보려고합니다. 일단 backpropagation을 왜 사용할까? 이 이유에 대해서는 gradient descent 를 왜 사용하는지부터 알면 좋을 거 같은데요, 왜냐하면 backpropagation은 gradient descent를 최대한으로 활용하기 위한 알고리즘이기 때문입니다. gradient descent에 대해서는 간략하게 정리해놓은 글이 있는데 봐주시면 도움이 될 거 같습니다. 비전공..

이번 예비군 일정에 따라 학교를 안가면서 시간 여유가 생겨 바로 강의를 들었습니다. 강의에서는 저번에 설명해주신 Linker에 대해서 예시들을 중심으로 설명하셨는데요, 예시들을 다 따라적는 거보단 최대한 이해하려고 노력해봤습니다. Symbol table은 컴파일러가 확인한다. Object 파일들이 merge하는 과정을 거칠 때 각각의 변수들이나 코드들이 encoding되는데 이러한 것들을 컴파일할 때 고쳐가는 decoding하는 과정을 거친다. 근데 변수가 여러개 있을 경우 오류가 발생하기도 한다.(변수들이 충돌) 모든 심볼들은 링커에 의해 2가지 종류로 나뉘는데 strong symbol : 초기화된 전역변수 weak symbol : 초기화되지 않은 전역변수 이렇게 2가지로 나뉘고 파일을 합치는 과정에서..

딥러닝 모델을 만지면서 당연히 해왔던 것들인데 기초는 닦아도 닦아도 끝이 없기 때문에 한번 정리하고 넘어가려고 합니다. 사실 이 내용만해도 한 학기 수업을 할 수 있을 정도로 방대하지만 앞으로의 모델을 만지면서 당분간 무리없을 정도로 정리해보려고 합니다. (사실 우연히 본 영상이 너무 재밌어서 한번 정리하고 넘어가야 할 것 같네요.. 해당 동영상은 여기 Grdient Descent는 경사하강법입니다. 그리고 많은 논문에서 'gradient가 소실되었네' ,'gradient가 없어 학습이 진행이 안되네 ' 이러한 문구들을 많이 찾아볼 수 있습니다(최근 논문들을 보면서 더 느끼는 거 같습니다) 그렇다면 이 Gradient Descent는 왜 필요한 걸까요? 예를 들어 MNIST 데이터셋을 통해 숫자들을 구별..

이번 강의에서는 링커(Linker)에 대해서 자세히 설명하셨는데요, Linker Object 파일들을 merge 한다, 각 파일들에 대해 메모리 주소를 배치한다.(주소 결정) 컴파일 때의 효율성, 디스크의 효율성, 다른 사람의 파일을 재활용하기 쉽게 해준다(Modularity) 이러한 장점들이 있으며 object 파일들을 연결해서 실행파일을 만드는 컴파일러 드라이버이다. Object 파일은 실행파일이 아닌 머신코드와 데이터 파일이다. 연결되기 전에는 다른 파일에서 참조한 코드들에 대해서는 ?로 되기도 하는데 이러한 것들을 심볼(symbol)이라고 한다. (후에 더 이야기가 나온다.) Object 파일들은 불완전한 조각들이다. 이러한 조각들을 링커를 활용해 연결한다면 실행파일을 만들며 virtual 메모리..

지난 번 LSGAN에 이어서 이번에는 InfoGAN논문리뷰입니다. 제가 GAN을 처음 공부할 때만 해도 cycleGAN, StyleGAN이런 모델들만 봐서 그런지 흥미로웠지만 이해가 안가는 것 투성이였는데 태초의 논문들부터 보니 재밌습니다. 이번 InfoGAN은 disentanglement 한 특징을 잡아내기 위한 방법을 고안한 논문인데요, 천천히 논문 처음부터 읽어보겠습니다. (mutual information과 disentanglement가 핵심이니 두가지를 잘 들고 가시면 될 거 같습니다) Introduction unsupervised learning(비지도학습)에서는 extracting value를 하는 것이 어렵다고 합니다. (아마 여기서 extracting value는 우리가 원하는 특징을 말..

이번 강의 주차에는 MIPS 의 실제 Instruction예시들을 중심으로 강의가 진행되었는데요, 이해되는 선에서 필기를 해보았습니다. main이라는 곳에서 a라는 함수(펑션)를 콜한다면 main : caller(콜러) a : callee(콜리) MIPS에서의 명령어는 jump 와 link를 사용한다. 함수 안에 있는 변수들은 로컬 변수들이며 이를 function scope안에 있다고 한다. 함수를 만약 static data에다 저장한다면 실행하지 않을 때도 메모리를 잡아먹으니 dynamic data에다 저장을 한다. 이러한 작업들은 프로그래머가 하는 것이 아닌 자동으로) 그리고 dynamic이든 static이든 각각 할당된 데이터 양이 있을텐데 이 이상으로 코드가 메모리를 잡아먹는다면 프로그램 실행이 ..