Hello Data

이번에 Hessian matrix를 다루고 있는데 머릿속으로만 기억하면 까먹을 거 같아서 기록한다. 개인적인 기록이니 틀릴 수 있습니다. 딥러닝에서 학습할 때 gradient descent 방식으로 update를 하며 이를 수행하기 위해 loss값에 대해 미분을 수행하고, 기울기를 활용해 update한다. 그렇다면 hessian 은 무엇인가? hessian 은 함수에 대해 두번 미분, 즉 이계도함수이다. 원래 함수에 대해서 한번 미분을 한다는 것은 해당 지점에서 기울기를 구할 수 있으며 이에 음수를 붙여 update하는 것이 보통이다. 그리고 이 기울기가 양수라는 것은 해당 x값이 증가할 때, y값도 증가하는 것이다. 그렇다면 도함수에 대해 한번 더 미분한 그래프는 어떤 것을 의미할까? 이계도함수도 똑같..

Rank란? 위키피디아에 나온 정의를 읽어보면은, 열들에 의해 생성된 벡터 공간의차원이라고 한다. 또 다른 말로는 행렬에서 선형독립인 벡터의 개수라고도 한다. 행렬에서 Rank를 계산할 때는 Row, Column 따로 따로 계산할 필요 없이 한쪽만 계산하면 행렬의 Rank라고 말할 수 있다. Full Rank란? 해당 행렬이 가질 수있는 최대 가능한 Rank 값이다. 따라서 행과 열의 각각의 Rank는 서로 같은 값을 가지므로, 작은 한쪽의 사이즈가 Full Rank가 된다. 예시 해당 행렬에서는 세번째 열은 첫번째 열과 두번째 열의 선형관계로 나올 수 있으니 Rank = 2라고 할 수 있다. References https://m.blog.naver.com/sw4r/221416614473

특이값 분해란? 임의의 차원 m x n 차원의 행렬 A에 대하여 다음과 같이 행렬을 분해할 수 있다는 것이 특이값 분해이다. A = U ∑ V ^T A: m x n matrix(정사각 매트릭스가 아니어도 된다) U: orthogonal matrix, right singular vector ∑: diagonal matrix V: orthogonal matrix, left singular vector orthogonal matrix: U*U^T = I 를 만족하는 행렬이다 --> U^-1 = U^T, 각 열벡터들이 서로 직교한다(내적의 결과값이 0이다). diagonal matrix: 대각 성분들을 제외하고 나머지 모든 원소값이 0인 matrix이다. 기하학적 의미 직교하는 벡터 집합에 대하여, 벡터들에 대..

이번에 가짜연구소에서 컴퓨터비전에 관해서 스터디를 하는 와중에 Image formulation에 관한 강의자료가 있는데 내가 잘 모르는 벡터 내용들이 나와 딥하게는 아니더라도 무엇인지 알 수 있을정도로 정리해놓으려고 한다. 평면의 방정석이란? 평면의 방정식은 주어진 평면에 대한 수학적 표현이다. x,y,z 축으로 구성된 좌표계를 사용하여 표현되며 평면의 임의의 한점과, 평면의 법선벡터를 알면은 구할 수 있다. 형식으로는 Ax + By + Cz + D = 0 라고 설명이 되며 A,B,C는 평면의 법선벡터를 나타내고 D는 원점사이의 거리를 나타낸다. 법선벡터란? 법선벡터는 벡터의 크기가 1인 벡터로 주어진 공간에서 어떤 표면이나 곡면의 수직 방향을 나타낸다. 한 평면에서의 법선벡터는 그 평면과 수직인 벡터를..

참고 내용 : 공돌이님 블로그 다크프로그래머님 블로그 고유값, 고유벡터란 무엇인가? $\vec{a}$ 하나가 있으며 이 벡터에다 행렬 A를 곱해보자. \begin{bmatrix}b & c\\ d & e \end{bmatrix} 이러한 행렬A가 있다고 했을 때 벡터와 행렬간의 곱셈을 하면 또 다른 벡터 $\vec{a_{1}}$ 이 만들어지게 된다. 그렇다면 행렬 곱을 통해 방향과 크기가 바뀐 벡터가 기존 벡터와 평행일 수 있을까? 이를 수식으로 나타내보자면 $Av = \lambda v$ 이런 수식을 만족시키는 것이다. (벡터가 서로 평행하다는 것은 한 벡터의 상수배를 한 것과 같은 것이다 벡터의 평행 정리) 여기서 만족시키는 벡터 v를 고유벡터라고 하며 $\lambda$ 을 고유값이라고 한다. (A : n..

diagonal 를 공부하다가 고유값을 공부면서 모르는 개념인 벡터의 평행을 정리해보려고 한다. 누군가에겐 너무나도 당연한 것들이 저에겐 처음 보는 것들 투성이네요... 나에겐 벡터보다 한 도형에서의 모서리가 더 익숙한 만큼 벡터의 평행은 방향이 같지만 위치는 다른 것인줄 알았다. 그러나 다시 생각해보면 멍청한 생각인게 벡터는 크기와 방향만 같으면 같은 어디서 그리든 같은 벡터라는 것이다.. 내용 출처 : JW님 블로그 벡터의 평행 조건 영벡터가 아닌 $\vec{a}, \vec{b}$가 같은 방향이거나 정반대의 방향을 바라보고 있으면 평행한다. --> $k\vec{a} = \vec{b}$ (단 k는 0이 아닌 실수) 영벡터가 아니고 두 벡터 $\vec{a}, \vec{b}$ 가 평행하지 않을 때, $\v..

단위벡터는 한개의 원소 말고 다 0으로 이루어진 벡터로, 한 축에서 가장 짧은 벡터로 우리가 잘 알고 있다. 기저벡터란? 이전에 Span 이란 용어를 정의했다. 벡터들이 주어지고 선형적인 변환을 무수히 많은 횟수를 거치다보면은 하나의 공간을 가질 수 있고 이게 Span이라 정의했었다. 그림으로 나타내면 다음과 같다. span을 설명할 때는 벡터가 주어진 이후 이 벡터들로 어떤 공간을 이룰 수 있는지 물어보았다. 그러나 만약 반대로 span이 주어진다면? 주어진 span을 종속적인 벡터 없이 이루는 벡터들을 기저벡터라고 한다. 3차원 span이라면 기저벡터는 3개로 이루어져있고 2차원이면 2개로 이루어져있다. 어느 2차원 span S를 이루는 기저벡터a,b가 있다고 가정해보자. S에서의 한점을 c라고 해보..

2개의 3차원 벡터가 있다고 가정해보자. $ \begin{bmatrix}1 \\ 2\\ 3 \end{bmatrix} + \begin{bmatrix}3 \\ 4\\ 5 \end{bmatrix} $ 그리고 우리는 이 벡터 앞에 k라는 상수곱을 해줌으로써 자유롭게 늘리고 줄일 수 있다. 이렇게 유한한 벡터들간의 선형결합을 통해 만들 수 있는 벡터공간을 Span이라고 한다. 그림으로 보면은 조금 더 쉽게 이해할 수 있다. 이미지의 초록색으로 칠해진 영역이 선형식의 span이라고 할 수 있는 것이다. 두개의 벡터의 span은 하나의 면이라고 할 수 있고 세개의 벡터들은 그것보다 한층 더 깊은 span을 이루고 있다.