목록KL Divergence (1)

Hello Data

KL divergence, Cross Entropy

GAN을 공부하다가 VAE개념을 몰라서 공부하는데 계속 나온 식이 바로 KL divergence! 그래서 정리도 할겸 이해한 내용 그대로 끄적여 볼라고 한다. ​ 들어가기 전에 사전 지식이 있어야한다. ​ 모든 정보에는 양이 있고 그 양은 모두 같은 값을 가지지는 않는다. ​ 예를 들어 '해가 동쪽에서 뜬다' 라는 정보는 너무 흔하기 때문에 정보의 양을 거의 가지지 않고 '해가 서쪽에서 뜬다'라는 정보는 흔하지 않기 때문에 많은 정보의 양​​을 가진다. ​ 표기를 해보자면 x라는 정보가 있고 y라는 정보가 있다. 이러한 정보의 확률 값을 p(x), p(y)라고 할 때 이에 대한 정보의 양을 h라 하였을 때 ​ h(x) = f(p(x)), h(y) = f(p(y)) 이렇게 임의의 함수 f를 이용하여 나타낼..
mathematics 2022. 10. 17. 14:04
이전 Prev 1 Next 다음