Maximum Likelihood Estimation(최대우도법) 요약

GAN 논문을 보던 중 최대 우도법에 관한 내용이 잠깐 나오는데 이에 대해서

저번에 공부 한번 했던 거 같은데 다시 생각해보니 무슨 뜻인지 명확하게 생각이 나지 않았기 때문에

모르는 정보를 다시 찾고 기록하려고 한다.

제가 공부한 내용의 출처는 밑에다 다 적어놓겠습니다.

 

최대우도법을 왜 공부할까?

---

우선 다음 확률밀도함수 그래프를 살펴보자.

여러 개의 확률밀도 함수 그래프들이 그려져있다.

그리고 이러한 그래프들은 각각 다른 파라미터(μ,  σ)로 이루어져있다. 

그렇다면 만약 소수의 데이터만 주어진 상황에서 가장 최적의 확률밀도함수는 어떻게 구할까?

그 최적의 확률밀도함수의 파라미터 추정값들을 찾는 방법 중 하나가 Maximum Likelihood Estimation인 것이다.

예시

---

데이터가 {1, 4, 5, 6, 9}일 때 이러한 데이터들은 주황색 확률밀도와, 파란색 확률밀도 중 어디에서 왔을 확률이 더 높을까?

직관적으로 살펴보자면 주황색 그래프에서 왔을 것이라고 생각할 수 있다.

직관을 제외하고 수식으로 한번 이를 살펴보자.

각각의 데이터를 선으로 연결하였는데 이를 가능도(likelihood)라고 하며 수식을 이렇게 된다.

\[P(x|\theta) = \prod_{k=1}^{n}P(x_k|\theta)\]

파라미터 Θ 가 주어졌을 때의 확률 값들을 모두 곱하였을 때의 값을  \[P(x|\theta)\] 라고 하는 것이다.

이러한 값을 간단하게 "이 데이터가 해당 분포에서 왔을 가능성을 정량적인 값으로 나타낸 것" 이라고 생각하면 될 거 같다.

그렇다면 우리는 이 5개의 데이터 값의 가능도를 곱해 더 높은 분포를 선택하면 되는 것이다. 

이것을 실제 수식에서는 log를 붙여 표현하는데 다음과 같다.

\[L(\theta| x) = \log P(x|\theta) = \sum_{i=1}^{n}\log P(x_i | \theta)\]

가능도의 곱이 log를 붙여 덧셈이 된 것을 확인할 수 있다.

 

예시에서는 단순히 2개의 확률밀도함수 밖에 없으니 간단하게 구할 수는 있지만

실제로는 수백, 수천가지의 확률밀도가 존재하며 파라미터도 다양하기 때문에 단순 비교로는 구하기 힘들다.

그렇기 때문에 미분을 통하여 최대 값을 구하는 것이며 이를 최대우도법이라고 한다.

 

정리 : 최대우도법은 데이터들의 최적의 확률밀도함수를 찾기 위한 파라미터 추정법이다.

 

내용들과 이미지는 이곳에서 차용하였습니다.

https://angeloyeo.github.io/2020/07/17/MLE.html

최대우도법(MLE) - 공돌이의 수학정리노트

 

제가 이해한대로 적어봤는데 틀린부분 있으면 지적해주시면 감사하겠습니다.