2018111373 최인렬
X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, 1)이고 모수공간이 \mu \ge 0으로 제한된 경우의 최대가능도추정량을 구한다.
가능도함수 구하기
f_{X_i}(x_i;\mu) = \dfrac{1}{\sqrt{2\pi}}
\exp \bigg( -\dfrac{(x_i-\mu)^2}{2} \bigg),
\qquad \mu \ge 0
\begin{align*}
L(\mu) &= \prod_{i=1}^{n} f_{X_i}(x_i;\mu)
\\[20pt]
&= \bigg( \dfrac{1}{\sqrt{2\pi}} \bigg)^{n}
\exp \bigg( -\dfrac{1}{2} \sum_{i=1}^{n} (x_i-\mu)^2 \bigg)
\\[30pt]
l(\mu) &= \log L(\mu)
\\[20pt]
&= -\dfrac{n}{2}\log(2\pi)
-\dfrac{1}{2} \sum_{i=1}^{n} (x_i - \mu)^2
\end{align*}
\mu \ge 0은 로그 안의 항이 아니라 정의역이다. 지시함수를 합에 곱해 두면 \log를 씌울 때 -\infty가 되는 자리라 항처럼 다룰 수 없다.
\begin{align*}
\dfrac{\partial}{\partial\mu} l(\mu)
&= -\dfrac{1}{2} \sum_{i=1}^{n} 2(x_i - \mu)\cdot(-1)
= \sum_{i=1}^{n} (x_i - \mu)
\\[20pt]
\dfrac{\partial^2}{\partial\mu^2} l(\mu) &= -n < 0
\end{align*}
이계도함수가 어디서나 음수이므로 l은 위로 볼록한 포물선이고, 제약이 없다면 \partial l/\partial\mu = 0인 한 점에서 최대가 된다.
\sum_{i=1}^{n} x_i = n\mu
\quad\Longrightarrow\quad
\mu = \dfrac{1}{n}\sum_{i=1}^{n} x_i = \bar X
그런데 \mu \ge 0이라는 조건이 있으므로, \bar X가 그 구간 안에 있는지를 봐야 한다.
케이스 나누기
l이 위로 볼록하고 꼭짓점이 \bar X이므로, 꼭짓점의 오른쪽에서는 감소하고 왼쪽에서는 증가한다.
1. \bar X \ge 0인 경우. 꼭짓점이 이미 허용 구간 안에 있다. 제약이 아무것도 막지 않으므로
\hat\mu_{MLE} = \bar X
2. \bar X < 0인 경우. 꼭짓점이 구간 밖에 있다. 허용 구간 [0, \infty)은 전부 꼭짓점의 오른쪽이라 그 위에서 l은 단조감소한다 — \mu \ge 0에서
\dfrac{\partial}{\partial\mu} l(\mu) = n(\bar X - \mu) \le n\bar X < 0
이므로 가장 왼쪽 끝에서 최대다.
\hat\mu_{MLE} = 0
둘을 합치면 최대가능도추정량은 \bar X를 0에서 자른 것이다.
\hat\mu_{MLE} = \max(\bar X,\, 0) = \bar X^{+}
미분해서 0이 되는 점을 찾는 것만으로는 이 답이 안 나온다. 최대는 정류점이 아니라 경계에서도 날 수 있고, 모수공간이 열린 구간이 아닐 때는 언제나 끝을 함께 봐야 한다.