在統(tǒng)計(jì)學(xué)中，最大似然估計(jì)，也稱最大概似估計(jì)，是用來估計(jì)一個(gè)概率模型的參數(shù)的一種方法

通俗來講，最大似然估計(jì)是利用已知的樣本的結(jié)果，在使用某個(gè)模型的基礎(chǔ)上，反推最有可能導(dǎo)致這樣結(jié)果的模型參數(shù)值。

給定一個(gè)概率分布 ${displaystyle D}?$ ，已知其概率密度函數(shù)（連續(xù)分布）或概率質(zhì)量函數(shù)（離散分布）為 $f_D?$，以及一個(gè)分布參數(shù) ${displaystyle heta }?$ ，我們可以從這個(gè)分布中抽出一個(gè)具有$ {displaystyle n} ?$個(gè)值的采樣$ {displaystyle X_{1},X_{2},ldots ,X_{n}}?$，利用${displaystyle f_{D}}?$計(jì)算出其似然函數(shù)：

? $$lik( heta|x_1,...,Xn)=f_{ heta}(x_1,...x_n)$$

　理解一：

? $L( heta|x)=f(x| heta)$

上述公式從兩個(gè)角度描述了某一事件發(fā)生的情況。該等式兩邊都表示這個(gè)事件發(fā)生的概率。

在給定樣本后，我們?nèi)ハ脒@個(gè)樣本出現(xiàn)的可能性到底有多大？在統(tǒng)計(jì)學(xué)上，我們認(rèn)為樣本的出現(xiàn)是服從分布函數(shù)的，我們假設(shè)這個(gè)分布函數(shù)位$f$，里面含有參數(shù)$ heta$，對(duì)于不同的$ heta$，樣本的分布也不一樣。$f(x| heta)$ 就表示子在給定參數(shù)$ heta$的時(shí)候，x出現(xiàn)的概率為多少。

$L( heta|x)$則表示，在給定樣本的x的時(shí)候，存在哪一個(gè)參數(shù)$ heta$使得x出現(xiàn)的可能性最大。等式的意義表示給定一個(gè)參數(shù)$ heta$和一個(gè)樣本$x$的時(shí)候整個(gè)事件的可能性多大。

理解二：

在這種意義上，似然函數(shù)可以理解為條件概率的逆反。在已知某個(gè)參數(shù)$ heta$時(shí)，事件A會(huì)發(fā)生的概率寫作：

? $$P(A| heta)=frac{P(A, heta)}{P( heta)}$$

然后似然函數(shù)是已知$X$對(duì)于$ heta$的函數(shù)，根據(jù)貝葉斯定理，

? $$P( heta|A)=frac{P(A| heta)P( heta)}{P(A)}$$

最大似然估計(jì)：當(dāng)我們知道總體的概率分布模型的時(shí)候，但是不知道概率分布函數(shù)的參數(shù)的情況下，我們用樣本來估計(jì)參數(shù)。

簡單來說，就是通過確定分布函數(shù)的參數(shù)是多少的情況下，使得我們抽的當(dāng)下樣本的概率最大

對(duì)于極大似然估計(jì)采取的步驟一般為：

寫出似然函數(shù)；

如果無法直接求導(dǎo)的話，對(duì)似然函數(shù)取對(duì)數(shù)；

求導(dǎo)數(shù)，令導(dǎo)數(shù)為0，得到似然方程；

解似然方程，得到的參數(shù)即為所求；

為什么要使用對(duì)數(shù)似然函數(shù)？

１．如果假設(shè)條件是獨(dú)立同分布，那么似然函數(shù)往往是連乘的形式，這樣子求偏導(dǎo)數(shù)，不容易；通過取對(duì)數(shù)的形式將連乘變?yōu)榍蠛?/p>

２．概率值是小數(shù)，多個(gè)連乘的情況下，容易造成下溢