摘要：我們對(duì)不等式兩邊分別取對(duì)數(shù)根據(jù)貝葉斯公式我們開(kāi)始假設(shè)過(guò)，兩個(gè)類別分別服從均值不等，方差相等的高斯分布，根據(jù)高斯分布的公式有高斯分布忽略常數(shù)項(xiàng)方差也是相等的是常熟，可以使用矩陣的表示。詳細(xì)推導(dǎo)對(duì)值取冪，以及等式取等號(hào)計(jì)算。

什么是邏輯回歸？
邏輯回歸就是這樣的一個(gè)過(guò)程：面對(duì)一個(gè)回歸或者分類問(wèn)題，建立代價(jià)函數(shù)，然后通過(guò)優(yōu)化方法迭代求解出最優(yōu)的模型參數(shù)，然后測(cè)試驗(yàn)證我們這個(gè)求解的模型的好壞。

Logistic 回歸雖然名字里帶“回歸”，但是它實(shí)際上是一種分類方法，主要用于兩分類問(wèn)題（即輸出只有兩種，分別代表兩個(gè)類別）

回歸模型中，y是一個(gè)定性變量，比如y=0或1，logistic方法主要應(yīng)用于研究某些事件發(fā)生的概率

概念解釋

它的表達(dá)式是:

$$ f(x) = frac{1}{1 + e^{- heta}} $$

$$ heta = WX + B $$

可以發(fā)現(xiàn)，經(jīng)過(guò)sigmoid函數(shù)轉(zhuǎn)換后, 輸出值是在[0, 1]之間，可以認(rèn)為輸出是概率，下面就來(lái)詳細(xì)的推導(dǎo)：

為了計(jì)算方便, 我們只討論二分類.

首先, 邏輯回歸進(jìn)行了一個(gè)假設(shè)，兩個(gè)類別都服從均值不同，方差相同(方便推導(dǎo))的高斯分布

$$ p(y|x=0) = mu(mu_0, sigma) $$

$$ p(y|x=1) = mu(mu_1, sigma) $$

高斯分布是比較容易處理的分布，根據(jù)中心極限定理也知道，最終會(huì)收斂于高斯分布。
從信息論的角度上看，當(dāng)均值和方差已知時(shí)（盡管你并不知道確切的均值和方差，但是根據(jù)概率論，當(dāng)樣本量足夠大時(shí)，樣本均值和方差以概率1趨向于均值和方差），高斯分布是熵最大的分布，為什么要熵最大？因?yàn)樽畲箪氐姆植伎梢云綌偰愕娘L(fēng)險(xiǎn)（同一個(gè)值會(huì)有兩個(gè)點(diǎn)可以取到, 不確定性很大），這就好比不要把雞蛋放到同一個(gè)籃子里，想想二分查找中，為什么每次都是選取中間點(diǎn)作為查找點(diǎn)？就是為了平攤風(fēng)險(xiǎn)（假設(shè)方差相等只是為了計(jì)算方便）。

風(fēng)險(xiǎn)

$$ Risk(y=0|x) = lambda_{00}P(y=0|x) + lambda_{01}P(y = 1|x) $$

$$ Risk(y=1|x) = lambda_{10}P(y=0|x) + lambda_{11}P(y = 1|x) $$

其中，$Risk(y=0|x)$是把樣本預(yù)測(cè)為0時(shí)的風(fēng)險(xiǎn)，$Risk(y=1|x)$是把樣本預(yù)測(cè)為1時(shí)的風(fēng)險(xiǎn)，
$λ_{ij}$是樣本實(shí)際標(biāo)簽為j時(shí)，卻把它預(yù)測(cè)為i是所帶來(lái)的風(fēng)險(xiǎn)。

我們認(rèn)為預(yù)測(cè)正確并不會(huì)帶來(lái)風(fēng)險(xiǎn)，因此$λ_{00}$和$λ_{11}$都為0，此外，我們認(rèn)為當(dāng)標(biāo)簽為0而預(yù)測(cè)為1 和 當(dāng)標(biāo)簽為1而預(yù)測(cè)為0，這兩者所帶來(lái)的風(fēng)險(xiǎn)是相等的，因此$λ_{10}$和$λ_{01}$相等，方便起見(jiàn)，我們記為λ。但在一些領(lǐng)域里，比如醫(yī)學(xué)、風(fēng)控等，這些λ在大多數(shù)情況下是不相等的，有時(shí)候我們會(huì)選擇“寧可錯(cuò)殺一一千也不能放過(guò)一個(gè)”;

那么我們簡(jiǎn)化后的表達(dá)式:

$$ Risk(y=0|x) = lambda P(y = 1|x) $$

$$ Risk(y=1|x) = lambda P(y=0|x) $$

根據(jù)最小化風(fēng)險(xiǎn)的原則，我們通常會(huì)選擇風(fēng)險(xiǎn)較小的。

比如:

$$ Risk(y=0|x) < Risk(y=1|x) $$

這就說(shuō)明了預(yù)測(cè)為第0類的風(fēng)險(xiǎn)小于預(yù)測(cè)為第1類的風(fēng)險(xiǎn)。

可以得到：

$$ frac{Risk(y=0|x)}{Risk(y=1|x)} < 1 $$

$$ frac{P(y = 1|x)}{P(y=0|x)} < 1 $$

就是說(shuō)明預(yù)測(cè)第1類的概率小于第0類的概率。

我們對(duì)不等式兩邊分別取對(duì)數(shù)

$$ logfrac{{P(y = 1|x)}}{{P(y=0|x)}} < 0 $$

根據(jù)貝葉斯公式：

$$ logfrac{P(x|y = 1)p(y=1)}{P(x|y=0)p(y=0)} < 0 $$

$$ logfrac{P(x|y = 1)}{P(x|y=0)} + logfrac{p(y=1)}{p(y=0)} < 0 $$

我們開(kāi)始假設(shè)過(guò)，兩個(gè)類別分別服從均值不等，方差相等的高斯分布，根據(jù)高斯分布的公式有：

高斯分布

$$ g(x) = frac{1}{2pisigma}e^{-frac{(x - mu)^2}{2sigma^2}} $$

忽略常數(shù)項(xiàng)（方差也是相等的）

$$ logfrac{P(x|y = 1)}{P(x|y=0)} + loge^{(frac{(x - mu_0)^2}{2sigma^2} - frac{(x - mu_1)^2}{2sigma^2})} $$

$$ logfrac{P(x|y = 1)}{P(x|y=0)} + (frac{(x - mu_0)^2}{2sigma^2} - frac{(x - mu_1)^2}{2sigma^2}) < 0 $$

$$ logfrac{P(x|y = 1)}{P(x|y=0)} < frac{(x - mu_1)^2}{2sigma^2} - frac{(x - mu_0)^2}{2sigma^2} $$

$$ logfrac{P(x|y = 1)}{P(x|y=0)} < frac{mu_0}{sigma^2}x - frac{mu_1}{sigma^2}x + C $$

C是常熟，可以使用矩陣的表示。

$$ logfrac{P(x|y = 1)}{P(x|y=0)} < heta{X} $$

詳細(xì)推導(dǎo)

對(duì)值取冪，以及等式取等號(hào)計(jì)算。

$$ frac{P(y=1|x)}{P(y=0|x)} = e^{ heta x} $$

$$ = frac{P(y=1|x)}{1 - P(y=1|x)} = e^{ heta x} $$

$$ = frac{1 - P(y=1|x)}{P(y=1|x)} = e^{- heta x} $$

$$ = frac{1}{P(y=1|x)} - 1 = e^{- heta x} $$

$$ = frac{1}{P(y=1|x)} = e^{- heta x} + 1 $$

$$ = P(y=1|x) = frac{1}{e^{- heta x} + 1} $$

電腦端查看完整代碼

——————————————————————————————————
Mo （網(wǎng)址：momodel.cn ）是一個(gè)支持 Python 的人工智能建模平臺(tái)，能幫助你快速開(kāi)發(fā)訓(xùn)練并部署 AI 應(yīng)用。期待你的加入。