資訊專欄INFORMATION COLUMN
摘要：分類問(wèn)題回到本系列的第一篇文章機(jī)器學(xué)習(xí)從入門到放棄之算法，在里面有這樣的一個(gè)問(wèn)題黃點(diǎn)代表類電影的分布，綠色代表類電影的分布，紫色代表需要分類的電影樣本。
分類問(wèn)題
回到本系列的第一篇文章機(jī)器學(xué)習(xí)從入門到放棄之KNN算法，在里面有這樣的一個(gè)問(wèn)題
黃點(diǎn)代表1類電影的分布，綠色代表0類電影的分布，紫色代表需要分類的電影樣本。
那么該怎么判別紫色的那顆點(diǎn)所在的類別呢？
之前給出的是KNN算法，通過(guò)計(jì)算紫色點(diǎn)都周邊的劇場(chǎng)的長(zhǎng)短，來(lái)判斷紫色點(diǎn)屬于哪個(gè)類別。現(xiàn)在有這樣一種極端情況，黃點(diǎn)和綠點(diǎn)在紫點(diǎn)周圍呈圓周分布，距離一樣，咋辦？
圖畫得不是太好，大家理會(huì)我的意思就行。
在這種情況，假如像下圖這樣的情況，就容易處理得多了。
紅線的下方是黃色種類，上方時(shí)綠色種類。
這種情況我們稱之為線性分類，關(guān)于如何擬合出這條線程函數(shù)下面會(huì)講述。現(xiàn)在先來(lái)說(shuō)說(shuō)，既然這叫線性分類，那么必然會(huì)有非線性的情況啊，那咋辦呢？
沒(méi)錯(cuò)，如果特征可以被線性函數(shù)全部表達(dá)，這自然是理想情況，但實(shí)際問(wèn)題中更多的非線性分類。
這時(shí)，我們需要將線性函數(shù)轉(zhuǎn)換為非線性函數(shù)。那怎么轉(zhuǎn)換呢，很簡(jiǎn)單，將線性函數(shù)（假設(shè)叫z），扔到某一非線性函數(shù)f(x)內(nèi)，得到新的表達(dá)式y = f(z),就是我們所需的非線性分類器了，而f(x)也就作激活函數(shù)，它有很多種，本文只介紹邏輯回歸所使用到的sigmoid函數(shù)，其表達(dá)式是
其圖像有一個(gè)漂亮的S型
可見(jiàn)在x的取值范圍足夠大的時(shí)候，其從0變1的過(guò)程可以忽略不計(jì)，因此，我們習(xí)慣的把>0.5歸為1類，<0.5歸為0類，那么恰好是0.5怎么辦？這個(gè)概率是極低的，如果真的是0.5，那就隨機(jī)歸類，然后出門買張彩票吧，說(shuō)不定就不用繼續(xù)當(dāng)程序員了。 (/≥▽≤/)
算法介紹上面函數(shù)圖像引用云深不知處的博客
回到表達(dá)式上，可知函數(shù)的變量是z其余都是常量，所要要求解該分類函數(shù)的值，就是要確定z的值而z是線性方程，基本的數(shù)學(xué)知識(shí)不難知道，
$$z=a1x1+a2x2……an*xn$$
其中[x1……xn]是輸入向量，所以訓(xùn)練的過(guò)程就是確定于[a1,a2……an]的值，使得該表達(dá)式對(duì)于多個(gè)輸入向量的輸出值正確率最高。
下面開始講述求最佳的[a1,a2……an]的方法
顯然，我們可以設(shè)計(jì)一個(gè)函數(shù)來(lái)衡量[a1,a2……an]是否最佳，比如說(shuō)這樣的
$$J(a) = sum_{n=0}(f_a(xi)-y)^2$$
顯然當(dāng)J(a)達(dá)到最小值時(shí),a的值最佳。方法如下，
初始化weight,可以使用隨機(jī)值
代入式子得到err = y - predict
weight = weight + alpha * error * x_train[i],其中alpha稱為學(xué)習(xí)速率，太小會(huì)影響函數(shù)的收斂速度，太大剛才就不收斂了。
為了解決上述問(wèn)題，在《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)中》使用了動(dòng)態(tài)更新alpha的方法，式子為alpha = 4/(1+i)+0.01
上述修改weight的過(guò)程稱為梯度下降法，其中我故意略去了數(shù)學(xué)證明部分，需要的同學(xué)請(qǐng)自行查找專業(yè)資料。
代碼實(shí)現(xiàn)github
文章描述如有錯(cuò)誤，歡迎指正。
關(guān)注我我的個(gè)人公眾號(hào)開啟啦，微信公眾號(hào)搜索肥兔子的碎碎語(yǔ)，你能查看到更多學(xué)習(xí)心得的分享噢⊙ω⊙。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/38073.html
摘要：總言言之，決策樹第一個(gè)是需要從大量的已存在的樣本中推出可供做決策的規(guī)則，同時(shí)，這個(gè)規(guī)則應(yīng)該避免做無(wú)謂的損耗。算法原理構(gòu)造決策樹的關(guān)鍵步驟是分裂屬性。這時(shí)分裂屬性可能會(huì)遇到三種不同的情況對(duì)離散值生成非二叉決策樹。對(duì)離散值生成二叉決策樹。 算法背景 決策樹故名思意是用于基于條件來(lái)做決策的，而它運(yùn)行的邏輯相比一些復(fù)雜的算法更容易理解，只需按條件遍歷樹就可以了，需要花點(diǎn)心思的是理解如何建立決策...
摘要：在這里我分享下我個(gè)人入門機(jī)器學(xué)習(xí)的經(jīng)歷，希望能對(duì)大家能有所幫助。相關(guān)學(xué)習(xí)鏈接，，入門后的體驗(yàn)在入門了機(jī)器學(xué)習(xí)之后，在實(shí)際工作中，絕大多數(shù)的情況下你并不需要去創(chuàng)造一個(gè)新的算法。 機(jī)器學(xué)習(xí)在很多眼里就是香餑餑，因?yàn)闄C(jī)器學(xué)習(xí)相關(guān)的崗位在當(dāng)前市場(chǎng)待遇不錯(cuò)，但同時(shí)機(jī)器學(xué)習(xí)在很多人面前又是一座大山，因?yàn)榘l(fā)現(xiàn)它太難學(xué)了。在這里我分享下我個(gè)人入門機(jī)器學(xué)習(xí)的經(jīng)歷，希望能對(duì)大家能有所幫助。 PS：這篇文章...
閱讀 2310·2023-04-26 00:01
閱讀 805·2021-10-27 14:13
閱讀 1835·2021-09-02 15:11
閱讀 3389·2019-08-29 12:52
閱讀 538·2019-08-26 12:00
閱讀 2573·2019-08-26 10:57
閱讀 3413·2019-08-26 10:32
閱讀 2855·2019-08-23 18:29
