Python一些列安裝

vslam 發(fā)布于2019-07-25 11:33 / 1232人閱讀

摘要：系列安裝報(bào)錯(cuò)結(jié)果一樣的錯(cuò)解決方法成功了過(guò)擬合當(dāng)你觀察訓(xùn)練精度高但檢測(cè)精度低很可能你遇到過(guò)度擬合問(wèn)題。正如其名，它是的一個(gè)實(shí)現(xiàn)，作者為正在華盛頓大學(xué)研究機(jī)器學(xué)習(xí)的大牛陳天奇。為了方便大家使用，陳天奇將封裝成了庫(kù)。

xgboost系列

ubuntu14.04 安裝

pip install xgboost

報(bào)錯(cuò)

sudo apt-get update

結(jié)果一樣的錯(cuò)

解決方法：

sudo -H pip install --pre xgboost

Successfully installed xgboost
Cleaning up...

成功了！

過(guò)擬合
當(dāng)你觀察訓(xùn)練精度高,但檢測(cè)精度低,很可能你遇到過(guò)度擬合問(wèn)題。

xgboost是速度快效果好的boosting模型。
Boosting分類器屬于集成學(xué)習(xí)模型，基本思想是把成百上千個(gè)分類準(zhǔn)確率較低的樹(shù)模型組合起來(lái)，成為一個(gè)準(zhǔn)確率很高的模型。這個(gè)模型會(huì)不斷地迭代，每次迭代就生成一顆新的樹(shù)。對(duì)于如何在每一步生成合理的樹(shù)，大家提出了很多的方法，我們這里簡(jiǎn)要介紹由Friedman提出的Gradient Boosting Machine。它在生成每一棵樹(shù)的時(shí)候采用梯度下降的思想，以之前生成的所有樹(shù)為基礎(chǔ)，向著最小化給定目標(biāo)函數(shù)的方向多走一步。在合理的參數(shù)設(shè)置下，我們往往要生成一定數(shù)量的樹(shù)才能達(dá)到令人滿意的準(zhǔn)確率。在數(shù)據(jù)集較大較復(fù)雜的時(shí)候，我們可能需要幾千次迭代運(yùn)算，如果生成一個(gè)樹(shù)模型需要幾秒鐘，那么這么多迭代的運(yùn)算耗時(shí)，應(yīng)該能讓你專心地想靜靜……

現(xiàn)在，我們希望能通過(guò)xgboost工具更好地解決這個(gè)問(wèn)題。xgboost的全稱是eXtreme Gradient Boosting。正如其名，它是Gradient Boosting Machine的一個(gè)c++實(shí)現(xiàn)，作者為正在華盛頓大學(xué)研究機(jī)器學(xué)習(xí)的大牛陳天奇。他在研究中深感自己受制于現(xiàn)有庫(kù)的計(jì)算速度和精度，因此在一年前開(kāi)始著手搭建xgboost項(xiàng)目，并在去年夏天逐漸成型。xgboost最大的特點(diǎn)在于，它能夠自動(dòng)利用CPU的多線程進(jìn)行并行，同時(shí)在算法上加以改進(jìn)提高了精度。它的處女秀是Kaggle的希格斯子信號(hào)識(shí)別競(jìng)賽，因?yàn)槌霰姷男逝c較高的預(yù)測(cè)準(zhǔn)確度在比賽論壇中引起了參賽選手的廣泛關(guān)注，在1700多支隊(duì)伍的激烈競(jìng)爭(zhēng)中占有一席之地。隨著它在Kaggle社區(qū)知名度的提高，最近也有隊(duì)伍借助xgboost在比賽中奪得第一。

為了方便大家使用，陳天奇將xgboost封裝成了python庫(kù)。我有幸和他合作，制作了xgboost工具的R語(yǔ)言接口，并將其提交到了CRAN上。也有用戶將其封裝成了julia庫(kù)。python和R接口的功能一直在不斷更新，大家可以通過(guò)下文了解大致的功能，然后選擇自己最熟悉的語(yǔ)言進(jìn)行學(xué)習(xí)。

Ipython notebook 使用

命令行直接輸入