摘要：受到其他同行在上討論更好經驗的激勵，我決定買一個專用的深度學習盒子放在家里。下面是我的選擇從選擇配件到基準測試。即便是深度學習的較佳選擇，同樣也很重要。安裝大多數深度學習框架是首先基于系統開發，然后逐漸擴展到支持其他操作系統。

在用了十年的 MacBook Airs 和云服務以后，我現在要搭建一個（筆記本）桌面了

幾年時間里我都在用越來越薄的 MacBooks 來搭載一個瘦客戶端（thin client），并已經覺得習以為常了。所以當我涉入深度學習（DL）領域后，我毫不猶豫的選擇了當時的 Amazon P2 云服務。該云服務不需要預付成本，能同時訓練很多個模型，并且還能讓一個機器學習模型慢慢地訓練自己。

但隨著時間推移，AWS（亞馬遜云服務）的賬單逐漸越堆越高，即便我換成了便宜十倍的 Spot instances 也沒用。而且我也沒有同時訓練過多個模型。在模型訓練的時候，我會去吃午飯，鍛煉等等，然后帶著一個更清晰的頭腦回來查看它。

但最終我模型的復雜度增加了，訓練時間也變得更長。對一個剛完成兩天訓練的模型，我經常會忘記之前對它進行了哪些不同的操作。受到其他同行在 Fast.AI Forum 上討論更好經驗的激勵，我決定買一個專用的深度學習盒子（DL box）放在家里。

最重要的原因就是能在進行模型的原型設計時節省時間，如果我們能訓練地更快，反饋時間也會更短。這能讓我們更容易的在頭腦中建立起模型假設和結果之間的聯系。

而且我也想省錢，我之前用的是亞馬遜網絡服務（AWS），它通過 Nvidia K80 的 GPU 來提供 P2 instances。最近 AWS 的費用達到了每月 60 到 70 美元，還有增長的趨勢。并且要儲存大型數據集也很貴，比如 ImageNet 這樣的。

最后一點，我已經有 10 年沒有一個（筆記本的）桌面了，想看看現在有什么變化（這里劇透一下：基本上沒變化）。

下面是我的選擇：從選擇配件到基準測試。

目錄

1. 選擇配件

2. 把它們組裝在一起

3. 軟件設置

4. 基準測試

選擇配件

對我來說合理的預算是兩年云計算服務的成本。以我目前的情況來看，即 AWS 每月 70 美元的使用費，那么總預算應該在 1700 美元左右。

PC Part Picker 這個網站非常有幫助，可以幫你發現是否某些配件放在一起并不好用。

你可以在這里查看所有使用過的配件：https://pcpartpicker.com/list/T6wHjc

GPU

GPU 是整個機箱里最關鍵的部件了。它訓練深度網絡的速度更快，從而縮短反饋循環（的周期）。

GPU 很重要是因為：a) 深度學習中絕大部分計算都是矩陣運算，比如矩陣乘法之類。而用 CPU 進行這類運算就會很慢。b）當我們在一個典型的神經網絡中進行成千上萬個矩陣運算時，這種延遲就會累加（我們也會在后面的基準訓練部分看到這一點）。而另一方面，GPU 就更方便了，因為能并行的運行所有這些運算。他們有很多個內核，能運行的線程數量則更多。GPU 還有更高的存儲帶寬，這能讓它們同時在一群數據上進行這些并行計算。

我在幾個 Nvidia 的芯片之間選擇：GTX 1070 (360 美元), GTX 1080 (500 美元), GTX 1080 Ti (700 美元)，以及 Titan X（1320 美元）。

在性能方面，GTX 1080 Ti 和 Titan X 較接近，粗略來看 GTX 1080 大約比 GTX 1070 快了 25%，而 GTX 1080 Ti 則比 GTX 1080 快樂 30% 左右。

Tim Dettmers 有一篇更好的關于選擇深度學習 GPU 的文章，而且他還經常會在新的芯片上市后更新博文：http://timdettmers.com/2017/04/09/which-gpu-for-deep-learning/

下面是選購 GPU 時需要考慮的事情：

品牌：這里沒什么可說的，選 Nvidia 就對了。它們已經專注于機器學習很多年了，并且取得了成果。他們的統一計算設備架構（CUDA）工具包在這個領域里有著不可撼動的地位，所以它真的是深度學習從業者的選擇。

預算：Titan X 在這方面真的沒有任何優勢，因為它比同樣性能的 1080 Ti 貴了 500 多美元。

一個還是多個：我考慮過用一堆 1070s 去替代（單個）1080 或 1080 Ti。這能讓我在兩個芯片上訓練一個模型，或同時訓練兩個模型。目前在多個芯片上訓練一個模型還有點麻煩，不過現在有所轉機，因為 PyTorch 和 Caffe 2 提供了隨著 GPU 數量幾乎成線性提升的訓練規模。另一個選擇—同時訓練兩個模型似乎更有價值，但我決定現在先用一個強大的核心，以后再添加另一個。

內存：內存越大當然就越好了。更多的存儲空間能讓我們部署更大的模型，并且在訓練時使用足夠大的批量大?。ㄟ@會對梯度流很有幫助）。

存儲帶寬：這能讓 GPU 在更大的內存上運行。Tim Dettmers 指出這對于一個 GPU 來說是最重要的指標。

考慮到所有這些，我選擇了 GTX 1080 Ti，主要是考慮到訓練速度的激增。我計劃很快再增加一個 1080 Ti。

CPU

即便 GPU 是深度學習的較佳選擇，CPU 同樣也很重要。比如說數據預處理通常都是在 CPU 上進行的。如果我們想把所有的數據提前并行，核的數量和每個核的線程數就非常重要了。

為了不偏離預算，我選擇了一個中等程度的 CPU，Intel i5 7500，價格大概在 190 美元。相對來說挺便宜，但也足夠保證不拖慢速度。

內存（RAM）

如果我們要在一個較大數據集上工作，當然錢多好辦事，內存總是多多益善的。我買了兩根 16 GB 的內存條，也就是以 230 美元的價格買下了總共 32 GB 的 RAM，而且打算以后再買 32 GB 的。

硬盤

遵循了 Jeremy Howard 的建議，我買了一個固態硬盤（SSD）搭載我的操作系統和現有的數據，還有一個慢轉硬盤驅動器（HDD）來存儲那些大型數據集（比如 ImageNet）。

SSD：我記得多年前買到第一部 Macbook Air 時，是如何驚嘆于它的固態硬盤速度的。讓我高興的事，與此同時，叫做 NVMe 的新一代固態硬盤上市了。230 美元買到一個 480 GB 的 MyDigitalSSDNVMe 驅動真的很值。這個寶貝能以每秒千兆字節的速度拷貝數據。

HDD: 66 美元 2 TB。在 SSD 越來越快的同時，HDD 變得更便宜了。對一個用了 7 年 128 GB 的 Macbook 的人來說，有如此大容量的硬盤簡直是太棒了。

主板

有一件我一直很關心的事，就是挑選一塊能支持兩塊 GTX 1080 Ti 的主板，兩個都在串行總線（PCI Express Lanes）的數量上（最小的是 2x8），并且有能放下兩個芯片的物理空間。還要確保它跟選好的 CPU 兼容。最后一個 130 美元的 Asus TUF Z270 主板幫我做到了這一點。

電源

經驗法則：它應該能為 CPU 和 GPU 提供足夠的能量，再加上外的 100 瓦。

Intel i5 7500 處理器的能耗是 65W，每個 GPU (1080 Ti) 需要 250W，所以我用 75 美元買了一個 Deepcool 750W Gold 電源供應單元（PSU）。這里的「Gold」指的是電源效率（power efficiency），即它以熱量的形式損耗了多大的功率。

機箱

機箱應該跟母板有相同的形狀系數。如果也能有足夠的 LED 來防止過熱就更好了。

一個朋友推薦了 Thermaltake N23 機箱，價格 50 美元，我馬上就買了下來。可惜沒有 LED。

組裝派對就要開始了

組裝

如果你沒有太多的硬件經驗，并害怕弄壞某些部件，較好是找專業人士來組裝。然而，這可是我無法錯過的學習機會?。磿r我已經分享過此前操作硬件的悲慘經歷了）。

第一步也是很重要的一步就是 閱讀說明手冊，每個配件都會有一個手冊。這對我尤其重要，因為我已經做過一兩次組裝了，正好處于那種經驗不足容易搞砸事情的階段。

主板上的示意圖

在主板上安裝 CPU

CPU 放在了它的卡槽里，但杠桿拉不下去。

這一步要在把母板放入機箱之前完成。處理器旁邊有一個杠桿，需要提起來。這時候處理器就放在了底座上（這里要檢查兩次朝向是否正確）。最終杠桿會放下把 CPU 固定住。

我在安裝 CPU 時獲得了幫助

但我進行這一步的時候很困難，一旦 CPU 放在了位置上，杠桿卻無法下降。我其實是讓一個更懂硬件的朋友通過視頻通話指導我完成的。結果發現把杠桿拉下去需要的力量超過了我預期的程度。

安裝好的風扇

下一步就要把風扇固定在 CPU 的頂部：風扇的腳柱必須用螺絲旋緊到母板上。還要在安裝前考慮到把風扇的電線放在哪里。我買的處理器帶有熱熔膠。如果你的沒有，要確保在 CPU 和冷卻單元之間加一些膠。如果你把風扇拿下來了，也要把膠更換掉。

在機箱里安裝電源

穿過背面固定電源線

我把電源供應單元（PSU）放在了主板的前方，讓電源線緊密的貼在機箱背側。

在機箱里安裝主板

這一步非常簡單直接，小心地放進去然后擰緊。一個磁性的螺絲刀是非常有幫助的。

然后連接電源線和機箱按鍵以及 LED。

安裝 NVMe 盤

把他放到 M2 槽里再擰緊就好了。小菜一碟。

安裝 RAM

在我費力的把 RAM 裝到基底上時，GTX 1080 Ti 靜靜的躺在那里等著輪到它。

結果我發現內存條非常難裝，需要花很多功夫把它正確的固定住。有幾次我差點就放棄了，想著我肯定做的不對。最終有一個齒對上了，其他齒很快也跟著進去了。

這時候我打開了電腦，以確保它能工作。讓我興奮的是，它正常啟動了！

安裝 GPU

GTX 1080 Ti 放入主板

終于，GPU 毫不費力的就滑了進去。14 個引腳提供的電能讓它運行了起來。

注意：不要立刻就把你的顯示器插入多余的卡槽。絕大部分情況下它需要驅動來運行（詳見下面的部分）。

終于，它完成了！

軟件設置

現在硬件設備已經就緒，我們不再需要螺絲刀，而是鍵盤來設置相應的軟件環境。

雙系統注意事項：如果你打算安裝 Windows 操作系統（出于基準測試的考慮，完全不是為了打游戲），那么請先安裝 Windows 再安裝 Linux。如果先裝的 Linux，那么不但用不上雙系統，還得重裝 Ubuntu，因為 Windows 把啟動分區弄亂了。

安裝 Ubuntu

大多數深度學習框架是首先基于 Linux 系統開發，然后逐漸擴展到支持其他操作系統。所以我選擇了 Ubuntu，默認的 Linux 系統發行版。一個老掉牙的 2G 的 USB 驅動盤對于系統安裝來說也還挺好使的。UNetbootin (OSX) 或者 Rufus (Windows）都可用于制作 Linux 的閃盤驅動。在 Ubuntu 的安裝過程中，一路默認選項到底都工作正常，沒出什么問題。

寫這篇文章的時候 Ubuntu 17.04 剛剛發行，我仍然使用的是上一個版本（16.04），而且網上也可以找到該版本很全面的快速入門手冊。

Ubuntu 服務器或者桌面版本：Ubuntu 服務器版本和桌面版本幾乎完全相同，只是服務器版本未安裝可視化界面（簡稱 X)。我安裝了桌面版本并禁用了自啟動 X, 以便計算機可以在終端啟動 X。如有需要，還可以稍后通過鍵入 startx 來啟動可視化桌面。

更新

現在讓我們把系統更新到版本。這里用的是 Jeremy Howard 寫的一個超級棒的 install-gpu 指令：

sudo apt-get update

sudo apt-get --assume-yes upgrade

sudo apt-get --assume-yes install tmux build-essential gcc g++ make binutils

sudo apt-get --assume-yes install software-properties-common

sudo apt-get --assume-yes install git

深度學習利器

為了使我們的計算機得到較大限度的深度學習使用，我們需要一系列技術來開發利用我們的 GPU:

GPU 驅動程序—操作系統與顯卡的交互手段

CUDA—允許我們在 GPU 上運行通用代碼

CuDNN—在 CUDA 之上提供常規的深度神經網絡程序

深度學習框架—Tensorflow、PyTorch、 Theano 等等。有了這些學習框架，深度神經網絡就像搭積木一樣，簡直簡單太多了。

安裝 CUDA?

從 Nvidia 下載 CUDA, 或者直接運行如下指令：

wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_8.0.61-1_amd64.deb

sudo dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb

sudo apt-get update

sudo apt-get install cuda

安裝完畢之后，運行如下指令為 CUDA 添加到路徑變量：

cat >> ~/.tmp << "EOF"

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64

${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

EOF

source ~/.bashrc

運行如下指令測試 CUDA 是否安裝成功：

nvcc --version # Checks CUDA version

nvidia-smi # Info about the detected GPUs

顯卡驅動程序的安裝指令如下。對于我的機器來說，nvidia-smi 用 ERR 作為設備名稱，所以我安裝了版本的 Nvidia 驅動（本文寫作之時剛解決這個問題）:

wget http://us.download.nvidia.com/XFree86/Linux-x86_64/378.13/NVIDIA-Linux-x86_64-378.13.run

sudo sh NVIDIA-Linux-x86_64-375.39.run

sudo reboot

移除 CUDA/Nvidia 驅動

如果出于某種原因或者 CUDA 看起來壞掉了（我碰到過很多次這樣的情況），那我們可以運行如下指令進行重裝：

sudo apt-get remove --purge nvidia*

sudo apt-get autoremove

sudo reboot

CuDNN

由于目前的 Tensorflow 版本尚不支持 CuDNN 6, 所以我安裝的是 CuDNN 5.1 版本。要下載 CuDNN，首先需要注冊一個免費的開發者賬戶。下載完畢后，安裝操作如下：

tar -xzf cudnn-8.0-linux-x64-v5.1.tgz

cd cuda

sudo cp lib64/* /usr/local/cuda/lib64/

sudo cp include/* /usr/local/cuda/include/

Anaconda

Anaconda 是一個非常強大的 Python 包與環境管理工具。我的 Python 版本已經是 3.6，所以使用了 Anaconda 3 版本。其安裝指令如下：

wget https://repo.continuum.io/archive/Anaconda3-4.3.1-Linux-x86_64.sh -O「anaconda-install.sh」

bash anaconda-install.sh -b

cat >> ~/.bashrc << "EOF"

export PATH=$HOME/anaconda3/bin:${PATH}

EOF

source .bashrc

conda upgrade -y --all

source activate root

TensoFlow

Tensorflow 是 Google 開源的一款非常流行的深度學習框架，安裝方法如下：

sudo apt install python3-pip

pip install tensorflow-gpu

驗證 Tensorflow 的安裝：為保證我們的一系列工具能夠順暢地運行，我運行 Tensorflow 的 MNIST 數據做測試：

git clone https://github.com/tensorflow/tensorflow.git

python tensorflow/tensorflow/examples/tutorials/mnist/fully_connected_feed.py

我們可以看到，在訓練過程中損失也是在下降的：

Step 0: loss = 2.32 (0.139 sec)

Step 100: loss = 2.19 (0.001 sec)

Step 200: loss = 1.87 (0.001 sec)

Keras

Keras 是一款高級的神經網絡框架，非常友好的工作利器。它的安裝也是再簡單不過了：

pip install keras

PyTorch

PyTorch 是深度學習框架領域的后來者，但它的 API 是基于非常成熟的 Torch。PyTorch 雖然仍然處在需要繼續試用的階段，但總的來說它給人全新的感受，非常出色。安裝指令如下：

conda install pytorch torchvision cuda80 -c soumith

Jupyter 筆記本

Jupyter 是一個基于網頁的 IDE，適用于 Python。它是一款理想的數據科學任務處理工具，可以通過 Anaconda 安裝，所以我們只需簡單地配置并測試：

# Create a ~/.jupyter/jupyter_notebook_config.py with settings

jupyter notebook --generate-config

jupyter notebook --port=8888 --NotebookApp.token="" # Start it

現在我們只需在瀏覽器鍵入 http://localhost:8888，就可以見到 Jupyter 界面。

啟動時運行 Jupyter

與其在電腦每次重啟時多帶帶運行 Jupyter，我們可以將其設置成啟動時自動運行。使用 crontab -e 命令來完成這項操作，然后在 crontab 文件的最后一行添加指令如下：

# Replace "path-to-jupyter" with the actual path to the jupyter

# installation (run "which jupyter" if you don"t know it). Also

# "path-to-dir" should be the dir where your deep learning notebooks?

# would reside (I use ~/DL/).

@reboot (http://twitter.com/reboot) path-to-jupyter ipython notebook --no-browser --port=8888 --NotebookApp.token="" --notebook-dir path-to-dir &

外部訪問

我用的是一臺雖然舊但是完全可靠的 MacBook Air 來做開發，我希望能在家登錄到這個深度學習網絡。

使用 SSH 比簡單地使用密碼更為安全。關于如何設置可以參考 Digital Ocean 提供的指南：https://www.digitalocean.com/community/tutorials/how-to-set-up-ssh-keys--2

SSH 通道：如果你希望在另外一臺電腦上使用你的 Jupyter 筆記本，推薦使用 SSH 通道（以取代用密碼來打開筆記本）。讓我們來看看具體該怎么做：

首先我們需要一個 SSH 服務器。我們只需在深度學習盒子（服務器）上運行如下指令即可安裝 SSH：

sudo apt-get install openssh-server

sudo service ssh status

然后在客戶端運行以下腳本來連接 SSH 通道：

# Replace user@host with your server user and ip.

ssh -N -f -L localhost:8888:localhost:8888 user@host

在遠程機器上打開瀏覽器，鍵入 http://localhost:8888 進行測試，這時候屏幕上應該可以出現你的 Jupyter 筆記本了。

設置網絡外訪問：最后，需要從外部訪問深度學習網絡，我們需要三個步驟：

你的家庭網絡的靜態 IP (或者一個可用于模擬的服務器）—以便我們可以知道將要聯通的地址。

一個手動 IP 或者 DHCP 保留設置，這樣可以將深度學習所在的服務器地址設置為你家庭網絡的永久地址。

從路由器到深度學習盒子的端口轉發。

外部網絡的訪問權限取決于路由器以及網絡的設置，所以我在此不做贅述。

基準測試

現在一切都運行順暢，我們可以用這個新盒子來做些測試了。我會把這套新組裝成的系統與 AWS P2 來做比較，AWS P2 是我之前使用的深度學習系統。由于我們的測試都跟計算機視覺有關，這意味著得使用卷積網絡和一個全連接模型。我們分別用 AWS P2 GPU(K80) 、AWS P2 CPU、GTX1080 Ti 以及 Intel I5 來訓練模型，并比較其各自的運行時間。

MNIST 多層感知機

計算機視覺領域的"hello world"—MNIST 數據庫，收集了 70，000 個手寫的數字。我們運行 Keras 中的多層感知機 (MLP) 來處理 MNIST 數據庫。多次感知機只需全連接層而不用卷積。該模型將數據訓練了 20 個 epoch 之后，準確率達到了 98%。

訓練該模型時，GTX 1080 Ti 比 AWS P2 的 K80 要快 2.4 倍。這是讓人感到驚訝的結果，因為通常說來這二者的表現應該差不多。我認為原因可能出在 AWS K80 的虛擬化或者降頻問題上。

CPU 運行起來比 GPU 慢 9 倍之多。所有實驗結束后我們可知，這其實對處理器來說已經是一個很好的結果了。因為此類簡單模型還不能充分發揮出 GPU 并行運算的能力。

有意思的是，臺式機 Intel i5-7500 在 Amazon 的虛擬 CPU 上實現了 2.3 倍的加速。

VGG（Visual Geometry Group）調參

VGG 網絡將被用于 Kaggle 舉辦的貓狗辨識比賽。這個比賽旨在辨識出給定圖片是貓還是狗。在 GPU 上運行相同批次（batches）數量的模型不太可行。所以我們在 GPU 上運行 390 批次（1 epoch），在 CPU 上運行 10 個批次。代碼可以在 GitHub 上找到：https://github.com/slavivanov/cats_dogs_kaggle

1080 Ti 比 AWS GPU(K80) 快了 5.5 倍。這應該與上一個實驗結果（i5 快 2.6 倍）有類似的原因。然而 CPU 對于該任務來說根本不適用，因為相較于 GPU, 運行這種包括了 16 層卷積層和一對 semi-wide（4098）全連接層的大型模型，CPU 得花 200 多倍的時間。

Wasserstein GAN

GAN（生成對抗網絡）是一種訓練模型使其生成圖片的方法。其原理是將兩種網絡結構放在一起相互對抗：其生成器將學習生成越來越高質量的圖片，而辨別器則會嘗試辨別出哪些圖片是真實的哪些是由生成其「偽造」出來的。

Wasserstein GAN 是經典生成對抗網絡的升級。我們用 PyTorch 來實現這一模型，該實現和 WGAN 作者所完成的很像。模型訓練了 50 步，幾乎每一步都有損失，這是 GAN 網絡模型的普遍情況。通常并不考慮使用 CPU 來完成。

GTX 1080Ti 比 AWS P2 K80 快了 5.5 倍，這樣的結果與之前的實驗結果是一致的。

風格遷移

最后一個基準測試是源自一篇關于圖片風格轉換器的論文（Gateys et al.），使用的是 Tensorflow。風格轉換是一種圖片處理技術，它能將某一張圖片（比如一幅畫）的風格與另一張圖片的內容相結合，從而生成新的圖片。它分離和重組任意圖像的內容和樣式，為藝術圖像的創建提供了一種新算法。

GTX 1080Ti 比 AWS P2 K80 快了 4.3 倍。這次 CPU 比 GPU 慢了 30-50 倍，已經比在 VGG 任務中的表現好多了，但仍然比 MNIST 多層感知機實驗結果慢。該模型主要使用 VGG 網絡中的較初級的層級，我懷疑這樣淺層的網絡無法充分利用 GPU。

以上就是這一次搭建的深度學習盒子的基準測試，我不知道從 AWS 轉入到自建服務器到底是好還是壞，但時間會告訴我們一切！

原文地址：https://blog.slavv.com/the-1700-great-deep-learning-box-assembly-setup-and-benchmarks-148c5ebe6415

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754