Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---8、APP爬取相關(guān)庫的安裝：MitmProxy的安裝

Kerr1Gan 發(fā)布于2019-07-31 10:34 / 1085人閱讀

摘要：下的安裝的安裝非常簡單，使用即可，命令如下執(zhí)行命令后即可完成的安裝。另外還可以在端口上啟動，命令如下更多啟動方式可以參考的安裝說明。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---APP爬取相關(guān)庫的安裝：Charles的安裝
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝

MitmProxy 是一個支持 HTTP 和 HTTPS 的抓包程序，類似 Fiddler、Charles 的功能，只不過它是一個控制臺的形式操作。
同時 MitmProxy 還有兩個關(guān)聯(lián)組件，一個是 MitmDump，它是 MitmProxy 的命令行接口，利用它我們可以對接 Python 腳本，用 Python 實現(xiàn)監(jiān)聽后的處理。另一個是 MitmWeb，它是一個 Web 程序，通過它我們可以清楚地觀察到 MitmProxy 捕獲的請求。
本節(jié)我們來了解一下 MitmProxy、MitmDump、MitmWeb 的安裝方式。

1. 相關(guān)鏈接

GitHub：https://github.com/mitmproxy/...

官方網(wǎng)站：https://mitmproxy.org

PyPi：https://pypi.python.org/pypi/...

官方文檔：http://docs.mitmproxy.org

MitmDump腳本：http://docs.mitmproxy.org/en/...

下載地址：https://github.com/mitmproxy/...

DockerHub：https://hub.docker.com/r/mitm...

2. Pip安裝

最簡單的安裝方式還是使用 Pip，直接執(zhí)行如下命令即可安裝：

pip3 install mitmproxy

這是最簡單和通用的安裝方式，執(zhí)行完畢之后即可完成 MitmProxy的安裝，另外還安裝了MitmDump、MitmWeb 兩個組件，如果不想用此種方式安裝也可以選擇下文列出的專門針對各個平臺的安裝方式或者 Docker 安裝方式。

3. Mac下的安裝

Mac 的安裝非常簡單，使用 HomeBrew 即可，命令如下：

brew install mitmproxy

執(zhí)行命令后即可完成 MitmProxy 的安裝。

4. Docker安裝

MitmProxy 也支持 Docker，其 Docker Hub 的地址為https://hub.docker.com/r/mitm...
Docker 下 MitmProxy 的安裝命令為：

docker run --rm -it -p 8080:8080 mitmproxy/mitmproxy mitmdump

這樣就在 8080 端口上啟動了 MitmProxy 和 MitmDump。
如果想要獲取 CA 證書，可以選擇掛載磁盤選項，命令如下：

docker run --rm -it -v ~/.mitmproxy:/home/mitmproxy/.mitmproxy -p 8080:8080 mitmproxy/mitmproxy mitmdump

這樣可以在 ~/.mitmproxy 目錄找到 CA 證書。
另外還可以在 8081 端口上啟動 MitmWeb，命令如下：

docker run --rm -it -p 8080:8080 -p 127.0.0.1:8081:8081 mitmproxy/mitmproxy mitmweb

更多啟動方式可以參考 Docker Hub 的安裝說明。

5. 證書配置

對于 MitmProxy 來說，如果想要截獲 HTTPS 請求，我們就需要設(shè)置證書，MitmProxy 在安裝后會提供一套 CA 證書，只要客戶端信任了 MitmProxy 提供的證書，我們就可以通過 MitmProxy 獲取 HTTPS 請求的具體內(nèi)容，否則 MitmProxy 是無法解析 HTTPS 請求的。
首先運行一下命令產(chǎn)生 CA 證書，啟動 MitmDump 即可：
mitmdump
這樣即可啟動 MitmDump，接下來我們就可以在用戶目錄下的 .mitmproxy 目錄里面找到 CA 證書，如圖 1-61 所示：

圖 1-61 證書文件
證書一共五個，下面是對這五個證書的說明：

下面我們介紹一下 Mac、iOS、Android 平臺下的證書配置過程。

Mac

Mac 下雙擊 mitmproxy-ca-cert.pem 即可彈出鑰匙串管理頁面，然后找到 mitmproxy 證書，點擊打開其設(shè)置選項，選擇始終信任即可，如圖 1-66 所示：

圖 1-66 證書配置
這樣就配置完成 Mac 下信任 CA 證書了。

iOS

將 mitmproxy-ca-cert.pem 文件發(fā)送到 iPhone 上，推薦使用郵件的方式發(fā)送，iPhone 上可以直接點擊附件并識別安裝，如圖 1-67 所示：

圖 1-67 證書安裝頁面
點擊之后會跳到安裝描述文件的頁面，點擊右上角的安裝按鈕即可安裝，此處會有警告提示，如圖 1-68 所示：

圖 1-68 安裝警告頁面
繼續(xù)點擊右上角的安裝即可，安裝成功之后會有已安裝的提示，如圖 1-69 所示：

如果你的 iOS 版本是 10.3 以下的話，此處信任 CA 證書的流程就已經(jīng)完成了。
如果你的 iOS 版本是 10.3 及以上，還需要在設(shè)置->通用->關(guān)于本機->證書信任設(shè)置將證書添加完全信任，如圖 1-70 所示：

圖 1-70 證書信任設(shè)置
在這里將 MitmProxy 的完全信任開關(guān)打開即可。
這樣 iOS 上配置信任 CA 證書的流程就結(jié)束了。
Android
Android 手機同樣需要將證書 mitmproxy-ca-cert.pem 文件發(fā)送到手機上，例如直接拷貝文件。
接下來點擊證書便會出現(xiàn)一個提示窗口，如圖 1-71 所示：

圖 1-71 證書安裝頁面
這時輸入證書的名稱，然后點擊確定即可完成安裝。

6. 結(jié)語

本節(jié)我們了解了 MitmProxy、MitmDump、MitmWeb 的安裝方式，在后文我們會用它來進行 APP 數(shù)據(jù)的抓取。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---APP爬取相關(guān)庫的安裝：Charles的安裝
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝