資訊專欄INFORMATION COLUMN
摘要：點擊，即可進入證書的安裝頁面。上一篇文章網絡爬蟲實戰庫的安裝下一篇文章網絡爬蟲實戰爬取相關庫的安裝的安裝
上一篇文章：Python3網絡爬蟲實戰---6、Web庫的安裝：Flask、Tornado
下一篇文章：Python3網絡爬蟲實戰---8、APP爬取相關庫的安裝：MitmProxy的安裝
除了 Web 網頁，爬蟲也可以對 APP 的數據進行抓取，APP 中的頁面要加載出來，首先需要獲取數據，那么這些數據一般是通過請求服務器的接口來獲取的，由于 APP 端沒有像瀏覽器一樣的開發者工具直接比較直觀地看到后臺的請求，所以對 APP 來說，它的數據抓取主要用到一些抓包技術。
本書介紹的抓包工具有 Charles、MitmProxy、MitmDump，APP 一些簡單的接口我們通過 Charles 或 MitmProxy 分析找出規律就可以直接用程序模擬來抓取了，但是如果遇到更復雜的接口我們就需要利用 MitmDump 對接Python來對抓取到的請求和響應進行實時處理和保存，另外既然要做規模采集就需要自動化 APP 的操作而不是人工去采集，所以這里還需要一個工具叫做 Appium，它可以像 Selenium 一樣對 APP 進行自動化控制，如自動化模擬APP的點擊、下拉等操作。
本節我們來了解一下 Charles、MitmProxy、MitmDump、Appium 的安裝方法。
1.6.1 Charles的安裝Charles 是一個網絡抓包工具，在做 APP 抓包的時候會用到，相比 Fiddler 來說，Charles 的功能更為強大，而且跨平臺支持更好，所以在這里我們選用 Charles 來作為主要的移動端抓包工具，用于分析移動 APP 的數據包，輔助完成 APP 數據抓取工作。
1. 相關鏈接官方網站：https://www.charlesproxy.com
下載鏈接：https://www.charlesproxy.com/...
2.下載CharlesCharles 的官網是：https://www.charlesproxy.com，我們可以在官網下載最新穩定版本，鏈接為：https://www.charlesproxy.com/...，它支持 Windows、Linux、Mac 三大平臺。
3. 證書配置現在很多頁面都在向 HTTPS 方向發展，HTTPS 通信協議應用越來越廣泛，如果一個 APP 通信應用了 HTTPS 協議，那它通信的數據都會是被加密的，常規的截包方法是無法識別請求內部的數據的。
安裝完成之后如果我們想要做 HTTPS 抓包的話還需要配置一下相關 SSL 證書，如果不配置的話無法抓取 HTTPS 請求。
點擊 Help->SSL Proxying->Install Charles Root Certificate，即可進入證書的安裝頁面。
接下來找到 Charles 的證書雙擊，將信任設置為始終信任即可，如圖 1-48 所示：
圖 1-48 證書配置
這樣就成功安裝了證書。
如果你的手機是 iOS 系統，可以按照下面的操作進行證書配置。
首先查看一下電腦的 Charles 代理是是否開啟的，點擊 Proxy->Proxy Settings 即可打開當前代理設置頁面，確保當前的 HTTP 代理是開啟的，如圖 1-49 所示：
圖 1-49 代理設置
例如這里的代理端口為 8888，也可以自行修改。
接下來將手機和電腦連在同一個局域網下，例如當前電腦的 IP 為 192.168.1.76，那么首先設置手機的代理為 192.168.1.76:8888，設置如圖 1-50 所示：
圖 1-50 代理設置
設置完畢之后電腦上就會出現一個提示窗口，詢問是否信任此設備，如圖 1-51 所示：
圖 1-51 提示窗口
點擊 Allow 即可，這樣手機就和 PC 連在了同一個局域網內了，而且設置了 Charles 的代理，這樣 Charles 即可抓取到流經 APP 的數據包了。
接下來我們再安裝 Charles 的 HTTPS 證書。
在電腦上打開 Help->SSL Proxying->Install Charles Root Certificate on a Mobile Device or Remote Browser，如圖 1-52 所示：
圖 1-52 證書安裝頁面入口
即可看到如下提示，如圖 1-53 所示：
它提示我們在手機上設置好 Charles 的代理，我們剛才已經設置好了，然后在手機的瀏覽器中打開 chls.pro/ssl 下載證書，我們在手機上打開這個鏈接。
打開之后便會彈出證書的安裝頁面，如圖 1-54 所示：
圖 1-54 證書安裝頁面
我們點擊安裝，然后輸入密碼即可完成安裝，如圖 1-55 所示：
圖 1-55 安裝成功頁面
如果你的 iOS 版本是 10.3 以下的話，此處信任 CA 證書的流程就已經完成了。
如果你的 iOS 版本是 10.3 及以上，還需要在設置->通用->關于本機->證書信任設置將證書添加完全信任，如圖 1-56 所示：
在這里將 Charles 的證書的完全信任開關打開即可，如圖 1-56 所示：
圖 1-56 證書信任設置
這樣 iOS 上配置信任 CA 證書的流程就結束了。
如果你的手機是 Android 系統，可以按照下面的操作進行證書配置。
Android 同樣需要設置代理為 Charles 的代理，如圖 1-57 所示：
圖 1-57 代理設置
設置完畢之后電腦上就會出現一個提示窗口，詢問是否信任此設備，如圖 1-58 所示：
圖 1-58 提示窗口
點擊 Allow 即可。
接下來像 iOS 設備一樣，在手機瀏覽器上打開 chls.pro/ssl，這時會出現一個提示框，如圖 1-59 所示：
evernotecid://D603D29C-DFBA-4C04-85E9-CCA3C33763F6/appyinxiangcom/23852268/ENResource/p75
圖 1-59 證書安裝頁面
我們為證書添加一個名稱，然后點擊確定即可完成證書的安裝。
本文介紹了 Charles 的安裝及證書配置過程，后文我們會介紹 Charles 的基本使用方法。
上一篇文章：Python3網絡爬蟲實戰---6、Web庫的安裝：Flask、Tornado
下一篇文章：Python3網絡爬蟲實戰---8、APP爬取相關庫的安裝：MitmProxy的安裝
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/44042.html
摘要：下的安裝的安裝非常簡單，使用即可，命令如下執行命令后即可完成的安裝。另外還可以在端口上啟動，命令如下更多啟動方式可以參考的安裝說明。上一篇文章網絡爬蟲實戰網絡爬蟲實戰爬取相關庫的安裝的安裝下一篇文章網絡爬蟲實戰爬取相關庫的安裝的安裝 上一篇文章：Python3網絡爬蟲實戰---7、Python3網絡爬蟲實戰---APP爬取相關庫的安裝：Charles的安裝下一篇文章：Python3網絡...
摘要：所以如果對爬蟲有一定基礎，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網絡爬蟲實戰爬取相關庫的安裝的安裝下一篇文章網絡爬蟲實戰爬蟲框架的安裝 上一篇文章：Python3網絡爬蟲實戰---9、APP爬取相關庫的安裝：Appium的安裝下一篇文章：Python3網絡爬蟲實戰---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...
摘要：支持全平臺的安裝，我們直接從的里面安裝即可，鏈接為。平臺可以下載安裝包如，平臺可以下載安裝包如，平臺可以選擇下載源碼，但是更推薦用下文的安裝方式。上一篇文章網絡爬蟲實戰爬取相關庫的安裝的安裝下一篇文章網絡爬蟲實戰爬蟲框架的安裝 上一篇文章：Python3網絡爬蟲實戰---8、APP爬取相關庫的安裝：MitmProxy的安裝下一篇文章：Python3網絡爬蟲實戰---10、爬蟲框架的安裝...
摘要：在本書中用到的一些服務程序主要有。本節來分別介紹它們的安裝方法。的安裝是一個輕量級的服務程序，簡單易用靈活，在本書中我們主要用它來做一些服務，本節我們來了解下它的安裝方式。相關鏈接官方文檔安裝執行完畢之后即可完成安裝。 上一篇文章：Python3網絡爬蟲實戰---5、存儲庫的安裝:PyMySQL、PyMongo、RedisPy、RedisDump下一篇文章：Python3網絡爬蟲實戰-...
摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...
閱讀 2695·2023-04-25 17:21
閱讀 2558·2021-11-23 09:51
閱讀 2850·2021-09-24 10:32
閱讀 3780·2021-09-23 11:33
閱讀 1980·2019-08-30 15:44
閱讀 3458·2019-08-30 11:18
閱讀 3531·2019-08-30 10:53
閱讀 631·2019-08-26 13:25
