爬蟲入門到精通-環境的搭建

Jingbin_ 發布于2019-07-25 11:44 / 2686人閱讀

摘要：環境的安裝本文章屬于爬蟲入門到精通系統教程第二講的安裝我用的是，也用過但是電腦配置不行，比較卡安裝教程在這寫的蠻清楚的然后安裝一個的插件就行見如下截圖點擊數字的地方在數字的地方輸入點擊右邊的安裝按鈕包的安裝配置源，不配置的話下載速度很慢在當

環境的安裝

本文章屬于爬蟲入門到精通系統教程第二講

IDE的安裝

IDE我用的是VS code，也用過pycharm（但是電腦配置不行，比較卡）

VScode安裝教程在這,寫的蠻清楚的

然后安裝一個python的插件就行
見如下截圖

點擊數字1的地方

在數字2的地方輸入python

點擊python 0.5.8 右邊的安裝按鈕

包的安裝 配置pip源，不配置的話下載速度很慢

windows:在當前用戶根目錄下，創建pip這個文件夾，然后在里面新建一個文件pip.in 里面的內容為

[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com

截圖如下（我當前用戶名為kimga）

linux：在~/.pip/pip.conf文件中添加或修改（內容同上）

包的安裝

直接pip install 包的名字
如 pip install requests

依次安裝如下4個包

requests

lxml

ipython

jupyter

如果發現報錯的話，

ubuntu用apt-get install python-包名

如 apt-get install python-lxml

windows 在[Unofficial Windows Binaries for Python Extension Packages
](http://www.lfd.uci.edu/~gohlk...這個網站上手動下載然后安裝（這個網站有各種python windows擴展包，pip install 報錯的話，就可以到這個網站上下載安裝）

windows下pip install lxml 很少能安裝成功。。。

那我們怎么做呢？

打開Unofficial Windows Binaries for Python Extension Packages這個網址

ctrl+ F，然后在搜索框內輸入lxml

找到與你系統版本相同的包,下載

我的python版本是2.7，系統是64位的，所以我選擇lxml?3.7.3?cp27?cp27m?win_amd64.whl

下載完成后在你下載的目錄下打開cmd命令行

這邊有個小技巧是，找到你下載的目錄后，按住shift不放，然后空白處右鍵，會多出來一個在此處打開命令窗口，不用再慢慢的cd過來

然后pip install 你剛下載的文件，發現就安裝成功了

Google瀏覽器的安裝

在百度軟件中心下載

記得點普通下載（要不然有可能會收獲百度全家桶一份）

下載完正常安裝就行

安裝可以更換瀏覽器頭的插件

打開 google插件下載這個網頁

在輸入框內輸入 extension ID ffhkkpnppgnfaobgihpdblnhmmbodake

點擊下載

![](http://ww1.sinaimg.cn/large/cfc08357gy1fcvui06zb0j20qw0k80x4)

下載完成后，打開Google瀏覽器，在地址欄輸入chrome://extensions/

把剛剛下載的文件拖進去進行

最終效果就下圖

總結

看完本篇文章后，你應該要

有一個自己熟悉的python IDE

Python配置國內源

能安裝python包

有安裝Google瀏覽器

有可以更換瀏覽器頭的插件

最后，因為后續實戰我基本上都是用Jupyter notebook來寫調試的，所以請閱讀以下兩篇文章，能大概了解Jupyter notebook

Jupyter Notebook快速入門（上）

Jupyter Notebook快速入門（下）

最后的最后，收藏的大哥們，能幫忙點個贊么~

云服務器 GPU云服務器精通android入門到精通前端入門到精通 webrtc入門到精通物聯網入門到精通

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/38577.html

爬蟲入門到精通-網頁的解析（xpath）

摘要：起初的提出的初衷是將其作為一個通用的介于與間的語法模型。的基本使用要使用我們需要下載，在爬蟲入門到精通環境的搭建這一章也說明怎么裝，如果還沒有安裝的話，那就去下載安裝吧直接看代碼實戰吧。本文章屬于爬蟲入門到精通系統教程第六講在爬蟲入門到精通第五講中，我們了解了如何用正則表達式去抓取我們想要的內容.這一章我們來學習如何更加簡單的來獲取我們想要的內容. xpath的解釋 XPath即為...

ispring 2019-07-25 11:45 評論0 收藏0
史上最詳細Python學習路線-從入門到精通，只需90天

摘要：針對的初學者，從無到有的語言如何入門，主要包括了的簡介，如何下載，如何安裝，如何使用終端，等各種開發環境進行開發，中的語法和基本知識概念和邏輯，以及繼續深入學習的方法。 ...

gghyoo 2021-11-24 09:39 評論0 收藏0
爬蟲入門到精通-開始爬蟲之旅

摘要：開始爬蟲之旅本文章屬于爬蟲入門到精通系統教程第一講引言我經常會看到有人在知乎上提問如何入門爬蟲爬蟲進階利用爬蟲技術能做到哪些很酷很有趣很有用的事情等這一些問題，我寫這一系列的文章的目的就是把我的經驗告訴大家。開始爬蟲之旅本文章屬于爬蟲入門到精通系統教程第一講引言我經常會看到有人在知乎上提問如何入門 Python 爬蟲？、Python 爬蟲進階？、利用爬蟲技術能做到哪些很酷很有趣...

JayChen 2019-07-25 11:44 評論0 收藏0
爬蟲入門到精通-網頁的解析（正則）

摘要：本文章屬于爬蟲入門到精通系統教程第五講在爬蟲入門到精通第四講中，我們了解了如何下載網頁，這一節就是如何從下載的網頁中獲取我們想要的內容萬能匹配文章的標題文字我們要獲取的如上所示，假如我們要獲取文章的標題這幾個文字，那么我們應該怎么做呢我本文章屬于爬蟲入門到精通系統教程第五講在爬蟲入門到精通第四講中，我們了解了如何下載網頁，這一節就是如何從下載的網頁中獲取我們想要的內容萬能匹配 h...

RiverLi 2019-07-25 11:46 評論0 收藏0
爬蟲入門到精通-網頁的下載

摘要：網頁的下載本文章屬于爬蟲入門到精通系統教程第四講在爬蟲入門到精通第二講中，我們了解了協議，那么我們現在使用這些協議來快速爬蟲吧本文的目標當你看完本文后，你應該能爬取幾乎任何的網頁使用抓包抓包就是將網絡傳輸發送與接收的數據包進行截獲重發編輯轉網頁的下載本文章屬于爬蟲入門到精通系統教程第四講在爬蟲入門到精通第二講中，我們了解了HTTP協議，那么我們現在使用這些協議來快速爬蟲吧本文的...

JerryZou 2019-07-25 11:46 評論0 收藏0