摘要:上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)使用分析協(xié)議下一篇文章在前面一節(jié)我們了解了的基本用法,但是其中確實有不方便的地方。發(fā)送之后,得到的自然就是,在上面的實例中我們使用了和獲取了內(nèi)容,不過還有很多屬性和方法可以獲取其他的信息,比如狀態(tài)碼等信息。
</>復(fù)制代碼
上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---23、使用Urllib:分析Robots協(xié)議
下一篇文章:
在前面一節(jié)我們了解了 Urllib 的基本用法,但是其中確實有不方便的地方。比如處理網(wǎng)頁驗證、處理 Cookies 等等,需要寫 Opener、Handler 來進行處理。為了更加方便地實現(xiàn)這些操作,在這里就有了更為強大的庫 Requests,有了它,Cookies、登錄驗證、代理設(shè)置等等的操作都不是事兒。
那么接下來就讓我們來領(lǐng)略一下它的強大之處吧。
1 基本使用本節(jié)我們首先來了解下 Requests 庫的基本使用方法。
1. 準(zhǔn)備工作在本節(jié)開始之前請確保已經(jīng)正確安裝好了 Requests 庫,如果沒有安裝可以參考第一章的安裝說明。
2. 實例引入在 Urllib 庫中有 urlopen() 的方法,實際上它是以 GET 方式請求了一個網(wǎng)頁。
那么在 Requests 中,相應(yīng)的方法就是 get() 方法,是不是感覺表達(dá)更明確一些?
下面我們用一個實例來感受一下:
</>復(fù)制代碼
import requests
r=requests.get("http://httpbin.org/get")
print(type(r),r.status_code,type(r.text),r.text,type(r.cookies),r.cookies,sep="
")
運行結(jié)果如下:
</>復(fù)制代碼
200
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.21.0"
},
"origin": "114.253.118.8, 114.253.118.8",
"url": "https://httpbin.org/get"
}
上面的例子中我們調(diào)用 get() 方法即可實現(xiàn)和 urlopen() 相同的操作,得到一個 Response 對象,然后分別輸出了 Response 的類型,Status Code,Response Body 的類型、內(nèi)容還有 Cookies。
通過上述實例可以發(fā)現(xiàn),它的返回類型是 requests.models.Response,Response Body 的類型是字符串 str,Cookies 的類型是 RequestsCookieJar。
使用了 get() 方法就成功實現(xiàn)了一個 GET 請求,但這倒不算什么,更方便的在于其他的請求類型依然可以用一句話來完成。
用一個實例來感受一下:
</>復(fù)制代碼
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")
在這里分別用 post()、put()、delete() 等方法實現(xiàn)了 POST、PUT、DELETE 等請求,怎么樣?是不是比 Urllib 簡單太多了?
其實這只是冰山一角,更多的還在后面。
HTTP 中最常見的請求之一就是 GET 請求,我們首先來詳細(xì)了解下利用 Requests 來構(gòu)建 GET 請求的方法以及相關(guān)屬性方法操作。
基本實例首先讓我們來構(gòu)建一個最簡單的 GET 請求,請求的鏈接為:http://httpbin.org/get,它會判斷如果如果是 GET 請求的話,會返回響應(yīng)的 Request 信息。
</>復(fù)制代碼
import requests
r = requests.get("http://httpbin.org/get")
print(r.text)
運行結(jié)果如下:
{
? "args": {},
? "headers": {
??? "Accept": "*/*",
??? "Accept-Encoding": "gzip, deflate",
??? "Host": "httpbin.org",
??? "User-Agent": "python-requests/2.10.0"
? },
? "origin": "122.4.215.33",
? "url": "http://httpbin.org/get"
}
可以發(fā)現(xiàn)我們成功發(fā)起了 GET 請求,返回的結(jié)果中包含了 Request Headers、URL、IP 等信息。
那么 GET 請求,如果要附加額外的信息一般是怎樣來添加?比如現(xiàn)在我想添加兩個參數(shù),名字 name 是 germey,年齡 age 是 22。構(gòu)造這個請求鏈接是不是我們要直接寫成:
r = requests.get("http://httpbin.org/get?name=g...;age=22")
可以是可以,但是不覺得很不人性化嗎?一般的這種信息數(shù)據(jù)我們會用字典來存儲,那么怎樣來構(gòu)造這個鏈接呢?
同樣很簡單,利用 params 這個參數(shù)就好了。
實例如下:
</>復(fù)制代碼
import requests
data = {
??? "name": "germey",
??? "age": 22
}
r = requests.get("http://httpbin.org/get", params=data)
print(r.text)
運行結(jié)果如下:
</>復(fù)制代碼
{
? "args": {
??? "age": "22",
??? "name": "germey"
? },
? "headers": {
??? "Accept": "*/*",
??? "Accept-Encoding": "gzip, deflate",
??? "Host": "httpbin.org",
??? "User-Agent": "python-requests/2.10.0"
? },
? "origin": "122.4.215.33",
? "url": "http://httpbin.org/get?age=22&name=germey"
}
通過返回信息我們可以判斷,請求的鏈接自動被構(gòu)造成了:http://httpbin.org/get?age=22...;name=germey。
另外,網(wǎng)頁的返回類型實際上是 str 類型,但是它很特殊,是 Json 的格式,所以如果我們想直接把返回結(jié)果解析,得到一個字典格式的話,可以直接調(diào)用 json() 方法。
用一個實例來感受一下:
</>復(fù)制代碼
import requests
r = requests.get("http://httpbin.org/get")
print(type(r.text))
print(r.json())
print(type(r.json()))
運行結(jié)果如下:
{"headers": {"Accept-Encoding": "gzip, deflate", "Accept": "/", "Host": "httpbin.org", "User-Agent": "python-requests/2.10.0"}, "url": "http://httpbin.org/get", "args": {}, "origin": "182.33.248.131"}
可以發(fā)現(xiàn),調(diào)用 json() 方法,就可以將返回結(jié)果是 Json 格式的字符串轉(zhuǎn)化為字典。
但注意,如果返回結(jié)果不是 Json 格式,便會出現(xiàn)解析錯誤,拋出 json.decoder.JSONDecodeError 的異常。
如上的請求鏈接返回的是 Json 形式的字符串,那么如果我們請求普通的網(wǎng)頁,那么肯定就能獲得相應(yīng)的內(nèi)容了。
下面我們以知乎-發(fā)現(xiàn)頁面為例來感受一下:
</>復(fù)制代碼
import requests
import re
headers = {
??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
}
r = requests.get("https://www.zhihu.com/explore", headers=headers)
pattern = re.compile("explore-feed.*?question_link.*?>(.*?)", re.S)
titles = re.findall(pattern, r.text)
print(titles)
如上代碼,我們請求了知乎-發(fā)現(xiàn)頁面:https://www.zhihu.com/explore,在這里加入了 Headers 信息,其中包含了 User-Agent 字段信息,也就是瀏覽器標(biāo)識信息。如果不加這個,知乎會禁止抓取。
在接下來用到了最基礎(chǔ)的正則表達(dá)式,來匹配出所有的問題內(nèi)容,關(guān)于正則表達(dá)式會在后面的章節(jié)中詳細(xì)介紹,在這里作為用到實例來配合講解。
運行結(jié)果如下:
</>復(fù)制代碼
["
如何評價楊超越對偶像意義的理解?
", "
中國綠發(fā)會宣稱「穿山甲功能性滅絕」,引發(fā)學(xué)者質(zhì)疑后反控對方誹謗,應(yīng)該相信哪邊?
", "
如何科學(xué)地解釋MacBook Pro 2019的CPU性能表現(xiàn)接近甚至超過ROG玩家國度槍神3?
", "
如何評價楊超越對偶像意義的理解?
", "
盛京劍客為啥退出知乎了?
", "
怎么看我國跆拳道選手鄭姝音被判負(fù)后眾人不滿,我國參加類似比賽還有必要么?
", "
你為什么這么不愿意《極限挑戰(zhàn)》換人?
", "
「吉卜力工作室」是一家怎樣的動畫制作公司?
", "
你為什么不喜歡張雪迎?
", "
《王者榮耀》中,你遇到哪些有意思的隊友?
"]
發(fā)現(xiàn)成功提取出了所有的問題內(nèi)容。
抓取二進制數(shù)據(jù)在上面的例子中,我們抓取的是知乎的一個頁面,實際上它返回的是一個 HTML 文檔,那么如果我們想抓去圖片、音頻、視頻等文件的話應(yīng)該怎么辦呢?
我們都知道,圖片、音頻、視頻這些文件都是本質(zhì)上由二進制碼組成的,由于有特定的保存格式和對應(yīng)的解析方式,我們才可以看到這些形形色色的多媒體。所以想要抓取他們,那就需要拿到他們的二進制碼。
下面我們以 GitHub 的站點圖標(biāo)為例來感受一下:
</>復(fù)制代碼
import requests
r = requests.get("https://github.com/favicon.ico")
print(r.text)
print(r.content)
抓取的內(nèi)容是站點圖標(biāo),也就是在瀏覽器每一個標(biāo)簽上顯示的小圖標(biāo),如圖 3-3 所示:
圖 3-3 站點圖標(biāo)
在這里打印了 Response 對象的兩個屬性,一個是text,另一個是 content。
運行結(jié)果如下,由于包含特殊內(nèi)容,在此放運行結(jié)果的圖片,如圖 3-4 所示:
圖 3-4 運行結(jié)果
那么前兩行便是 r.text 的結(jié)果,最后一行是 r.content 的結(jié)果。
可以注意到,前者出現(xiàn)了亂碼,后者結(jié)果前面帶有一個 b,代表這是 bytes 類型的數(shù)據(jù)。由于圖片是二進制數(shù)據(jù),所以前者在打印時轉(zhuǎn)化為 str 類型,也就是圖片直接轉(zhuǎn)化為字符串,理所當(dāng)然會出現(xiàn)亂碼。
兩個屬性有什么區(qū)別?前者返回的是字符串類型,如果返回結(jié)果是文本文件,那么用這種方式直接獲取其內(nèi)容即可。如果返回結(jié)果是圖片、音頻、視頻等文件,Requests 會為我們自動解碼成 bytes 類型,即獲取字節(jié)流數(shù)據(jù)。
進一步地,我們可以將剛才提取到的圖片保存下來。
</>復(fù)制代碼
import requests
r = requests.get("https://github.com/favicon.ico")
with open("favicon.ico", "wb") as f:
??? f.write(r.content)
在這里用了 open() 方法,第一個參數(shù)是文件名稱,第二個參數(shù)代表以二進制寫的形式打開,可以向文件里寫入二進制數(shù)據(jù),然后保存。
運行結(jié)束之后,可以發(fā)現(xiàn)在文件夾中出現(xiàn)了名為 favicon.ico 的圖標(biāo),如圖 3-5所示:
圖 3-5 圖標(biāo)
同樣的,音頻、視頻文件也可以用這種方法獲取。
如 urllib.request 一樣,我們也可以通過 headers 參數(shù)來傳遞頭信息。
比如上面的知乎的例子,如果不傳遞 Headers,就不能正常請求:
</>復(fù)制代碼
import requests
r = requests.get("https://www.zhihu.com/explore")
print(r.text)
運行結(jié)果如下:
</>復(fù)制代碼
400 Bad Request 400 Bad Request
openresty
但如果加上 Headers 中加上 User-Agent 信息,那就沒問題了:
</>復(fù)制代碼
import requests
headers = {
??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
}
r = requests.get("https://www.zhihu.com/explore", headers=headers)
print(r.text)
當(dāng)然我們可以在 headers 這個參數(shù)中任意添加其他的字段信息。
4. POST請求在前面我們了解了最基本的 GET 請求,另外一種比較常見的請求方式就是 POST 了,就像模擬表單提交一樣,將一些數(shù)據(jù)提交到某個鏈接。
使用 Request 是實現(xiàn) POST 請求同樣非常簡單。
我們先用一個實例來感受一下:
</>復(fù)制代碼
import requests
data = {"name": "germey", "age": "22"}
r = requests.post("http://httpbin.org/post", data=data)
print(r.text)
這里我們還是請求:http://httpbin.org/post,它可以判斷如果請求是 POST 方式,就把相關(guān)請求信息輸出出來。
運行結(jié)果如下:
</>復(fù)制代碼
{
? "args": {},
? "data": "",
? "files": {},
? "form": {
??? "age": "22",
??? "name": "germey"
? },
? "headers": {
??? "Accept": "*/*",
??? "Accept-Encoding": "gzip, deflate",
??? "Content-Length": "18",
??? "Content-Type": "application/x-www-form-urlencoded",
??? "Host": "httpbin.org",
??? "User-Agent": "python-requests/2.10.0"
? },
? "json": null,
? "origin": "182.33.248.131",
? "url": "http://httpbin.org/post"
}
可以發(fā)現(xiàn),成功獲得了返回結(jié)果,返回結(jié)果中的 form 部分就是提交的數(shù)據(jù),那么這就證明 POST 請求成功發(fā)送了。
5. Response發(fā)送 Request 之后,得到的自然就是 Response,在上面的實例中我們使用了 text 和 content 獲取了 Response 內(nèi)容,不過還有很多屬性和方法可以獲取其他的信息,比如狀態(tài)碼 Status Code、Headers、Cookies 等信息。
下面用一個實例來感受一下:
</>復(fù)制代碼
import requests
r = requests.get("http://www.baidu.com")
print(type(r.status_code), r.status_code)
print(type(r.headers), r.headers)
print(type(r.cookies), r.cookies)
print(type(r.url), r.url)
print(type(r.history), r.history)
在這里分別打印輸出了 status_code 屬性得到狀態(tài)碼, headers 屬性得到 Response Headers,cookies 屬性得到 Cookies,url 屬性得到 URL,history 屬性得到請求歷史。
運行結(jié)果如下:
</>復(fù)制代碼
200
{"Cache-Control": "private, no-cache, no-store, proxy-revalidate, no-transform", "Connection": "Keep-Alive", "Content-Encoding": "gzip", "Content-Type": "text/html", "Date": "Mon, 17 Jun 2019 11:01:04 GMT", "Last-Modified": "Mon, 23 Jan 2017 13:27:32 GMT", "Pragma": "no-cache", "Server": "bfe/1.0.8.18", "Set-Cookie": "BDORZ=27315; max-age=86400; domain=.baidu.com; path=/", "Transfer-Encoding": "chunked"}
]>
http://www.baidu.com/
[]
可以看到,headers 還有 cookies 這兩個屬性得到的結(jié)果分別是 CaseInsensitiveDict 和 RequestsCookieJar 類型。
在這里 Status Code 常用來判斷請求是否成功,Requests 還提供了一個內(nèi)置的 Status Code 查詢對象 requests.codes。
用一個實例來感受一下:
</>復(fù)制代碼
import requests
r = requests.get("http://www.jianshu.com")
exit() if not r.status_code == requests.codes.ok else print("Request Successfully")
在這里,通過比較返回碼和內(nèi)置的成功的返回碼是一致的,來保證請求得到了正常響應(yīng),輸出成功請求的消息,否則程序終止,在這里我們用 requests.codes.ok 得到的是成功的狀態(tài)碼 200。
那么肯定不能只有 ok 這個條件碼,下面列出了返回碼和相應(yīng)的查詢條件:
</>復(fù)制代碼
# Informational.
100: ("continue",),
101: ("switching_protocols",),
102: ("processing",),
103: ("checkpoint",),
122: ("uri_too_long", "request_uri_too_long"),
200: ("ok", "okay", "all_ok", "all_okay", "all_good", "o/", "?"),
201: ("created",),
202: ("accepted",),
203: ("non_authoritative_info", "non_authoritative_information"),
204: ("no_content",),
205: ("reset_content", "reset"),
206: ("partial_content", "partial"),
207: ("multi_status", "multiple_status", "multi_stati", "multiple_stati"),
208: ("already_reported",),
226: ("im_used",),
# Redirection.
300: ("multiple_choices",),
301: ("moved_permanently", "moved", "o-"),
302: ("found",),
303: ("see_other", "other"),
304: ("not_modified",),
305: ("use_proxy",),
306: ("switch_proxy",),
307: ("temporary_redirect", "temporary_moved", "temporary"),
308: ("permanent_redirect",
????? "resume_incomplete", "resume",), # These 2 to be removed in 3.0
# Client Error.
400: ("bad_request", "bad"),
401: ("unauthorized",),
402: ("payment_required", "payment"),
403: ("forbidden",),
404: ("not_found", "-o-"),
405: ("method_not_allowed", "not_allowed"),
406: ("not_acceptable",),
407: ("proxy_authentication_required", "proxy_auth", "proxy_authentication"),
408: ("request_timeout", "timeout"),
409: ("conflict",),
410: ("gone",),
411: ("length_required",),
412: ("precondition_failed", "precondition"),
413: ("request_entity_too_large",),
414: ("request_uri_too_large",),
415: ("unsupported_media_type", "unsupported_media", "media_type"),
416: ("requested_range_not_satisfiable", "requested_range", "range_not_satisfiable"),
417: ("expectation_failed",),
418: ("im_a_teapot", "teapot", "i_am_a_teapot"),
421: ("misdirected_request",),
422: ("unprocessable_entity", "unprocessable"),
423: ("locked",),
424: ("failed_dependency", "dependency"),
425: ("unordered_collection", "unordered"),
426: ("upgrade_required", "upgrade"),
428: ("precondition_required", "precondition"),
429: ("too_many_requests", "too_many"),
431: ("header_fields_too_large", "fields_too_large"),
444: ("no_response", "none"),
449: ("retry_with", "retry"),
450: ("blocked_by_windows_parental_controls", "parental_controls"),
451: ("unavailable_for_legal_reasons", "legal_reasons"),
499: ("client_closed_request",),
# Server Error.
500: ("internal_server_error", "server_error", "/o", "?"),
501: ("not_implemented",),
502: ("bad_gateway",),
503: ("service_unavailable", "unavailable"),
504: ("gateway_timeout",),
505: ("http_version_not_supported", "http_version"),
506: ("variant_also_negotiates",),
507: ("insufficient_storage",),
509: ("bandwidth_limit_exceeded", "bandwidth"),
510: ("not_extended",),
511: ("network_authentication_required", "network_auth", "network_authentication")
比如如果我們想判斷結(jié)果是不是 404 狀態(tài),可以用 requests.codes.not_found 來比對。
6. 結(jié)語本節(jié)我們了解了利用 Requests 模擬最基本的 GET 和 POST 請求的過程,關(guān)于更多高級的用法,會在下一節(jié)進行講解。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/44067.html
摘要:比如我們可以設(shè)置這就代表我們設(shè)置的規(guī)則對百度爬蟲是有效的。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)使用解析鏈接下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)基本使用 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---22、使用Urllib:解析鏈接下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---24、requests:基本使用 利用 Urllib 的 robotparser 模塊我們可以實現(xiàn)網(wǎng)站 Robots 協(xié)議的分析,本節(jié)我們來簡...
摘要:比如我們以知乎為例,直接利用來維持登錄狀態(tài)。測試后,發(fā)現(xiàn)同樣可以正常登錄知乎。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)基本使用下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)正則表達(dá)式 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---24、requests:基本使用下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---26、正則表達(dá)式 在前面一節(jié)我們了解了 Requests 的基本用法,如基本的 GET、POST 請求以及 Response...
摘要:在前面我們講到了和的概念,我們向網(wǎng)站的服務(wù)器發(fā)送一個,返回的的便是網(wǎng)頁源代碼。渲染頁面有時候我們在用或抓取網(wǎng)頁時,得到的源代碼實際和瀏覽器中看到的是不一樣的。所以使用基本請求庫得到的結(jié)果源代碼可能跟瀏覽器中的頁面源代碼不太一樣。 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---16、Web網(wǎng)頁基礎(chǔ)下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---18、Session和Cookies 爬蟲,即網(wǎng)...
摘要:所以我們?nèi)绻氆@取電影,只需要分開請求次,而次的參數(shù)設(shè)置為,,,,即可,這樣我們獲取不同的頁面結(jié)果之后再用正則表達(dá)式提取出相關(guān)信息就可以得到的所有電影信息了。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)正則表達(dá)式下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)解析庫的使用 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---26、正則表達(dá)式下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---28、解析庫的使用:XPath 本節(jié)我們利用 Reque...
摘要:所以使用代理隱藏真實的,讓服務(wù)器誤以為是代理服務(wù)器的在請求自己。參考來源由于涉及到一些專業(yè)名詞知識,本節(jié)的部分內(nèi)容參考來源如下代理服務(wù)器維基百科代理百度百科上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)和下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)使用發(fā)送請求 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---18、Session和Cookies下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---20、使用Urllib:發(fā)送請求 我們在做爬蟲...
閱讀 1814·2021-11-22 09:34
閱讀 3099·2019-08-30 15:55
閱讀 677·2019-08-30 15:53
閱讀 2067·2019-08-30 15:52
閱讀 3009·2019-08-29 18:32
閱讀 2000·2019-08-29 17:15
閱讀 2405·2019-08-29 13:14
閱讀 3566·2019-08-28 18:05