国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---24、requests:基本使用

lentrue / 1847人閱讀

摘要:上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)使用分析協(xié)議下一篇文章在前面一節(jié)我們了解了的基本用法,但是其中確實有不方便的地方。發(fā)送之后,得到的自然就是,在上面的實例中我們使用了和獲取了內(nèi)容,不過還有很多屬性和方法可以獲取其他的信息,比如狀態(tài)碼等信息。

</>復(fù)制代碼

  1. 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---23、使用Urllib:分析Robots協(xié)議
    下一篇文章:

在前面一節(jié)我們了解了 Urllib 的基本用法,但是其中確實有不方便的地方。比如處理網(wǎng)頁驗證、處理 Cookies 等等,需要寫 Opener、Handler 來進行處理。為了更加方便地實現(xiàn)這些操作,在這里就有了更為強大的庫 Requests,有了它,Cookies、登錄驗證、代理設(shè)置等等的操作都不是事兒。

那么接下來就讓我們來領(lǐng)略一下它的強大之處吧。

1 基本使用

本節(jié)我們首先來了解下 Requests 庫的基本使用方法。

1. 準(zhǔn)備工作

在本節(jié)開始之前請確保已經(jīng)正確安裝好了 Requests 庫,如果沒有安裝可以參考第一章的安裝說明。

2. 實例引入

在 Urllib 庫中有 urlopen() 的方法,實際上它是以 GET 方式請求了一個網(wǎng)頁。
那么在 Requests 中,相應(yīng)的方法就是 get() 方法,是不是感覺表達(dá)更明確一些?
下面我們用一個實例來感受一下:

</>復(fù)制代碼

  1. import requests
  2. r=requests.get("http://httpbin.org/get")
  3. print(type(r),r.status_code,type(r.text),r.text,type(r.cookies),r.cookies,sep="
  4. ")

運行結(jié)果如下:

</>復(fù)制代碼

  1. 200
  2. {
  3. "args": {},
  4. "headers": {
  5. "Accept": "*/*",
  6. "Accept-Encoding": "gzip, deflate",
  7. "Host": "httpbin.org",
  8. "User-Agent": "python-requests/2.21.0"
  9. },
  10. "origin": "114.253.118.8, 114.253.118.8",
  11. "url": "https://httpbin.org/get"
  12. }

上面的例子中我們調(diào)用 get() 方法即可實現(xiàn)和 urlopen() 相同的操作,得到一個 Response 對象,然后分別輸出了 Response 的類型,Status Code,Response Body 的類型、內(nèi)容還有 Cookies。
通過上述實例可以發(fā)現(xiàn),它的返回類型是 requests.models.Response,Response Body 的類型是字符串 str,Cookies 的類型是 RequestsCookieJar。
使用了 get() 方法就成功實現(xiàn)了一個 GET 請求,但這倒不算什么,更方便的在于其他的請求類型依然可以用一句話來完成。
用一個實例來感受一下:

</>復(fù)制代碼

  1. r = requests.post("http://httpbin.org/post")
  2. r = requests.put("http://httpbin.org/put")
  3. r = requests.delete("http://httpbin.org/delete")
  4. r = requests.head("http://httpbin.org/get")
  5. r = requests.options("http://httpbin.org/get")

在這里分別用 post()、put()、delete() 等方法實現(xiàn)了 POST、PUT、DELETE 等請求,怎么樣?是不是比 Urllib 簡單太多了?
其實這只是冰山一角,更多的還在后面。

3. GET請求

HTTP 中最常見的請求之一就是 GET 請求,我們首先來詳細(xì)了解下利用 Requests 來構(gòu)建 GET 請求的方法以及相關(guān)屬性方法操作。

基本實例

首先讓我們來構(gòu)建一個最簡單的 GET 請求,請求的鏈接為:http://httpbin.org/get,它會判斷如果如果是 GET 請求的話,會返回響應(yīng)的 Request 信息。

</>復(fù)制代碼

  1. import requests
  2. r = requests.get("http://httpbin.org/get")
  3. print(r.text)
  4. 運行結(jié)果如下:
  5. {
  6. ? "args": {},
  7. ? "headers": {
  8. ??? "Accept": "*/*",
  9. ??? "Accept-Encoding": "gzip, deflate",
  10. ??? "Host": "httpbin.org",
  11. ??? "User-Agent": "python-requests/2.10.0"
  12. ? },
  13. ? "origin": "122.4.215.33",
  14. ? "url": "http://httpbin.org/get"
  15. }

可以發(fā)現(xiàn)我們成功發(fā)起了 GET 請求,返回的結(jié)果中包含了 Request Headers、URL、IP 等信息。
那么 GET 請求,如果要附加額外的信息一般是怎樣來添加?比如現(xiàn)在我想添加兩個參數(shù),名字 name 是 germey,年齡 age 是 22。構(gòu)造這個請求鏈接是不是我們要直接寫成:
r = requests.get("http://httpbin.org/get?name=g...;age=22")
可以是可以,但是不覺得很不人性化嗎?一般的這種信息數(shù)據(jù)我們會用字典來存儲,那么怎樣來構(gòu)造這個鏈接呢?
同樣很簡單,利用 params 這個參數(shù)就好了。
實例如下:

</>復(fù)制代碼

  1. import requests
  2. data = {
  3. ??? "name": "germey",
  4. ??? "age": 22
  5. }
  6. r = requests.get("http://httpbin.org/get", params=data)
  7. print(r.text)

運行結(jié)果如下:

</>復(fù)制代碼

  1. {
  2. ? "args": {
  3. ??? "age": "22",
  4. ??? "name": "germey"
  5. ? },
  6. ? "headers": {
  7. ??? "Accept": "*/*",
  8. ??? "Accept-Encoding": "gzip, deflate",
  9. ??? "Host": "httpbin.org",
  10. ??? "User-Agent": "python-requests/2.10.0"
  11. ? },
  12. ? "origin": "122.4.215.33",
  13. ? "url": "http://httpbin.org/get?age=22&name=germey"
  14. }

通過返回信息我們可以判斷,請求的鏈接自動被構(gòu)造成了:http://httpbin.org/get?age=22...;name=germey。
另外,網(wǎng)頁的返回類型實際上是 str 類型,但是它很特殊,是 Json 的格式,所以如果我們想直接把返回結(jié)果解析,得到一個字典格式的話,可以直接調(diào)用 json() 方法。
用一個實例來感受一下:

</>復(fù)制代碼

  1. import requests
  2. r = requests.get("http://httpbin.org/get")
  3. print(type(r.text))
  4. print(r.json())
  5. print(type(r.json()))

運行結(jié)果如下:

{"headers": {"Accept-Encoding": "gzip, deflate", "Accept": "/", "Host": "httpbin.org", "User-Agent": "python-requests/2.10.0"}, "url": "http://httpbin.org/get", "args": {}, "origin": "182.33.248.131"}

可以發(fā)現(xiàn),調(diào)用 json() 方法,就可以將返回結(jié)果是 Json 格式的字符串轉(zhuǎn)化為字典。
但注意,如果返回結(jié)果不是 Json 格式,便會出現(xiàn)解析錯誤,拋出 json.decoder.JSONDecodeError 的異常。

抓取網(wǎng)頁

如上的請求鏈接返回的是 Json 形式的字符串,那么如果我們請求普通的網(wǎng)頁,那么肯定就能獲得相應(yīng)的內(nèi)容了。
下面我們以知乎-發(fā)現(xiàn)頁面為例來感受一下:

</>復(fù)制代碼

  1. import requests
  2. import re
  3. headers = {
  4. ??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
  5. }
  6. r = requests.get("https://www.zhihu.com/explore", headers=headers)
  7. pattern = re.compile("explore-feed.*?question_link.*?>(.*?)", re.S)
  8. titles = re.findall(pattern, r.text)
  9. print(titles)

如上代碼,我們請求了知乎-發(fā)現(xiàn)頁面:https://www.zhihu.com/explore,在這里加入了 Headers 信息,其中包含了 User-Agent 字段信息,也就是瀏覽器標(biāo)識信息。如果不加這個,知乎會禁止抓取。
在接下來用到了最基礎(chǔ)的正則表達(dá)式,來匹配出所有的問題內(nèi)容,關(guān)于正則表達(dá)式會在后面的章節(jié)中詳細(xì)介紹,在這里作為用到實例來配合講解。
運行結(jié)果如下:

</>復(fù)制代碼

  1. ["
  2. 如何評價楊超越對偶像意義的理解?
  3. ", "
  4. 中國綠發(fā)會宣稱「穿山甲功能性滅絕」,引發(fā)學(xué)者質(zhì)疑后反控對方誹謗,應(yīng)該相信哪邊?
  5. ", "
  6. 如何科學(xué)地解釋MacBook Pro 2019的CPU性能表現(xiàn)接近甚至超過ROG玩家國度槍神3?
  7. ", "
  8. 如何評價楊超越對偶像意義的理解?
  9. ", "
  10. 盛京劍客為啥退出知乎了?
  11. ", "
  12. 怎么看我國跆拳道選手鄭姝音被判負(fù)后眾人不滿,我國參加類似比賽還有必要么?
  13. ", "
  14. 你為什么這么不愿意《極限挑戰(zhàn)》換人?
  15. ", "
  16. 「吉卜力工作室」是一家怎樣的動畫制作公司?
  17. ", "
  18. 你為什么不喜歡張雪迎?
  19. ", "
  20. 《王者榮耀》中,你遇到哪些有意思的隊友?
  21. "]

發(fā)現(xiàn)成功提取出了所有的問題內(nèi)容。

抓取二進制數(shù)據(jù)

在上面的例子中,我們抓取的是知乎的一個頁面,實際上它返回的是一個 HTML 文檔,那么如果我們想抓去圖片、音頻、視頻等文件的話應(yīng)該怎么辦呢?
我們都知道,圖片、音頻、視頻這些文件都是本質(zhì)上由二進制碼組成的,由于有特定的保存格式和對應(yīng)的解析方式,我們才可以看到這些形形色色的多媒體。所以想要抓取他們,那就需要拿到他們的二進制碼。
下面我們以 GitHub 的站點圖標(biāo)為例來感受一下:

</>復(fù)制代碼

  1. import requests
  2. r = requests.get("https://github.com/favicon.ico")
  3. print(r.text)
  4. print(r.content)

抓取的內(nèi)容是站點圖標(biāo),也就是在瀏覽器每一個標(biāo)簽上顯示的小圖標(biāo),如圖 3-3 所示:

圖 3-3 站點圖標(biāo)
在這里打印了 Response 對象的兩個屬性,一個是text,另一個是 content。
運行結(jié)果如下,由于包含特殊內(nèi)容,在此放運行結(jié)果的圖片,如圖 3-4 所示:

圖 3-4 運行結(jié)果
那么前兩行便是 r.text 的結(jié)果,最后一行是 r.content 的結(jié)果。
可以注意到,前者出現(xiàn)了亂碼,后者結(jié)果前面帶有一個 b,代表這是 bytes 類型的數(shù)據(jù)。由于圖片是二進制數(shù)據(jù),所以前者在打印時轉(zhuǎn)化為 str 類型,也就是圖片直接轉(zhuǎn)化為字符串,理所當(dāng)然會出現(xiàn)亂碼。
兩個屬性有什么區(qū)別?前者返回的是字符串類型,如果返回結(jié)果是文本文件,那么用這種方式直接獲取其內(nèi)容即可。如果返回結(jié)果是圖片、音頻、視頻等文件,Requests 會為我們自動解碼成 bytes 類型,即獲取字節(jié)流數(shù)據(jù)。
進一步地,我們可以將剛才提取到的圖片保存下來。

</>復(fù)制代碼

  1. import requests
  2. r = requests.get("https://github.com/favicon.ico")
  3. with open("favicon.ico", "wb") as f:
  4. ??? f.write(r.content)

在這里用了 open() 方法,第一個參數(shù)是文件名稱,第二個參數(shù)代表以二進制寫的形式打開,可以向文件里寫入二進制數(shù)據(jù),然后保存。
運行結(jié)束之后,可以發(fā)現(xiàn)在文件夾中出現(xiàn)了名為 favicon.ico 的圖標(biāo),如圖 3-5所示:

圖 3-5 圖標(biāo)
同樣的,音頻、視頻文件也可以用這種方法獲取。

添加Headers

如 urllib.request 一樣,我們也可以通過 headers 參數(shù)來傳遞頭信息。
比如上面的知乎的例子,如果不傳遞 Headers,就不能正常請求:

</>復(fù)制代碼

  1. import requests
  2. r = requests.get("https://www.zhihu.com/explore")
  3. print(r.text)

運行結(jié)果如下:

</>復(fù)制代碼

  1. 400 Bad Request
  2. 400 Bad Request


  3. openresty

但如果加上 Headers 中加上 User-Agent 信息,那就沒問題了:

</>復(fù)制代碼

  1. import requests
  2. headers = {
  3. ??? "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
  4. }
  5. r = requests.get("https://www.zhihu.com/explore", headers=headers)
  6. print(r.text)

當(dāng)然我們可以在 headers 這個參數(shù)中任意添加其他的字段信息。

4. POST請求

在前面我們了解了最基本的 GET 請求,另外一種比較常見的請求方式就是 POST 了,就像模擬表單提交一樣,將一些數(shù)據(jù)提交到某個鏈接。
使用 Request 是實現(xiàn) POST 請求同樣非常簡單。
我們先用一個實例來感受一下:

</>復(fù)制代碼

  1. import requests
  2. data = {"name": "germey", "age": "22"}
  3. r = requests.post("http://httpbin.org/post", data=data)
  4. print(r.text)

這里我們還是請求:http://httpbin.org/post,它可以判斷如果請求是 POST 方式,就把相關(guān)請求信息輸出出來。
運行結(jié)果如下:

</>復(fù)制代碼

  1. {
  2. ? "args": {},
  3. ? "data": "",
  4. ? "files": {},
  5. ? "form": {
  6. ??? "age": "22",
  7. ??? "name": "germey"
  8. ? },
  9. ? "headers": {
  10. ??? "Accept": "*/*",
  11. ??? "Accept-Encoding": "gzip, deflate",
  12. ??? "Content-Length": "18",
  13. ??? "Content-Type": "application/x-www-form-urlencoded",
  14. ??? "Host": "httpbin.org",
  15. ??? "User-Agent": "python-requests/2.10.0"
  16. ? },
  17. ? "json": null,
  18. ? "origin": "182.33.248.131",
  19. ? "url": "http://httpbin.org/post"
  20. }

可以發(fā)現(xiàn),成功獲得了返回結(jié)果,返回結(jié)果中的 form 部分就是提交的數(shù)據(jù),那么這就證明 POST 請求成功發(fā)送了。

5. Response

發(fā)送 Request 之后,得到的自然就是 Response,在上面的實例中我們使用了 text 和 content 獲取了 Response 內(nèi)容,不過還有很多屬性和方法可以獲取其他的信息,比如狀態(tài)碼 Status Code、Headers、Cookies 等信息。
下面用一個實例來感受一下:

</>復(fù)制代碼

  1. import requests
  2. r = requests.get("http://www.baidu.com")
  3. print(type(r.status_code), r.status_code)
  4. print(type(r.headers), r.headers)
  5. print(type(r.cookies), r.cookies)
  6. print(type(r.url), r.url)
  7. print(type(r.history), r.history)

在這里分別打印輸出了 status_code 屬性得到狀態(tài)碼, headers 屬性得到 Response Headers,cookies 屬性得到 Cookies,url 屬性得到 URL,history 屬性得到請求歷史。
運行結(jié)果如下:

</>復(fù)制代碼

  1. 200
  2. {"Cache-Control": "private, no-cache, no-store, proxy-revalidate, no-transform", "Connection": "Keep-Alive", "Content-Encoding": "gzip", "Content-Type": "text/html", "Date": "Mon, 17 Jun 2019 11:01:04 GMT", "Last-Modified": "Mon, 23 Jan 2017 13:27:32 GMT", "Pragma": "no-cache", "Server": "bfe/1.0.8.18", "Set-Cookie": "BDORZ=27315; max-age=86400; domain=.baidu.com; path=/", "Transfer-Encoding": "chunked"}
  3. ]>
  4. http://www.baidu.com/
  5. []

可以看到,headers 還有 cookies 這兩個屬性得到的結(jié)果分別是 CaseInsensitiveDict 和 RequestsCookieJar 類型。
在這里 Status Code 常用來判斷請求是否成功,Requests 還提供了一個內(nèi)置的 Status Code 查詢對象 requests.codes。
用一個實例來感受一下:

</>復(fù)制代碼

  1. import requests
  2. r = requests.get("http://www.jianshu.com")
  3. exit() if not r.status_code == requests.codes.ok else print("Request Successfully")

在這里,通過比較返回碼和內(nèi)置的成功的返回碼是一致的,來保證請求得到了正常響應(yīng),輸出成功請求的消息,否則程序終止,在這里我們用 requests.codes.ok 得到的是成功的狀態(tài)碼 200。
那么肯定不能只有 ok 這個條件碼,下面列出了返回碼和相應(yīng)的查詢條件:

</>復(fù)制代碼

  1. # Informational.
  2. 100: ("continue",),
  3. 101: ("switching_protocols",),
  4. 102: ("processing",),
  5. 103: ("checkpoint",),
  6. 122: ("uri_too_long", "request_uri_too_long"),
  7. 200: ("ok", "okay", "all_ok", "all_okay", "all_good", "o/", "?"),
  8. 201: ("created",),
  9. 202: ("accepted",),
  10. 203: ("non_authoritative_info", "non_authoritative_information"),
  11. 204: ("no_content",),
  12. 205: ("reset_content", "reset"),
  13. 206: ("partial_content", "partial"),
  14. 207: ("multi_status", "multiple_status", "multi_stati", "multiple_stati"),
  15. 208: ("already_reported",),
  16. 226: ("im_used",),
  17. # Redirection.
  18. 300: ("multiple_choices",),
  19. 301: ("moved_permanently", "moved", "o-"),
  20. 302: ("found",),
  21. 303: ("see_other", "other"),
  22. 304: ("not_modified",),
  23. 305: ("use_proxy",),
  24. 306: ("switch_proxy",),
  25. 307: ("temporary_redirect", "temporary_moved", "temporary"),
  26. 308: ("permanent_redirect",
  27. ????? "resume_incomplete", "resume",), # These 2 to be removed in 3.0
  28. # Client Error.
  29. 400: ("bad_request", "bad"),
  30. 401: ("unauthorized",),
  31. 402: ("payment_required", "payment"),
  32. 403: ("forbidden",),
  33. 404: ("not_found", "-o-"),
  34. 405: ("method_not_allowed", "not_allowed"),
  35. 406: ("not_acceptable",),
  36. 407: ("proxy_authentication_required", "proxy_auth", "proxy_authentication"),
  37. 408: ("request_timeout", "timeout"),
  38. 409: ("conflict",),
  39. 410: ("gone",),
  40. 411: ("length_required",),
  41. 412: ("precondition_failed", "precondition"),
  42. 413: ("request_entity_too_large",),
  43. 414: ("request_uri_too_large",),
  44. 415: ("unsupported_media_type", "unsupported_media", "media_type"),
  45. 416: ("requested_range_not_satisfiable", "requested_range", "range_not_satisfiable"),
  46. 417: ("expectation_failed",),
  47. 418: ("im_a_teapot", "teapot", "i_am_a_teapot"),
  48. 421: ("misdirected_request",),
  49. 422: ("unprocessable_entity", "unprocessable"),
  50. 423: ("locked",),
  51. 424: ("failed_dependency", "dependency"),
  52. 425: ("unordered_collection", "unordered"),
  53. 426: ("upgrade_required", "upgrade"),
  54. 428: ("precondition_required", "precondition"),
  55. 429: ("too_many_requests", "too_many"),
  56. 431: ("header_fields_too_large", "fields_too_large"),
  57. 444: ("no_response", "none"),
  58. 449: ("retry_with", "retry"),
  59. 450: ("blocked_by_windows_parental_controls", "parental_controls"),
  60. 451: ("unavailable_for_legal_reasons", "legal_reasons"),
  61. 499: ("client_closed_request",),
  62. # Server Error.
  63. 500: ("internal_server_error", "server_error", "/o", "?"),
  64. 501: ("not_implemented",),
  65. 502: ("bad_gateway",),
  66. 503: ("service_unavailable", "unavailable"),
  67. 504: ("gateway_timeout",),
  68. 505: ("http_version_not_supported", "http_version"),
  69. 506: ("variant_also_negotiates",),
  70. 507: ("insufficient_storage",),
  71. 509: ("bandwidth_limit_exceeded", "bandwidth"),
  72. 510: ("not_extended",),
  73. 511: ("network_authentication_required", "network_auth", "network_authentication")

比如如果我們想判斷結(jié)果是不是 404 狀態(tài),可以用 requests.codes.not_found 來比對。

6. 結(jié)語

本節(jié)我們了解了利用 Requests 模擬最基本的 GET 和 POST 請求的過程,關(guān)于更多高級的用法,會在下一節(jié)進行講解。

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/44067.html

相關(guān)文章

  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---23、使用Urllib:分析Robots協(xié)議

    摘要:比如我們可以設(shè)置這就代表我們設(shè)置的規(guī)則對百度爬蟲是有效的。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)使用解析鏈接下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)基本使用 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---22、使用Urllib:解析鏈接下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---24、requests:基本使用 利用 Urllib 的 robotparser 模塊我們可以實現(xiàn)網(wǎng)站 Robots 協(xié)議的分析,本節(jié)我們來簡...

    kaka 評論0 收藏0
  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---25、requests:高級用法

    摘要:比如我們以知乎為例,直接利用來維持登錄狀態(tài)。測試后,發(fā)現(xiàn)同樣可以正常登錄知乎。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)基本使用下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)正則表達(dá)式 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---24、requests:基本使用下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---26、正則表達(dá)式 在前面一節(jié)我們了解了 Requests 的基本用法,如基本的 GET、POST 請求以及 Response...

    dingding199389 評論0 收藏0
  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---17、爬蟲基本原理

    摘要:在前面我們講到了和的概念,我們向網(wǎng)站的服務(wù)器發(fā)送一個,返回的的便是網(wǎng)頁源代碼。渲染頁面有時候我們在用或抓取網(wǎng)頁時,得到的源代碼實際和瀏覽器中看到的是不一樣的。所以使用基本請求庫得到的結(jié)果源代碼可能跟瀏覽器中的頁面源代碼不太一樣。 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---16、Web網(wǎng)頁基礎(chǔ)下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---18、Session和Cookies 爬蟲,即網(wǎng)...

    hellowoody 評論0 收藏0
  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---27、Requests與正則表達(dá)式抓取貓眼電影排行

    摘要:所以我們?nèi)绻氆@取電影,只需要分開請求次,而次的參數(shù)設(shè)置為,,,,即可,這樣我們獲取不同的頁面結(jié)果之后再用正則表達(dá)式提取出相關(guān)信息就可以得到的所有電影信息了。上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)正則表達(dá)式下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)解析庫的使用 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---26、正則表達(dá)式下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---28、解析庫的使用:XPath 本節(jié)我們利用 Reque...

    SwordFly 評論0 收藏0
  • Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---19、代理基本原理

    摘要:所以使用代理隱藏真實的,讓服務(wù)器誤以為是代理服務(wù)器的在請求自己。參考來源由于涉及到一些專業(yè)名詞知識,本節(jié)的部分內(nèi)容參考來源如下代理服務(wù)器維基百科代理百度百科上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)和下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)使用發(fā)送請求 上一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---18、Session和Cookies下一篇文章:Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---20、使用Urllib:發(fā)送請求 我們在做爬蟲...

    gougoujiang 評論0 收藏0

發(fā)表評論

0條評論

lentrue

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<