基于 Python 的 Scrapy 爬蟲入門：圖片處理

william 發布于2019-07-31 11:01 / 1833人閱讀

基于 Python 的 Scrapy 爬蟲入門：環境搭建

基于 Python 的 Scrapy 爬蟲入門：頁面提取

上篇文章中講解了如何從網站頁面抓取所需要的數據，很幸運范例中所需的數據是通過 Ajax 請求返回的 JSON 結構化數據，處理起來很簡單，圖片內容也只取了一個鏈接，對于我最初的目標“把這些圖集添加到自己的博客站點中”這已經夠了，說白了就是“盜鏈”嘛，如果有一天網站做了防盜鏈措施，那這些抄來的圖集就都作廢了，保險的方法就是把圖片也下載到本地，再把圖片鏈接替換為本地圖片。

下載圖片

下載圖片有兩種方式，一種是通過 Requests 模塊發送 get 請求下載，另一種是使用 Scrapy 的 ImagesPipeline 圖片管道類，這里主要講后者。

安裝 Scrapy 時并沒有安裝圖像處理依賴包 Pillow，需手動安裝否則運行爬蟲出錯。

首先在 settings.py 中設置圖片的存儲路徑：

IMAGES_STORE = "D:/"

圖片處理相關的選項還有：

# 圖片最小高度和寬度設置，可以過濾太小的圖片
IMAGES_MIN_HEIGHT = 110
IMAGES_MIN_WIDTH = 110

# 生成縮略圖選項
IMAGES_THUMBS = {
    "small": (50, 50),
    "big": (270, 270),
}

更多選項請參考：https://doc.scrapy.org/en/lat...

之前已經存在提取內容的 TuchongPipeline 類，如果使用 ImagePipeline 可以將提取內容的操作都合并過來，但是為了更好的說明圖片管道的作用，我們再多帶帶創建一個 ImagePipeline 類，加到 pipelines.py 文件中，同時重載函數 get_media_requests：

class PhotoGalleryPipeline(object):
    ...

class PhotoPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for (id, url) in item["images"].items():
            yield scrapy.Request(url)

上篇文章中我們把圖片的URL保存在了 item["images"] 中，它是一個字典類型的數組，形如：[{img_id: img_url}, ...]，此函數中需要把 img_url 取出并構建為 scrapy.Request 請求對象并返回，每一個請求都將觸發一次下載圖片的操作。

到 settings.py 中注冊 PhotoPipeline，并把優先級設的比提取內容的管道要高一些，保證圖片下載優先于內容處理，目的是如果有圖片下載未成功，通過觸發 DropItem 異常可以中斷這一個 Item 的處理，防止不完整的數據進入下一管道：

ITEM_PIPELINES = {
    "Toutiao.pipelines.PhotoGalleryPipeline": 300,
    "Toutiao.pipelines.PhotoPipeline": 200,
}

執行爬蟲 scrapy crawl photo ，如無錯誤，在設定的存儲目錄中會出現一個 full 目錄，里面是下載后的圖片。

文件名處理

下載的文件名是以圖片URL通過 sha1 編碼得到的字符，類似 0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg 不是太友好，可以通過重載 file_path 函數自定義文件名，比如可以這樣保留原文件名：

...
    def file_path(self, request, response=None, info=None):
        file_name = request.url.split("/")[-1]
        return "full/%s" % (file_name)
...

上面這樣處理難免會有重名的文件被覆蓋，但參數 request 中沒有過多的信息，不便于對圖片分類，因此可以改為重載 item_completed 函數，在下載完成后對圖片進行分類操作。

函數 item_completed 的定義：

def item_completed(self, results, item, info)

參數中包含 item ，有我們抓取的所有信息，參數 results 為下載圖片的結果數組，包含下載后的路徑以及是否成功下載，內容如下：

[(True,
  {"checksum": "2b00042f7481c7b056c4b410d28f33cf",
   "path": "full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg",
   "url": "http://www.example.com/files/product1.pdf"}),
 (False,
  Failure(...))]

重載該函數將下載圖片轉移到分類目錄中，同時關聯文件路徑到 item 中，保持內容與圖片為一個整體：

def item_completed(self, results, item, info):
    image_paths = {x["url"].split("/")[-1]: x["path"] for ok, x in results if ok}
    if not image_paths:
        # 下載失敗忽略該 Item 的后續處理
        raise DropItem("Item contains no files")
    else:
        # 將圖片轉移至以 post_id 為名的子目錄中
        for (dest, src) in image_paths.items():
            dir = settings.IMAGES_STORE
            newdir = dir + os.path.dirname(src) + "/" + item["post_id"] + "/"
            if not os.path.exists(newdir):
                os.makedirs(newdir)
            os.rename(dir + src, newdir + dest)
    # 將保存路徑保存于 item 中（image_paths 需要在 items.py 中定義）
    item["image_paths"] = image_paths
    return item

接下來在原 TuchongPipeline 類中寫入數據庫的操作中，通過 item["image_paths"] 路徑信息寫入本地圖片鏈接。

除了 ImagesPipeline 處理圖片外，還有 FilesPipeline 可以處理文件，使用方法與圖片類似，事實上 ImagesPipeline 是 FilesPipeline 的子類，因為圖片也是文件的一種。

GPU云服務器云服務器 scrapy爬蟲入門 python爬蟲scrapy python爬蟲框架scrapy python入門爬蟲

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/44518.html

基于 Python 的 Scrapy 爬蟲入門：頁面提取

摘要：目錄基于的爬蟲入門環境搭建基于的爬蟲入門頁面提取基于的爬蟲入門圖片處理下面創建一個爬蟲項目，以圖蟲網為例抓取圖片。目錄基于 Python 的 Scrapy 爬蟲入門：環境搭建基于 Python 的 Scrapy 爬蟲入門：頁面提取基于 Python 的 Scrapy 爬蟲入門：圖片處理下面創建一個爬蟲項目，以圖蟲網為例抓取圖片。一、內容分析打開圖蟲網，頂部菜單發現...

willin 2019-07-31 11:01 評論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
基于 Python 的 Scrapy 爬蟲入門：環境搭建

摘要：一基礎環境由于不是職業的開發者，因此環境是基于的。二安裝打開命令行工具創建虛擬環境，默認情況下會創建目錄，所有的虛擬環境都會產生一個子目錄保存在此，里面包含基本程序文件以及庫文件。目錄基于 Python 的 Scrapy 爬蟲入門：環境搭建基于 Python 的 Scrapy 爬蟲入門：頁面提取基于 Python 的 Scrapy 爬蟲入門：圖片處理作為一個全棧工程師（...

Gu_Yan 2019-07-31 11:00 評論0 收藏0
零基礎如何學爬蟲技術

摘要：楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，。本文來源知乎作者路人甲鏈接楚江數據提供網站數據采集和爬蟲軟件定制開發服務，服務范圍涵蓋社交網絡電子商務分類信息學術研究等。楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，http://www.chujiangdata.com。第一：Python爬蟲學習系列教程（來源于某博主：htt...

KunMinX 2019-07-25 11:29 評論0 收藏0