摘要：上一篇文章網絡爬蟲實戰數據存儲非關系型數據庫存儲下一篇文章網絡爬蟲實戰數據爬取是一個基于內存的高效的鍵值型非關系型數據庫，存取效率極高，而且支持多種存儲數據結構，使用也非常簡單，在本節我們介紹一下的操作，主要介紹這個庫的用法。

上一篇文章：Python3網絡爬蟲實戰---33、數據存儲：非關系型數據庫存儲:MongoDB
下一篇文章：Python3網絡爬蟲實戰---35、 Ajax數據爬取

Redis 是一個基于內存的高效的鍵值型非關系型數據庫，存取效率極高，而且支持多種存儲數據結構，使用也非常簡單，在本節我們介紹一下 Python 的 Redis 操作，主要介紹 RedisPy 這個庫的用法。

在本節開始之前請確保已經安裝好了 Redis 及 RedisPy庫，如果要做數據導入導出操作的話還需要安裝 RedisDump，如沒有安裝可以參考第一章的安裝說明。

RedisPy 庫提供兩個類 Redis 和 StrictRedis 用于實現Redis 的命令操作。

StrictRedis 實現了絕大部分官方的命令，參數也一一對應，比如 set() 方法就對應 Redis 命令的 set 方法。而Redis 是 StrictRedis 的子類，它的主要功能是用于向后兼容舊版本庫里的幾個方法，為了做兼容，將方法做了改寫，比如 lrem() 方法就將 value 和 num 參數的位置互換，和Redis 命令行的命令參數不一致。

官方推薦使用 StrictRedis，所以本節我們也用 StrictRedis類的相關方法作演示。

當前在本地我已經安裝了 Redis 并運行在 6379 端口，密碼設置為 foobared。

那么可以用如下示例連接 Redis 并測試：

from redis import StrictRedis

redis = StrictRedis(host="localhost", port=6379, db=0, password="foobared")
redis.set("name", "Bob")
print(redis.get("name"))

在這里我們傳入了 Redis 的地址，運行端口，使用的數據庫，密碼信息。在默認不傳的情況下，這四個參數分別為 localhost、6379、0、None。現在我們聲明了一個StrictRedis 對象，然后接下來調用了 set() 方法，設置一個鍵值對，然后在將其獲取打印。

運行結果：

b"Bob"

這樣就說明我們連接成功，并可以執行 set()、get() 操作了。

當然我們還可以使用 ConnectionPool 來連接，示例如下：

from redis import StrictRedis, ConnectionPool

pool = ConnectionPool(host="localhost", port=6379, db=0, password="foobared")
redis = StrictRedis(connection_pool=pool)

這樣的連接效果是一樣的，觀察源碼可以發現 StrictRedis內其實就是用 host、port 等參數又構造了一個 ConnectionPool，所以我們直接將 ConnectionPool 當參數傳給 StrictRedis 也是一樣的。

另外 ConnectionPool 還支持通過 URL 來構建，URL 的格式支持如下三種：

redis://[:password]@host:port/db
rediss://[:password]@host:port/db
unix://[:password]@/path/to/socket.sock?db=db

這三種 URL 分別表示創建 Redis TCP 連接、Redis TCP+SSL 連接、Redis Unix Socket 連接，我們只需要構造上面任意一種連接 URL 即可，其中 password 部分如果有則可以寫，沒有可以省略，下面我們再用URL連接演示一下：

url = "redis://:foobared@localhost:6379/0"
pool = ConnectionPool.from_url(url)
redis = StrictRedis(connection_pool=pool)

在這里我們使用了第一種連接字符串進行連接，我們首先聲明了一個 Redis 連接字符串，然后調用 from_url() 方法創建一個 ConnectionPool，然后將其傳給 StrictRedis 即可完成連接，所以使用 URL 的連接方式還是比較方便的。

在這里主要將 Key 的一些判斷和操作方法做下總結：

Redis 中存在最基本的鍵值對形式存儲，用法總結如下：

List，即列表。Redis 還提供了列表存儲，列表內的元素可以重復，而且可以從兩端存儲，用法總結如下：

Set，即集合。Redis 還提供了集合存儲，集合中的元素都是不重復的，用法總結如下：

Sorted Set，即有序集合，它相比集合多了一個分數字段，利用它我們可以對集合中的數據進行排序，其用法總結如下：

Hash，即哈希。Redis 還提供了哈希表的數據結構，我們可以用name指定一個哈希表的名稱，然后表內存儲了各個鍵值對，用法總結如下：

RedisDump 提供了強大的 Redis 數據的導入和導出功能，本節我們來看下它的具體用法。

首先確保已經安裝好了 RedisDump。

RedisDump 提供兩個可執行命令，redis-dump 用于導出數據，redis-load 用于導入數據。

我們可以首先輸入如下命令查看所有可選項：

redis-dump -h

運行結果如下：

Usage: redis-dump [global options] COMMAND [command options] 
    -u, --uri=S                      Redis URI (e.g. redis://hostname[:port])
    -d, --database=S                 Redis database (e.g. -d 15)
    -s, --sleep=S                    Sleep for S seconds after dumping (for debugging)
    -c, --count=S                    Chunk size (default: 10000)
    -f, --filter=S                   Filter selected keys (passed directly to redis" KEYS command)
    -O, --without_optimizations      Disable run time optimizations
    -V, --version                    Display version
    -D, --debug
        --nosafe

可以看到其參數，-u 代表 Redis 連接字符串，-d 代表數據庫代號，默認全部，-s 代表導出之后的休眠時間，-c 代表分塊大小，默認是 10000，-f 代表導出時的過濾器，-O 代表禁用運行時優化，-V 顯示版本，-D 開啟調試。

我們拿本地的 Redis 做測試，運行在 6379 端口上，密碼為 foobared，導出命令如下：

redis-dump -u :foobared@localhost:6379

如果沒有密碼的話可以不加密碼前綴，命令如下：

redis-dump -u localhost:6379

運行之后可以將本地 0-15號 數據庫的所有數據輸出出來，例如：

{"db":0,"key":"name","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"name2","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name3","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name4","ttl":-1,"type":"string","value":"HelloWorld","size":10}
{"db":0,"key":"name5","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"name6","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"age","ttl":-1,"type":"string","value":"1","size":1}
{"db":0,"key":"age2","ttl":-1,"type":"string","value":"-5","size":2}

每條數據都包含五個字段，db 即數據庫代號，key 即鍵名，ttl 即該鍵值對的有效時間，type 即鍵值類型，size 即占用空間。

如果想要將其輸出為 Json 行文件，可以使用如下命令：

redis-dump -u :foobared@localhost:6379 > ./redis_data.jl

這樣我們就可以成功將 Redis 的所有數據庫的所有數據導出成 Json 行文件了。

另外我們可以使用 -d 參數指定某個數據庫的導出，例如只導出 1 號數據庫的內容：

redis-dump -u :foobared@localhost:6379 -d 1 > ./redis.data.jl

如果只想導出特定的內容，如想導出 adsl 開頭的數據，可以加入 -f 參數用來過濾，命令如下：

redis-dump -u :foobared@localhost:6379 -f adsl:* > ./redis.data.jl

其中 -f 的參數即 Redis 的 keys 命令的參數，可以寫一些過濾規則。

我們同樣可以首先輸入如下命令查看所有可選項：

redis-load -h

運行結果如下：

redis-load --help
  Try: redis-load [global options] COMMAND [command options] 
    -u, --uri=S                      Redis URI (e.g. redis://hostname[:port])
    -d, --database=S                 Redis database (e.g. -d 15)
    -s, --sleep=S                    Sleep for S seconds after dumping (for debugging)
    -n, --no_check_utf8
    -V, --version                    Display version
    -D, --debug
        --nosafe

可以看到其參數，-u 代表 Redis 連接字符串，-d 代表數據庫代號，默認全部，-s 代表導出之后的休眠時間，-n 代表不檢測 UTF-8 編碼，-V 顯示版本，-D 開啟調試。

我們可以將 Json 行文件導入到 Redis 數據庫中：

< redis_data.json redis-load -u :foobared@localhost:6379

這樣就可以成功將 Json 行文件導入到數據庫中了。

另外如下命令同樣可以達到同樣的效果：

cat redis_data.json | redis-load -u :foobared@localhost:6379

以上便是 RedisDump 的使用概述，使用它我們可以高效便捷地實現 Redis 數據庫的導入導出。

本節我們了解了 RedisPy 對 Redis 數據庫的一些基本操作，另外還了解了 RedisDump 對數據導入導出做了演示，由于其便捷和高效性，在后文我們會利用 Redis 實現很多架構，如維護代理池、Cookies 池、ADSL 撥號代理池、ScrapyRedis 分布式架構等，所以 Redis 的操作需要好好掌握。

上一篇文章：Python3網絡爬蟲實戰---33、數據存儲：非關系型數據庫存儲:MongoDB
下一篇文章：Python3網絡爬蟲實戰---35、 Ajax數據爬取