最全總結 | 聊聊 Python 數據處理全家桶（Redis篇）

2020 年 9 月 23 日
筆記
Python, Redis, 數據處理, 資料庫, 高效率

1. 前言

前面兩篇文章聊到了 Python 處理 Mysql、Sqlite 資料庫常用方式，本篇文章繼續說另外一種比較常用的數據存儲方式：Redis

Redis：Remote Dictionary Server，即：遠程字典服務，Redis 底層使用 C 語言編寫，是一款開源的、基於記憶體的 NoSql 資料庫

由於 Redis 性能遠超其他資料庫，並且支援集群、分散式及主從同步等優勢，所以經常用於快取數據、高速讀寫等場景

本篇文章就聊聊 Python 操作 Redis 正確的姿勢

2. 準備

我們以在雲伺服器 Centos 7.8 安裝 Redis-Server 為例

首先，安裝在雲伺服器上 Redis 資料庫

# 下載epel倉庫
yum install epel-release

# 安裝redis
yum install redis

然後，通過 vim 命令修改 Redis 配置文件，打開遠程連接，設置連接密碼

配置文件目錄：/etc/redis.conf

bind 更改為 0.0.0.0，容許外網訪問
requirepass 設置一個訪問密碼

# vim /etc/redis.conf
# 1、bing從127.0.0.1修改為:0.0.0.0，開放遠程連接
bind 0.0.0.0 

# 2、設置密碼
requirepass 123456

需要指出的是，為了保證雲伺服器數據安全，Redis 開放遠程訪問的時候，一定要加強密碼

接著，啟動 Redis 服務，開啟防火牆和埠，配置雲伺服器安全組

默認情況下，Redis 服務使用的埠號是 6379

另外，需要在雲伺服器安全組進行配置，保證 Redis 資料庫能正常連接

# 啟動Redis服務，默認redis埠號是6379
systemctl start redis 

# 打開防火牆
systemctl start firewalld.service

# 開放6379埠
firewall-cmd --zone=public --add-port=6379/tcp --permanent   

# 配置立即生效
firewall-cmd --reload

完成以上操作，我們就可以通過 Redis-CLI 或 Redis 客戶端工具進行連接了

最後，要使用 Python 操作 Redis，我們需要使用 pip 安裝一個依賴

# 安裝依賴，便於操作redis
pip3 install redis

3. 實戰

在操作 Redis 中的數據之前，我們需要利用 Host、埠號、密碼實例化一個 Redis 連接對象

from redis import Redis

class RedisF(object):

    def __init__(self):
        # 實例化Redis對象
        # decode_responses=True，如果不加則寫入的為位元組類型
        # host：遠程連接地址
        # port：Redis埠號
        # password：Redis授權密碼
        self.redis_obj = Redis(host='139.199.**.**',port=6379,password='123456',decode_responses=True,charset='UTF-8', encoding='UTF-8')

接下來我們以操作字元串、列表、set 集合、zset 集合、哈希表、事務為例，講講 Python 操作這些數據的方法

1、字元串操作

操作字元串有兩種方式，操作方法分別是：set() 和 mset()

其中：set() 一次只能保存一個值，參數意義如下

name：key，代表鍵
value：value，待保存的值
ex：過期時間，以秒為單位，如果不設置，則永久不過期；否則，過期則刪除
px：過期時間，以毫秒為單位
nx/xx：set 操作是否執行與 name 鍵是否存在有關

獲取值和刪除值的操作方法分別為：get(Key)、 delete(Key or Keys)

# set()：單字元串操作
# 添加一個值，並設置超時時間為120s
 self.redis_obj.set('name', 'airpython', ex=120)

# get()：獲取這個值
print(self.redis_obj.get('name'))

# delete()：刪除一個值或多個值
self.redis_obj.delete('name')
print(self.redis_obj.get('name'))

對於多值數據的設置，只需要調用 mset() 方法，將待插入的數據以鍵值對組成一個字典作為參數即可

同理，Redis 提供了 mget()方法，可以一次獲取多個鍵的值

# mset()：設置多個值
self.redis_obj.mset({"foo": "foo1", "zoo": "zoo1"})

# mget()：獲取多個值
result = self.redis_obj.mget("foo", "zoo")
print(result)

2、列表操作

Redis 提供了很多方法用於操作列表，其中比較常見的如下：

lpush/rpush：將一個值或多個值插入到列表頭部或尾部，其中，lpush 代表頭部插入；rpush 代表尾部插入數據
lset：通過索引，將值插入到列表對應的位置
linsert：在列表元素前面或後面插入數據
lindex：通過索引獲取列表中的某一個元素，其中，0 代表第一個元素；-1 代表最後一個元素
lrange：通過制定起始位置和結束位置，從列表中獲取指定區域的值
llen：獲取列表的長度，如果 Key 對應的列表不存在，返回 0
lpop：移除並返回列表中的第一個元素
rpop：移除並返回列表中的最後一個元素

實例程式碼如下：

def manage_list(self):
    """
    操作列表
    :return:
    """
    # 1、新增一個列表，並左邊插入一個數據
    # 注意：可以一次加入多個元素，也可以一個個元素的加入
    self.redis_obj.lpush('company', '阿里', '騰訊', '百度')

    # 2、移除第一個元素
    self.redis_obj.lpop("company")

    # 3、右邊插入數據
    self.redis_obj.rpush('company', '字節跳動', '小米')

    # 4、移除最後一個元素
    self.redis_obj.rpop("company")

    # 5、獲取列表的長度
    self.redis_obj.llen("company")

    # 6、通過索引，獲取列表中的某一個元素（第二個元素）
    print('列表中第二個元素是：', self.redis_obj.lindex("company", 1))

    # 7、根據範圍，查看列表中所有的值
    print(self.redis_obj.lrange('company', 0, -1))

3、操作 Set 集合

Set 是一個無序的元素集合，集合中的元素不能重複，Redis 同樣提供了很多方法，便於操作 Set 集合

其中，比較常用的方法如下：

sadd：添加元素到集合中，已經存在集合中的元素將被忽略，如果集合不存在，則新建一個集合
scard：返回集合元素的數量
smembers：返回集合中所有元素
srem：移除集合中一個或多個元素，如果元素不存在則忽略
sinter：返回兩個集合的交集，結果依然是一個集合
sunion：返回兩個集合的並集
sdiff：以第一個集合參數為標準，返回兩個集合的差集
sunionstore：計算兩個集合的並集，保存到一個新的集合中
sismember：判斷集合中是否存在某個元素
spop：隨機刪除集合中的一個元素，並返回

具體實例程式碼如下：

def manage_set(self):
    """
    操作set集合
    :return:
    """
    self.redis_obj.delete("fruit")

    # 1、sadd：新增元素到集合中
    # 添加一個元素：香蕉
    self.redis_obj.sadd('fruit', '香蕉')

    # 再添加兩個元素
    self.redis_obj.sadd('fruit', '蘋果', '桔子')

    # 2、集合元素的數量
    print('集合元素數量：', self.redis_obj.scard('fruit'))

    # 3、移除一個元素
    self.redis_obj.srem("fruit", "桔子")

    # 再定義一個集合
    self.redis_obj.sadd("fruit_other", "香蕉", "葡萄", "柚子")

    # 4、獲取兩個集合的交集
    result = self.redis_obj.sinter("fruit", "fruit_other")
    print(type(result))
    print('交集為：', result)

    # 5、獲取兩個集合的並集
    result = self.redis_obj.sunion("fruit", "fruit_other")
    print(type(result))
    print('並集為：', result)

    # 6、差集，以第一個集合為標準
    result = self.redis_obj.sdiff("fruit", "fruit_other")
    print(type(result))
    print('差集為：', result)

    # 7、合併保存到新的集合中
    self.redis_obj.sunionstore("fruit_new", "fruit", "fruit_other")
    print('新的集合為：', self.redis_obj.smembers('fruit_new'))

    # 8、判斷元素是否存在集合中
    result = self.redis_obj.sismember("fruit", "蘋果")
    print('蘋果是否存在於集合中', result)

    # 9、隨機從集合中刪除一個元素，然後返回
    result = self.redis_obj.spop("fruit")
    print('刪除的元素是:', result)

    # 3、集合中所有元素
    result = self.redis_obj.smembers('fruit')

    print("最後fruit集合包含的元素是:", result)

4、操作 zset 集合

zset 集合相比普通 set 集合，是有序的，zset 集合中的元素包含：值和分數，其中分數用於排序

其中，比較常用的方法如下：

zadd：往集合中新增元素，如果集合不存在，則新建一個集合，然後再插入數據
zrange：通過起始點和結束點，返回集合中的元素值（不包含分數）;如果設置withscores=True，則返回結果會帶上分數
zscore：獲取某一個元素對應的分數
zcard：獲取集合中元素個數
zrank：獲取元素在集合中的索引
zrem：刪除集合中的元素
zcount：通過最小值和最大值，判斷分數在這個範圍內的元素個數

實踐程式碼如下：

def manage_zset(self):
    """
    操作zset集合
    :return:
    """
    self.redis_obj.delete("fruit")

    # 往集合中新增元素：zadd()
    # 三個元素分別是："banana", 1/"apple", 2/"pear", 3
    self.redis_obj.zadd("fruit", "banana", 1, "apple", 2, "pear", 3)

    # 查看集合中所有元素（不帶分數）
    result = self.redis_obj.zrange("fruit", 0, -1)
    # ['banana', 'apple', 'pear']
    print('集合中的元素（不帶分數）有：', result)

    # 查看集合中所有元素（帶分數）
    result = self.redis_obj.zrange("fruit", 0, -1, withscores=True)
    # [('banana', 1.0), ('apple', 2.0), ('pear', 3.0)]
    print('集合中的元素（帶分數）有：', result)

    # 獲取集合中某一個元素的分數
    result = self.redis_obj.zscore("fruit", "apple")
    print("apple對應的分數為：", result)

    # 通過最小值和最大值，判斷分數在這個範圍內的元素個數
    result = self.redis_obj.zcount("fruit", 1, 2)
    print("集合中分數大於1，小於2的元素個數有：", result)

    # 獲取集合中元素個數
    count = self.redis_obj.zcard("fruit")
    print('集合元素格式:', count)

    # 獲取元素的值獲取索引號
    index = self.redis_obj.zrank("fruit", "apple")
    print('apple元素的索引為：', index)

    # 刪除集合中的元素：zrem
    self.redis_obj.zrem("fruit", "apple")
    print('刪除apple元素後，剩餘元素為：', self.redis_obj.zrange("fruit", 0, -1))

4、操作哈希

哈希表中包含很多鍵值對，並且每一個鍵都是唯一的

Redis 操作哈希表，下面這些方法比較常用：

hset：往哈希表中添加一個鍵值對值
hmset：往哈希表中添加多個鍵值對值
hget：獲取哈希表中單個鍵的值
hmget：獲取哈希表中多個鍵的值列表
hgetall：獲取哈希表中種所有的鍵值對
hkeys：獲取哈希表中所有的鍵列表
hvals：獲取哈表表中所有的值列表
hexists：判斷哈希表中，某個鍵是否存在
hdel：刪除哈希表中某一個鍵值對
hlen：返回哈希表中鍵值對個數

對應的操作程式碼如下：

def manage_hash(self):
    """
    操作哈希表
    哈希：一個鍵對應一個值，並且鍵不容許重複
    :return:
    """
    self.redis_obj.delete("website")

    # 1、新建一個key為website的哈希表
    # 往裡面加入數據：baidu（field），www.baidu.com(value)
    self.redis_obj.hset('website', 'baidu', 'www.alibababaidu.com')
    self.redis_obj.hset('website', 'google', 'www.google.com')

    # 2、往哈希表中添加多個鍵值對
    self.redis_obj.hmset("website", {"tencent": "www.qq.com", "alibaba": "www.taobao.com"})

    # 3、獲取某一個鍵的值
    result = self.redis_obj.hget("website", 'baidu')
    print("鍵為baidu的值為：", result)

    # 4、獲取多個鍵的值
    result = self.redis_obj.hmget("website", "baidu", "alibaba")
    print("多個鍵的值為:", result)

    # 5、查看hash表中的所有值
    result = self.redis_obj.hgetall('website')
    print("哈希表中所有的鍵值對為：", result)

    # 6、哈希表中所有鍵列表
    # ['baidu', 'google', 'tencent', 'alibaba']
    result = self.redis_obj.hkeys("website")
    print("哈希表，所有的鍵（列表）為:", result)

    # 7、哈希表中所有的值列表
    # ['www.alibababaidu.com', 'www.google.com', 'www.qq.com', 'www.taobao.com']
    result = self.redis_obj.hvals("website")
    print("哈希表，所有的值（列表）為:", result)

    # 8、判斷某一個鍵是否存在
    result = self.redis_obj.hexists("website", "alibaba")
    print('alibaba這個鍵是否存在:', result)

    # 9、刪除某一個鍵值對
    self.redis_obj.hdel("website", 'baidu')
    print('刪除baidu鍵值對後，哈希表的數據包含：', self.redis_obj.hgetall('website'))

    # 10、哈希表中鍵值對個數
    count = self.redis_obj.hlen("website")
    print('哈希表鍵值對一共有：', count)

5、操作事務管道

Redis 支援事務管道操作，能夠將幾個操作統一提交執行

操作步驟是：

首先，定義一個事務管道
然後通過事務對象去執行一系列操作
提交事務操作，結束事務操作

下面通過一個簡單的例子來說明：

def manage_steps(self):
    """
    執行事務操作
    :return:
    """
    # 1、定義一個事務管道
    self.pip = self.redis_obj.pipeline()

    # 定義一系列操作
    self.pip.set('age', 18)

    # 增加一歲
    self.pip.incr('age')

    # 減少一歲
    self.pip.decr('age')

    # 執行上面定義3個步驟的事務操作
    self.pip.execute()

    # 判斷
    print('通過上面一些列操作，年齡變成:', self.redis_obj.get('age'))

4.最後

本篇文章通過 Python 實現了對 Redis 常見數據的操作，受限於篇幅，沒法對 Redis 中一些不常用的方法沒法進行展開說明

我已經將文中全部源碼上傳到後台，關注公眾號「 AirPython 」後回復「 dball 」即可獲得全部源碼

如果你覺得文章還不錯，請大家 點贊、分享、留言下，因為這將是我持續輸出更多優質文章的最強動力！

推薦閱讀

聊聊 Python 數據處理全家桶（Mysql 篇）

聊聊 Python 數據處理全家桶（Sqlite 篇）

Python 如何使用 HttpRunner 做介面自動化測試

Tags: Python Redis 數據處理資料庫高效率