redis中lua腳本的簡單使用

一、背景

在使用redis的過程中，發現有些時候需要原子性去操作redis命令，而redis的lua腳本正好可以實現這一功能。比如： 扣減庫存操作、限流操作等等。
redis的pipelining雖然也可以一次執行一組命令，但是如果在這一組命令的執行過程中，需要根據上一步執行的結果做一些判斷，則無法實現。

二、使用lua腳本

Redis中使用的是 Lua 5.1 的腳本規範，同時我們編寫的腳本的時候，不需要定義 Lua 函數。同時也不能使用全局變量等等。

1、lua腳本的格式和注意事項

1、格式

EVAL script numkeys key [key …] arg [arg …]

127.0.0.1:6379> eval "return {KEYS[1],ARGV[1],ARGV[2]}" 1 key1 arg1 arg2
1) "key1"
2) "arg1"
3) "arg2"
127.0.0.1:6379>

解釋

2、注意事項

Lua腳本中的redis操作的key最好都是通過 KEYS來傳遞，而不要寫死。否則在Redis Cluster的情況下可能有問題.

Lua中KEYS的規範

1、好的寫法

127.0.0.1:6379> eval "return redis.call('set',KEYS[1],'zhangsan')" 1 username
OK
127.0.0.1:6379> get username
"zhangsan"

redis命令操作的key是通過KEYS獲取的。

2、差的寫法

127.0.0.1:6379> eval "return redis.call('set','username','zhangsan')" 0
OK
127.0.0.1:6379> get username
"zhangsan"

redis命令操作的key是直接寫死的。

2、將腳本加載到redis中

需求： 此處定義一個lua腳本，將輸入的參數的值+1返回。

注意：

當我們把 lua腳本加載到redis中，這個腳本並不會馬上執行，而是會緩存起來，並且返回sha1校驗和，後期我們可以通過 EVALSHA 來執行這個腳本。

此處我們記住這個腳本加載後返回的hash值，在下一步執行的時候需要用到。

127.0.0.1:6379> script load "return tonumber(KEYS[1])+1"
"ef424d378d47e7a8b725259cb717d90a4b12a0de"
127.0.0.1:6379>

3、執行lua腳本

1、通過eval執行

127.0.0.1:6379> eval "return tonumber(KEYS[1]) + 1" 1 100
(integer) 101
127.0.0.1:6379>

2、通過evalsha執行

ef424d378d47e7a8b725259cb717d90a4b12a0de的值為上一步通過 script load加載腳本後獲取的。

127.0.0.1:6379> evalsha ef424d378d47e7a8b725259cb717d90a4b12a0de 1 100
(integer) 101
127.0.0.1:6379>

通過 evalsha 執行的好處是可以節省帶寬。如果我們的lua腳本比較長，程序在執行的時候將lua腳本發送到redis服務器則可能耗費的帶寬多，如果發送的是hash值的話，則耗費的帶寬少。

4、判斷腳本是否在redis服務器緩存中

127.0.0.1:6379> script load "return tonumber(KEYS[1])+1"
"ef424d378d47e7a8b725259cb717d90a4b12a0de"
127.0.0.1:6379> script exists ef424d378d47e7a8b725259cb717d90a4b12a0de
1) (integer) 1
127.0.0.1:6379> script exists not-exists-sha1
1) (integer) 0
127.0.0.1:6379>

5、清空服務器上的腳本緩存

注意：
我們無法清除某一個腳本的緩存，只可以清楚所有的緩存，一般情況下沒有必要清楚，因為即使有大量的腳本也不會太佔用服務器內存。


127.0.0.1:6379> script load "return tonumber(KEYS[1])+1"
"ef424d378d47e7a8b725259cb717d90a4b12a0de"
127.0.0.1:6379> script exists ef424d378d47e7a8b725259cb717d90a4b12a0de
1) (integer) 1
127.0.0.1:6379> script flush
OK
127.0.0.1:6379> script exists ef424d378d47e7a8b725259cb717d90a4b12a0de
1) (integer) 0

清空服務器上的腳本緩存

6、殺死正在運行的腳本

127.0.0.1:6379> script kill

注意：

  1. 該命令只可以殺死正在運行的 只讀腳本。
  2. 對於修改了數據的腳本，無法使用此命令殺死，只能使用 shutdown nosave命令。
  3. 腳本執行的默認超時時間為 5分鐘，可以通過redis.conf配置文件的lua-time-limit配置項修改。
  4. 腳本即使到達了超時時間，也不會停止執行，因為這違反了lua腳本的原子性。

三、lua和redis數據類型轉換

Lua的數據類型和Redis的數據類型存在一對一的轉換關係，如果將Redis類型轉換成Lua類型，然後在轉換成Redis類型，那麼結果和初試值是一致的。

1、類型轉換

Redis to Lua conversion table.

  • Redis integer reply -> Lua number
  • Redis bulk reply -> Lua string
  • Redis multi bulk reply -> Lua table (may have other Redis data types nested)
  • Redis status reply -> Lua table with a single ok field containing the status
  • Redis error reply -> Lua table with a single err field containing the error
  • Redis Nil bulk reply and Nil multi bulk reply -> Lua false boolean type

Lua to Redis conversion table.

  • Lua number -> Redis integer reply (the number is converted into an integer)
  • Lua string -> Redis bulk reply
  • Lua table (array) -> Redis multi bulk reply (truncated to the first nil inside the Lua array if any)
  • Lua table with a single ok field -> Redis status reply
  • Lua table with a single err field -> Redis error reply
  • Lua boolean false -> Redis Nil bulk reply.

2、額外的轉換規則

  1. Lua的布爾類型，Lua的True會轉換成Redis的1

3、3個重要規則

1. 數字類型

在Lua中，只有一個number類型，整數和浮點數之間沒有區別，如果我們在Lua中返回一個浮點數，實際返回的是一個整數，如果要返回浮點數，需要以字符串的方式返回。

127.0.0.1:6379> eval "return 3.98" 0
(integer) 3
127.0.0.1:6379> eval "return '3.98'" 0
"3.98"

2. lua數組存在nil

當 Redis 將 Lua 數組轉換為 Redis 協議時，如果遇到 nil，則轉換會停止。即 nil 後的值都不會返回。

127.0.0.1:6379> eval "return {1,2,'data',nil,'can not return value','vv'}" 0
1) (integer) 1
2) (integer) 2
3) "data"
127.0.0.1:6379>

3. Lua的Table類型包含建和值

出現這種情況返回的redis的是一個空數組

127.0.0.1:6379> eval "return {key1 ='value1',key2='value2'}" 0
(empty array)
127.0.0.1:6379>

四、lua腳本中輸出日誌

這個一般調試我們的腳本的時候比較有用。

redis.log(loglevel,message)

loglevel的取值範圍：

  • redis.LOG_DEBUG
  • redis.LOG_VERBOSE
  • redis.LOG_NOTICE
  • redis.LOG_WARNING

舉例：

打印lua腳本日誌.png

五、一個簡單限流的案例

1、需求

在 1s 之內，方法最大的並發只能是 5。

1s 和 5 當作參數傳遞。

2、實現步驟

1、編寫lua腳本


-- 輸出用戶傳遞進來的參數
for i, v in pairs(KEYS) do
    redis.log(redis.LOG_NOTICE, "limit: key" .. i .. " = " .. v)
end
for i, v in pairs(ARGV) do
    redis.log(redis.LOG_NOTICE, "limit: argv" .. i .. " = " .. v)
end

-- 限流的key
local limitKey = tostring(KEYS[1])
-- 限流的次數
local limit = tonumber(ARGV[1])
-- 多長時間過期
local expireMs = tonumber(ARGV[2])

-- 當前已經執行的次數
local current = tonumber(redis.call('get', limitKey) or '0')

-- 設置一個斷點
redis.breakpoint()

redis.log(redis.LOG_NOTICE, "limit key: " .. tostring(limitKey) .. " 在[" .. tostring(expireMs) .. "]ms內已經訪問了 " .. tostring(current) .. " 次,最多可以訪問: " .. limit .. " 次")

-- 限流了
if (current + 1 > limit) then
    return { true }
end

-- 未達到訪問限制
-- 訪問次數+1
redis.call("incrby", limitKey, "1")
if (current == 0) then
    -- 設置過期時間
    redis.call("pexpire", limitKey, expireMs)
end

return { false }

2、程序中執行lua腳本

程序中執行lua腳本

完整代碼: //gitee.com/huan1993/spring-cloud-parent/tree/master/springboot/springboot-redis-lua

六、lua腳本的debug

當我們編寫好了lua腳本後，如果在執行的過程中發生了錯誤，那麼我們如何該如何解決呢？此處我們來了解下如何debug lua 腳本。

1、lua腳本中的幾個小命令

在 腳本中打一個斷點

redis.breakpoint()

2、斷點調試

1、執行命令


redis-cli --ldb --eval limit.lua invoked , 1 1000

limit.lua 需要debug的lua文件
invoked 為傳遞到 lua 腳本中 KEYS 的值
1 和 1000 為傳遞到 lua 腳本中 ARGV 的值

, 分割 出 KEYS 和 ARGV 的值

2、一些debug指令

  • help： 列出可用的debug指令
  • s 或 n： 運行到當前行並停止 （此時當前行還未執行）
  • c：運行到下個斷點，即運行到lua腳本中存在 redis.breakpoint()方法的地方
  • list：列出當前行周圍的一些源碼
  • p：打印出所有的 local 變量的值
  • p <var>：打印具體的某個 local 變量的值
  • r：執行 redis 命令
-- eg:
r set key value 
r get key

3、debug運行結果

lua debug.gif

七、參考文檔

  1. //redis.io/topics/ldb
  2. //redis.io/commands/eval
Tags:

VirMach 便宜 VPS

QNews

QNews