徹底理解Hive中的鎖

前面遇到過一次因為Hive中表被鎖住了，導致定時任務一直失敗。這兩天又出現了表被鎖，原因是連接hiveserver2過於頻繁，mysql連接被打滿，引發的連鎖反應，導致我們的小時任務一直失敗，下午重點注意到這個問題，才解決好。

Hive中的鎖

在執行insert into或insert overwrite任務時，中途手動將程式停掉，會出現卡死情況（無法提交MapReduce），只能執行查詢操作，而drop insert操作均不可操作，無論執行多久，都會保持卡死狀態。

查看Hive的中死鎖，可以使用show locks [table]來查看。

可以看到裡面的那個Type下的EXCLUSIVE，這是一種互斥鎖，需要解決，否則後續的查詢和插入任務都會影響。

hive存在兩種鎖，共享鎖Shared (S)和互斥鎖Exclusive (X）

鎖	S	X
S	是	否
X	否	否

鎖的基本機制是：

觸發共享鎖的操作是可以並發執行的，但是觸發互斥鎖，那麼該表和該分區就不能並發的執行作業了。

對於上面的情況，使用解鎖命令：

unlock table tableName

注意：表鎖和分區鎖是兩個不同的鎖，對錶解鎖，對分區是無效的，分區需要單獨解鎖

查看錶被鎖的情況：

show locks tableName

常規解鎖方法：

unlock table 表名;  -- 解鎖表
unlock table 表名 partition(dt='2014-04-01');  -- 解鎖某個分區

高版本hive默認插入數據時，不能查詢，因為有鎖

解鎖之路通常不是一帆風順的，可能會遇到各種問題，筆者是在Hive2.1.1下面測試，比如：

這個命令無法執行，說LockManager沒有指定，這時候需要執行命令：

set hive.support.concurrency=true;
set hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager;

這樣重新執行，命令就可以執行了

如果還！是！不！行，終極方法，可以直接去mysql元數據執行：

select * from HIVE_LOCKS;

查到所有的鎖，然後根據條件把對應的鎖刪掉，這個鎖住的表即可釋放出來了。

delete from HIVE_LOCKS where HL_DB = 'cdn' and HL_TABLE = 'cdn_log';

注意：表名和欄位都需要大寫。

通過這種辦法，通常可以徹底解決鎖的問題。

Tags: hive