0555-6.1.0-使用Python並發訪問認證和非認證集群

• 2019 年 11 月 27 日
• 筆記

1

文檔編寫目的

Fayson在前面的文章《0553-6.1.0-如何使用Java代碼同時訪問安全和非安全CDH集群》和《0554-6.1.0-同一java進程中同時訪問認證和非認證集群的問題（續）》，本篇文檔主要介紹如何使用Python並發訪問認證的集群和非認證的集群。

• 測試環境：CDH6.1.0

2

集群準備

1.非認證集群，在該集群中根目錄下創建了一個NONEKRBCDH目錄用以標識

該非認證集群已啟用高可用,節點為：cdh235.fayson.com;cdh236.fayson.com

2.認證集群，在該集群中根目錄下創建了一個KRBCDH目錄用以標識

該認證集群已啟用高可用,節點為：cdh3.fayson.com;cdh4.fayson.com

3

代碼說明

1.這裡主要使用的模塊有hdfs,hdfs的第三方擴展包requests_kerberos以及subprocess:

pip install hdfs  pip install requests_kerberos  pip install subprocess

2.Python示例代碼

import subprocess  import hdfs  from hdfs.ext.kerberos import KerberosClient  from hdfs import *  import os  import threading  import time    kt_cmd = 'kinit -kt /root/krbconf/hive.keytab [email protected]' #認證憑據  status = subprocess.call([kt_cmd], shell=True)    if status != 0:  print("kinit ERROR:")  print(subprocess.call([kt_cmd], shell=True))  exit()    noneclient=Client("http://cdh235.fayson.com:50070;http://cdh236.fayson.com:50070") #創建非認證集群客戶端  krbclient=KerberosClient('http://cdh3.fayson.com:50070;http://cdh4.fayson.com:50070') #創建認證集群客戶端    def listfiles(client,s):  for i in range(0,3):  time.sleep(s)  print threading.currentThread()  for path in client.list("/"):  print path        print 「********************************」  nonethread=threading.Thread(target=listfiles,args=(noneclient,3)) #創建訪問非認證集群的線程  krbthread=threading.Thread(target=listfiles,args=(krbclient,4)) #創建訪問認證集群的線程  nonethread.start()  krbthread.start()

3.示例代碼運行驗證