0555-6.1.0-使用Python并发访问认证和非认证集群

• 2019 年 11 月 27 日
• 笔记

1

文档编写目的

Fayson在前面的文章《0553-6.1.0-如何使用Java代码同时访问安全和非安全CDH集群》和《0554-6.1.0-同一java进程中同时访问认证和非认证集群的问题（续）》，本篇文档主要介绍如何使用Python并发访问认证的集群和非认证的集群。

• 测试环境：CDH6.1.0

2

集群准备

1.非认证集群，在该集群中根目录下创建了一个NONEKRBCDH目录用以标识

该非认证集群已启用高可用,节点为：cdh235.fayson.com;cdh236.fayson.com

2.认证集群，在该集群中根目录下创建了一个KRBCDH目录用以标识

该认证集群已启用高可用,节点为：cdh3.fayson.com;cdh4.fayson.com

3

代码说明

1.这里主要使用的模块有hdfs,hdfs的第三方扩展包requests_kerberos以及subprocess:

pip install hdfs  pip install requests_kerberos  pip install subprocess

2.Python示例代码

import subprocess  import hdfs  from hdfs.ext.kerberos import KerberosClient  from hdfs import *  import os  import threading  import time    kt_cmd = 'kinit -kt /root/krbconf/hive.keytab [email protected]' #认证凭据  status = subprocess.call([kt_cmd], shell=True)    if status != 0:  print("kinit ERROR:")  print(subprocess.call([kt_cmd], shell=True))  exit()    noneclient=Client("http://cdh235.fayson.com:50070;http://cdh236.fayson.com:50070") #创建非认证集群客户端  krbclient=KerberosClient('http://cdh3.fayson.com:50070;http://cdh4.fayson.com:50070') #创建认证集群客户端    def listfiles(client,s):  for i in range(0,3):  time.sleep(s)  print threading.currentThread()  for path in client.list("/"):  print path        print “********************************”  nonethread=threading.Thread(target=listfiles,args=(noneclient,3)) #创建访问非认证集群的线程  krbthread=threading.Thread(target=listfiles,args=(krbclient,4)) #创建访问认证集群的线程  nonethread.start()  krbthread.start()

3.示例代码运行验证