python 多线程实现定期更新ip库
- 2020 年 1 月 7 日
- 筆記
通过最近监控发现，使用第三方Cdn公司的带宽偏高。由于最近没有增加新的业务。感觉其中肯定有问题。按照我们的Cahe架构，用户首先到我们自建Cache节点获取数据，如果该区域没有我们的节点，会去第三方节点进行取数据。具体架构如下：
用户无论在我们自建Cache节点还是第三方Cache节点取数据，域名解析都是通过我们自己的DNS进行解析。所以可以通过DNS 的log查询哪些节点使用了第三方Cdn公司Cache节点。对使用第三方Cdn公司Cache节点的用户，分析用户的Local dns所在的区域，方便优化自建Cache节点覆盖率。
解决方案：
- 首先获取所有用户访问第三方用户的localDNS
- 然后通过互联网提供的开放API接口，查询local DNS的归属地。
- 对查询过后的数据通过文件或者其它数据格式，传送到ip库平台。
- 通过ip库平台的ip库记录和获取到用户local dns准确性进行审核，然后经新的ip更新到ip库。
- 根据用户覆盖率，对自建Cache节点优化。
使用多线程和队列技术，完成前三步工作：
#!/usr/bin/env python #-*- coding:utf-8 -*- from subprocess import PIPE, Popen from Queue import Queue import time, urllib2, threading import json #对请求到第三方Cache节点的数据，筛选出来 。 def parserLog(): cmd = "sed '/ANY/p' dns_logs.0 | awk -F' ' '{print $6}'" p = Popen(cmd, shell=True, stdout=PIPE, stderr=PIPE) stdout, stderr = p.communicate() data = stdout.strip() data = data.split('n') return data #获取所有请求到第三方Cache节点的用户local DNS。 def getIp(): ld = [] data = parserLog() for i in data: if i.split('#')[0] not in ld: ld.append(i.split('#')[0]) return ld #使用多线程和队列技术 #通过开放的API接口，将用户local DNS ip地址传给该API接口，返回用户的归属地信息。 #将所有的归属地信息保存至文件，然后通过第三方方式，将该文件传送到IP 库平台 #通过其它程序进行处理 class ThreadClass(threading.Thread): def __init__(self, queue): threading.Thread.__init__(self) self.queue = queue def run(self): ld=[] dc={} dt={} while True: host = self.queue.get() try: data = urllib2.urlopen('http://ip.taobao.com/service/getIpInfo.php?ip=%s' % host).read() with open('dns.txt', 'a') as fd: fd.write(data+'n') time.sleep(1) self.queue.task_done() except: pass def main(): queue = Queue() for i in range(15): t = ThreadClass(queue) t.setDaemon(True) t.start() hosts = getIp() for host in hosts: queue.put(host) queue.join() if __name__ == "__main__": st = time.time() main() print '%f'%(time.time()-st)
定期执行该脚本，收集用户Local DNS并查询归属地。然后发送到ip库管理平台对该信息进行格式化和比较，最后入库。
