python實現切割url得到域名、協議

• 2020 年 1 月 7 日
• 筆記

    有一個需求就是需要對url進行進一步的劃分得到詳細的各個欄位資訊，下面是簡單的實現：

#!/usr/bin/python  # -*- coding: UTF-8 -*-  '''  __Author__:沂水寒城  功能: 對URL進行分割，基於urlparse, publicsuffix, urllib編寫  '''  from urlparse import urlparse  import codecs  from publicsuffix import PublicSuffixList  from urllib import splitport  import re      def domain_split(server_domain):      '''      server_domain為網站所用服務名+域名      分割域名, 得到前綴(服務名)、主機域名、後綴(頂級域名)          輸入www.baidu.com，輸出'www', 'baidu', 'com'          輸入172.31.137.240，輸出'', '172.31.137.240', ''      '''      PSL_FILE = codecs.open('public_suffix_list.dat', encoding='utf8')      psl = PublicSuffixList(PSL_FILE)      domain = psl.get_public_suffix(server_domain)      # 取域名的第一個欄位，即第一個'.'之前的為主機域名, 後面為頂級域名，前面為所使用的服務      if '.' in domain:          server = server_domain[:-len(domain)]          host = domain[:domain.index('.')]          top = domain[domain.index('.'):]          hostname = server + host  + top      else:  # 說明提取域名失敗，例如172.31.137.240等IP形式，此時全部當作主機域名          server = ''          host = server_domain          top = ''          hostname = server_domain      return server, host, top, hostname      def url_split_new(url):      '''      url分割      '''      if not url.startswith('http'):  # 補全協議，否則urlparse出錯          url = 'http://' + url      parts = urlparse(url)      # 服務+域名'www.baidu.api.com.cn'切分      server, host, top, hostname = domain_split(parts.netloc)      host, port = splitport(host)      if port == None: port = ''      return {'protocol': parts.scheme, 'hostname': hostname, 'path': parts.path}      if __name__ == '__main__':      print url_split_new('http://www.baidu.com/')      print url_split('http://www.baidu.com/')