Python 部落格園快速備份腳本
- 2022 年 9 月 3 日
- 筆記
- Python 爬蟲開發, Python 編程筆記
鑒於有些小夥伴在尋找部落格園遷移到個人部落格的方案,本人針對部落格園實現了一個自動備份腳本,可以快速將部落格園中自己的文章備份成Markdown格式的獨立文件,備份後的md文件可以直接放入到hexo部落格中,快速生成自己的站點,而不需要自己逐篇文章遷移,提高了備份文章的效率。
首先第一步將部落格園主題替換為codinglife
默認主題,第二步登錄到自己的部落格園後台,然後選擇部落格備份
,備份所有的隨筆文章,如下所示:
備份出來以後將其命名為backup.xml
,然後新建一個main.py
腳本,以及一個blog
目錄,程式碼實現的原理是,解析xml格式並依次提取出文檔內容,然後分別保存為markdown文件。
轉存文章到MD: 寫入備份腳本,程式碼如下所示,運行後即可自動轉存文件到blog目錄
下,當運行結束後備份也就結束了。
# powerby: LyShark
# blog: www.cnblogs.com/lyshark
from bs4 import BeautifulSoup
import requests, os,re
header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) By LyShark CnblogsBlog Backup Script"}
# 獲取文章,並轉成markdown
# blog: www.lyshark.com
def GetMarkDown(xml_file):
con = open(xml_file, 'r', encoding='utf8').read()
# 每篇文章都在 <item> 標籤里
items = re.findall("<item>.*?</item>", con, re.I | re.M | re.S)
ele2 = ['<title>(.+?)</title>', '<link>(.+?)</link>', '<description>(.+?)</description>']
# md_name = xml_file.split('.xml')[0] + '.md'
for item in items:
try:
title = re.findall(ele2[0], item, re.I | re.S | re.M)[0]
link = re.findall(ele2[1], item, re.I | re.S | re.M)[0]
des = re.findall(ele2[2], item, re.I | re.S | re.M)[0]
des = re.findall('<!\[CDATA\[(.+?)\]\]>', des, re.I | re.S | re.M)[0] # CDATA 裡面放的是文章的內容
des = des.replace('~~~', "```")
lines = des.split('\n')
with open("./blog/" + title.replace("/","") + ".md", mode='w+', encoding='utf8') as f:
f.write("---\n")
f.write("title: '{}'\n".format(title.replace("##","").replace("###","").replace("-","").replace("*","").replace("<br>","").replace(":","").replace(":","").replace(" ","").replace(" ","").replace("`","")))
f.write("copyright: true\n")
setdate = "2018-12-27 00:00:00"
try:
# 讀取時間
response = requests.get(url=link, headers=header)
print("讀取狀態: {}".format(response.status_code))
if response.status_code == 200:
bs = BeautifulSoup(response.text, "html.parser")
ret = bs.select('span[id="post-date"]')[0]
setdate = str(ret.text)
pass
else:
f.write("date: '2018-12-27 00:00:00'\n")
except Exception:
f.write("date: '2018-12-27 00:00:00'\n")
pass
f.write("date: '{}'\n".format(setdate))
# description檢測
description_check = lines[0].replace("##","").replace("###","").replace("-","").replace("*","").replace("<br>","").replace(":","").replace(":","").replace(" ","").replace(" ","")
if description_check == "":
f.write("description: '{}'\n".format("該文章暫無概述"))
elif description_check == "```C":
f.write("description: '{}'\n".format("該文章暫無概述"))
elif description_check == "```Python":
f.write("description: '{}'\n".format("該文章暫無概述"))
else:
f.write("description: '{}'\n".format(description_check))
print("[*] 時間: {} --> 標題: {}".format(setdate, title))
f.write("tags: '{}'\n".format("tags10245"))
f.write("categories: '{}'\n".format("categories10245"))
f.write("---\n\n")
f.write('%s' %des)
f.close()
except Exception:
pass
if __name__ == "__main__":
GetMarkDown("backup.xml")
備份後的效果如下所示:
打開Markdown格式看一下,此處的標籤和分類使用了一個別名,在備份下來以後,你可以逐個區域進行替換,將其替換成自己需要的分類類型即可。
轉存圖片到本地: 接著就是繼續循環將部落格中所有圖片備份下來,同樣新建一個image文件夾
,並運行如下程式碼實現備份。
# powerby: LyShark
# blog: www.cnblogs.com/lyshark
from bs4 import BeautifulSoup
import requests, os,re
header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) By LyShark CnblogsBlog Backup Script"}
# 從備份XML中找到URL
# blog: www.cnblogs.com/lyshark
def GetURL(xml_file):
blog_url = []
con = open(xml_file, 'r', encoding='utf8').read()
items = re.findall("<item>.*?</item>", con, re.I | re.M | re.S)
ele2 = ['<title>(.+?)</title>', '<link>(.+?)</link>', '<description>(.+?)</description>']
for item in items:
title = re.findall(ele2[0], item, re.I | re.S | re.M)[0]
link = re.findall(ele2[1], item, re.I | re.S | re.M)[0]
print("標題: {} --> URL: {} ".format(title,link))
blog_url.append(link)
return blog_url
# 下載所有圖片
# blog: www.lyshark.com
def DownloadURLPicture(url):
params = {"encode": "utf-8"}
response = requests.get(url=url, params=params, headers=header)
# print("網頁編碼方式: {} -> {}".format(response.encoding,response.apparent_encoding))
context = response.text.encode(response.encoding).decode(response.apparent_encoding, "ignore")
try:
bs = BeautifulSoup(context, "html.parser")
ret = bs.select('div[id="cnblogs_post_body"] p img')
for item in ret:
try:
img_src_path = item.get("src")
img_src_name = img_src_path.split("/")[-1]
print("[+] 下載圖片: {} ".format(img_src_name))
img_download = requests.get(url=img_src_path, headers=header, stream=True)
with open("./image/" + img_src_name, "wb") as fp:
for chunk in img_download.iter_content(chunk_size=1024):
fp.write(chunk)
except Exception:
print("下載圖片失敗: {}".format(img_src_name))
pass
except Exception:
pass
if __name__ == "__main__":
url = GetURL("backup.xml")
for u in url:
DownloadURLPicture(u)
備份後的效果如下:
替換文章內的圖片鏈接地址,可以使用編輯器,啟用正則批量替換。
當把部落格備份下來以後你就可以把這些文章拷貝到hexo
部落格_post
目錄下面,然後hexo
命令快速渲染生成部落格園的鏡像站點,這樣也算是增加雙保險了。