爬蟲+django，打造個性化API介面
簡述
今天也是同事在做微信小程式的開發，需要音樂介面的測試，可是用網易雲的開放介面比較麻煩，也不能進行測試，這裡也是和我說了一下，所以就用爬蟲寫了個簡單網易雲歌曲URL的爬蟲，把數據存入mysql資料庫，再利用django封裝裝了一個簡單的API介面，給同事測試使用。
原理
創建django項目，做好基礎的配置，在views里寫兩個方法，一個是從mysql資料庫中查數據然後封裝成API，一個是爬蟲方法，數據扒下來以後，通過django的ORM把數據插入到mysql資料庫中。
這裡的路由也是對應兩個，一個是爬蟲的請求路由（就是運行路由），一個是介面路由，MODEL層里也是為了方便，就設了兩個欄位，一個是歌曲名稱，一個是URL地址。
程式碼如下
views文件程式碼
from django.shortcuts import render,HttpResponse
import requests
from lxml import etree
from .models import Api
# Create your views here.
def api_wy(request):
api = Api.objects.all()
return render(request, "index.html",locals())
def pc(request):
url = '//music.163.com/discover/toplist?id=3779629'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'
}
data = requests.get(url=url, headers=headers)
html = etree.HTML(data.text)
music_list = html.xpath('//ul[@class="f-hide"]/li/a')
music_lis = [] # 存放歌曲資訊
for music in music_list:
music_name = music.xpath('./text()')[0] # 獲取歌曲名稱
music_id_all = music.xpath('./@href')[0] # 獲取a標籤內容
music_id = music_id_all.split('=')[-1] # 將a標籤內容進行數據清洗,提取歌曲的id
download_music = music_name + ' ' + f'//music.163.com/song/media/outer/url?id={music_id}.mp3' # 將歌曲名稱和url進行拼接
music_lis.append(download_music)
print(download_music)
for url in music_lis:
try:
url_name = url.split(' ')[0] # 獲取名稱
url_music = url.split(' ')[1] # 獲取url
Api.objects.create(name=url_name,url=url_music)
print("正在插入數據")
except:
print("charushibai")
return HttpResponse("正在下載")
URL路由文件
from django.contrib import admin
from django.urls import path
from api.views import api_wy,pc
urlpatterns = [
path('admin/', admin.site.urls),
path('api/',api_wy),
path("pc/",pc),
]
Models層面
from django.db import models
# Create your models here.
class Api(models.Model):
name = models.CharField('歌曲名稱', max_length=100)
url = models.CharField("歌曲地址",max_length=300)
class Meta:
verbose_name = '歌曲API'
verbose_name_plural = verbose_name
def __str__(self):
return self.name
其他的也就沒什麼可說的了，也是一個比較簡單的測試需求，就是為了省點事情才弄得
好了，今天就到這了，拜拜
