资源君带你抓取网站数据

• 2019 年 10 月 4 日
• 笔记

温馨提示

本文阅读需要5分钟左右

1.写在前面的话

这是公众号Java模板（跟资源君一起学Java）的第一篇推文，资源君创建这个模板也是为了监督自己不断的学习，并且不断的跟大家一起分享编程当中的一些好玩的东西。我也希望通过这个模板，大家一起进步！Java和python两个模板大概一周会推出两篇文章左右，因为资源君平时也没有太多的时间，所以请各位见谅了！

2.基础知识

jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.

上面是官方给的jsoup官方解释，中文意思是 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

总的来说，就是可以帮我们解析HTML页面，并且可以抓取html里面的内容。

3.开始写代码

我们的目标是抓取菜鸟笔记上的信息（文章标题和链接）

public static void main(String[] args) {       try {           //下面这行代码是连接我们的目标站点，并且get到他的静态HTML代码      Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();           //我们把获取到的document打印一下，看看里面到底是啥？      System.out.println(document);    } catch (IOException e) {      e.printStackTrace();    }   }

看我们代码运行后的结果：

你会发现我们通过这一句就获得了“菜鸟笔记”这个网站的HTML源码

我们来分析一下这串html源码

发现这两个正是我们所想要得到的数据，我们继续抓取

public static void main(String[] args) {       try {      Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();      //底下一行代码是我们进一步抓取到具体的HTML模块，div表示<div>标签，              //后面的post-intro表示的是div的class              //由于div.post-intro这个标签有多个(每个标题有一个)，所以我们先获取到它的所有              Elements elements=document.select("div.post-intro");              //我们来遍历一下，因为div.post-intro有很多个      for(int i=0;i<elements.size();i++) {             //下面一行我们获取到文章的标题，可以结合图片来分析             // get(i)是为了获取每个div里面的<a>标签。后面的text()，就是获取<a></a>中的内容        String title=elements.select("a").get(i).text();             //attr是获取<a href="">里面的属性        String url=elements.select("a").get(i).attr("href");             //分别打印出来        System.out.println(title);        System.out.println("http://www.runoob.com/"+url);      }    } catch (IOException e) {      e.printStackTrace();    }   }

这样我们就抓取到我们想要的内容了！