647次阅读 | 发布于4年以前

神器介绍

今天我要介绍一款操作Html文档非常好用的Java插件，强烈安利！因为实在太好用了！

“Jsoup 是一款纯Java实现，可以非常方便读取和操作Html文档的一款插件。她的API跟jQuery非常相似。我都甚至怀疑创造者是否是jQuery的忠实粉丝。

”

读完本文，你能做哪些“坏事”？

问答系统的问题与答案自动收集
购物网站比价系统
电话号码收集系统
新闻数据分析
爬虫房产网站做房产数据分析
特定信息收集系统
获取网页上的股票数据，进行股票分析
.....更多功能等你去发挥了!

我选择她的原因

其解析器能够尽最大可能从你提供的HTML文档来创建一个干净完整的解析结果，不管你提供的HTML的格式是否完整。这样就可以完美解决一些不规范的html文档读取的时候，容易报错，太影响开发进度了，并且，影响了程序的健壮性。动不动就报Html格式不规范的错误，想想都怕了。

例如：

没有关闭的标签（她会帮你自动补充完整，比如：Lorem Ipsum 会帮你改为 Lorem Ipsum ）
隐式标签（如果你是一个喜欢偷懒的人，少写了一些Tag，她也会自动帮你填补成正规规范的样子滴，比如: Table data包装成

）
创建可靠的文档结构 (比你自己手打的html结构还要规范，html标签包含head 和 body，在head只出现恰当的元素)

代码实操

加载html文档

大家可以随便拿个网页来操作一下，我就随手了我自己微信公众号的一篇原创文章作为我的例子去讲解了。为了简化讲解流程，本文就不讲爬虫技术这部分内容了，跳过使用爬虫技术获取网页。

本文简单一点，直接人手保存一个网页Html代替爬虫自动抓取网页动作了。

把html文件加载到Jsoup中

    FileReader fileReader = new FileReader("D:\\temp\\demo\\wxPage.html");
  String result = fileReader.readString();
  Document doc = Jsoup.parse(result);//其实，就一行代码

获取header里面的 meta 标签

Elements metaList = doc.getElementsByTag("meta");

  int metaListSize = metaList.size();
  System.out.println("metaList size:"+metaListSize);
  for(int i =0 ;i<metaListSize;i++) {
   Element meta = metaList.get(i);
   System.out.println("meta:"+meta.outerHtml());
   System.out.println("meta:  property:"+meta.attr("property")+" name:"+meta.attr("name")+" content:"+meta.attr("content"));
   System.out.println("---------------------------------");
  }

效果图：

metaList size:22
meta:<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
meta:  property: name: content:text/html; charset=UTF-8
---------------------------------
meta:<meta http-equiv="X-UA-Compatible" content="IE=edge">
meta:  property: name: content:IE=edge
---------------------------------
meta:<meta name="color-scheme" content="light dark">
meta:  property: name:color-scheme content:light dark
---------------------------------
meta:<meta name="viewport" content="width=device-width,initial-scale=1.0,maximum-scale=1.0,user-scalable=0,viewport-fit=cover">
meta:  property: name:viewport content:width=device-width,initial-scale=1.0,maximum-scale=1.0,user-scalable=0,viewport-fit=cover
---------------------------------
meta:<meta name="apple-mobile-web-app-capable" content="yes">
meta:  property: name:apple-mobile-web-app-capable content:yes
---------------------------------
meta:<meta name="apple-mobile-web-app-status-bar-style" content="black">
meta:  property: name:apple-mobile-web-app-status-bar-style content:black
---------------------------------
meta:<meta name="format-detection" content="telephone=no">
meta:  property: name:format-detection content:telephone=no
---------------------------------
meta:<meta name="description" content="千万不要一开口说技术单词，都让面试官觉得你很low！给面试官的留下技术差的印象，这样你的面试也没戏了！\x0a你真觉得自己的技术单词读法很正确？？？\x0a用事实说话吧！本公众号回复:\x26quot;A123\x26quot;。即可马上测验你说的技术单词读法，面试官究竟能不能听懂？">
meta:  property: name:description content:千万不要一开口说技术单词，都让面试官觉得你很low！给面试官的留下技术差的印象，这样你的面试也没戏了！\x0a你真觉得自己的技术单词读法很正确？？？\x0a用事实说话吧！本公众号回复:\x26quot;A123\x26quot;。即可马上测验你说的技术单词读法，面试官究竟能不能听懂？
---------------------------------

获取标题

    //获取标题
  Element title = doc.getElementById("activity-name");
  System.out.println("  title:"+title.text());

是不是很眼熟？title.text(); 哈哈哈，这不就是jQuery的获取标签中的内容方法吗？

获取文章中所有的图片的下载URL

  Elements  body = doc.getElementsByTag("body");
  Elements  imgs = body.select("img[src]");
  int imgSize = imgs.size();
  for(int i =0 ;i<imgSize;i++) {
   Element img = imgs.get(i);
   System.out.println("  img data-type:"+img.attr("data-type")+" src:"+img.attr("src"));
  }

执行log：

img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KP1sbiaxlMv9oxoVXvFBnweNWYerXRkwib0lTnrtgCqowSiaUuzYk7xJUg/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KmiaudibgjFZJscPG7BUiaJXOurHhUic03FmrmGxUQETniaDRoZus3rnsRlw/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KDYVUVDhWibs0O2dDgNv9lVfyOQmXlia9BwbJFDrcgtmhUdGSaVoibCZlQ/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60Kt1l6ZVFpYuu8tBAYev8Fo79ia00wmRDgY0LZiaic25Mggl5nsiczsqxVSA/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KDXuic2s3nibAWNdFDHplDJnE3gW6xax2wrY5I5TDj5SMuU0InQmtB14g/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KPGYTK3f3iaicgNRKmnog0zl6tSfgessSKwvKQhC24T9b63jHRT5nCLhw/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60Ktd1QuwUIOicy1mXmwOzIxb7xoLsibHhZ3nPkTKiawfgq549qVfGouX4hg/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60Kq2gPUhia72HK6qHpgNPTwJhWNAX02XbtibibTeUrw8ASEBEbceicics1Drw/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KjniaZ4kRQbI0G8vlQA49pJQv3VUMXr5aCZOQ8F4JZia4ibUia4wXPV9yaw/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4mdZLSR8QkoBGOfQrDt7raI7GbzfxOwZOr3b6e5icyjppyDUncmvoTtibOIptQ9w6sASVkQW2ib3UHQ/640?wx_fmt=png

是不是似曾相识的样子？哈哈哈，没错，就是她，获取标签的属性，跟jQuery一样，都是 attr() 方法。

set 值

跟jQuery一样，也可以用 attr() 方法设置新值。

  Element testImg = imgs.get(0);//就拿第一个图片作为例子吧
  System.out.println(" 原本是 :"+testImg.outerHtml());
  testImg.attr("data-type","testType2");
  System.out.println(" 设置后 :"+testImg.outerHtml());

再举个栗子，修改标题

  Element title = doc.getElementById("activity-name");
  System.out.println("  title:"+title.text());
  title.text("觉得有用就分享给朋友吧！原创不易啊，后面会有更多优质的原创内容，加油！");
  System.out.println(" after title:"+title.text());

结果log：

  title:免费测试你口头说的技术单词，面试官是否能听懂？
 after title:觉得有用就分享给朋友吧！原创不易啊，后面会有更多优质的原创内容，加油！

把这些改动直接保存到本地作为新的html文档

  //保存到本地
  FileWriter writer = new FileWriter("D:\\temp\\demo\\wxPageResult.html");
  writer.write(doc.outerHtml());

测试截图：

其实，还有很多好用的API，这就要靠你们自己去研究一下了。

API中文文档：

https://www.open-open.com/jsoup/parsing-a-document.htm

本文的完整代码

本文用到hutool工具包，不是必要的，只是为了方便读取和保存本地文件而已。可以不要的。

 <dependency>
     <groupId>cn.hutool</groupId>
     <artifactId>hutool-core</artifactId>
     <version>5.4.1</version>
 </dependency>

引入Jsoup

 <dependency>
     <groupId>org.jsoup</groupId>
     <artifactId>jsoup</artifactId>
     <version>1.13.1</version>
 </dependency>

本文代码

@Test
 public void test() throws IOException {
  FileReader fileReader = new FileReader("D:\\temp\\demo\\wxPage.html");
  String result = fileReader.readString();
  Document doc = Jsoup.parse(result);
  Elements metaList = doc.getElementsByTag("meta");

  int metaListSize = metaList.size();
  System.out.println("metaList size:"+metaListSize);
  for(int i =0 ;i<metaListSize;i++) {
   Element meta = metaList.get(i);
   System.out.println("meta:"+meta.outerHtml());
   System.out.println("meta:  property:"+meta.attr("property")+" name:"+meta.attr("name")+" content:"+meta.attr("content"));
   System.out.println("---------------------------------");
  }
  //获取标题
  Element title = doc.getElementById("activity-name");
  System.out.println("  title:"+title.text());
  title.text("觉得有用就分享给朋友吧！原创不易啊，后面会有更多优质的原创内容，加油！");
  System.out.println(" after title:"+title.text());
  System.out.println("---------------------------------");
  Elements body = doc.getElementsByTag("body");
  Elements  imgs = body.select("img[src]");
  int imgSize = imgs.size();
  for(int i =0 ;i<imgSize;i++) {
   Element img = imgs.get(i);
   System.out.println("  img data-type:"+img.attr("data-type")+"      src:"+img.attr("src"));
  }
  System.out.println("---------------------------------");
  Element testImg = imgs.get(0);
  System.out.println(" 原本是 :"+testImg.outerHtml());
  testImg.attr("data-type","testType2");
  System.out.println(" 设置后 :"+testImg.outerHtml());
  //保存到本地
  FileWriter writer = new FileWriter("D:\\temp\\demo\\wxPageResult.html");
  writer.write(doc.outerHtml());

 }

跟jQuery那样简单方便操作Html文档的Java工具类，今天我必须要告知你！