写一个爬虫有多简单？答案是：不到30行代码
我用了不到30行代码，爬了知乎好多妹子图！！！
跟着我一步一步来，你也可以简简单单创建一个爬虫。
目标
爬虫的第一步就是决定要爬些什么。作为一个屌的不能再屌的屌丝，当然要爬妹子！！！
每当这个时候，就要拿出我的储备了。 欲罢不能的大美妞 ，要说妹子图的质量，还是得知乎啊。
分析
目标有了，我们就要先分析一下。页面结构。在页面中找任一个爬取目标，点击鼠标右键，选择【检查】选项。便会打开浏览器的控制台，并定位到我们的目标图片的节点上。如下图：
图中的img标签就是我们的爬取目标，我们可以明确的看到 data-original 元素的内容与 src 元素的内容都是图片的地址。经过验证， src 元素的内容可能会是缩略图地址，所以我们放弃 src 选择 data-original。
以上就是我们要分析的部分，接下来就是代码。
编码
新建项目
这里我们使用 maven 作为项目的依赖管理工具。
新建一个 maven 项目，并在 pom.xml 中引入依赖。
<dependencies>
<dependency>
<groupId>com.github.zhangyingwei</groupId>
<artifactId>cockroach</artifactId>
<version>1.0-Alpha</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<dependency>
<groupId>com.squareup.okhttp3</groupId>
<artifactId>okhttp</artifactId>
<version>3.8.1</version>
</dependency>
<!--json-lib-->
<dependency>
<groupId>net.sf.json-lib</groupId>
<artifactId>json-lib</artifactId>
<version>2.4</version>
<classifier>jdk15</classifier>
</dependency>
<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.8.3</version>
</dependency>
</dependencies>
这里我们使用了爬虫框架 cockroach 。并引入了 log4j 作为日志框架，okhttp3 作为 http 客户端，json-lib 作为 json 解析工具，以及 jsoup 作为 html 解析工具。
建立包结构如下
- store 主要存放页面解析以及结果存储相关类
- utils 主要存放项目中用到的相关工具类
- App.java 项目入口
编码
程序主入口 App.java
public class App {
public static void main(String[] args) throws InstantiationException, IllegalAccessException, InterruptedException {
CockroachConfig config = new CockroachConfig().setAppName("知乎上的妹子们").setThread(10).setStore(ZhihuGirlsStore.class);
TaskQueue queue = TaskQueue.of();
getPageFrom(queue);
CockroachContext context = new CockroachContext(config);
context.start(queue);
}
private static void getPageFrom(TaskQueue queue) throws InterruptedException {
String basePath = "https://www.zhihu.com/collection/72114548?page=";
for (int i = 1; i <= 68; i++) {
queue.push(new Task(basePath + i));
}
}
}
在上边的代码中，我们一共分为5步。
- 我们创建了一个名称为
知乎上的妹子们的爬虫，使用了 10 个线程来爬取内容，并指定了页面解析以及结果存储的处理类为ZhihuGirlsStore.class - 创建了一个默认长度的任务队列
- 初始化任务到任务队列中
- 创建了一个 Cockroach 爬虫上下文对象
- 启动爬虫
页面解析以及存储 ZhihuGirlsStore.java
public class ZhihuGirlsStore implements IStore {
public void store(TaskResponse taskResponse) throws Exception {
if (taskResponse.getTask().getGroup().equals("img")) {
byte[] bytes = taskResponse.getResponse().body().bytes();
ImageUtils.save(bytes);
} else {
Elements imgs = taskResponse.select(".zm-item-answer").select("img");
imgs.stream().map(element -> element.attr("data-original")).forEach(url -> {
try {
taskResponse.getQueue().push(new Task(url, "img"));
} catch (Exception e) {
e.printStackTrace();
}
});
}
}
}
Cockroach 的 task 中为我们提供了 group 字段来标识每一个 任务，如果不设置，任务默认的 group 为 default 。
在本爬虫程序中，我们的 task 一共可分为两种，一种是解析页面得到页面中的图片地址，另外一种就是爬取图片内容。
这里我们通过 group 字段来区分两种任务，具体操作就是在解析到图片地址并添加到队列中的时候，给 task 设置 group 为 img，这样我们在收到一个结果的时候，就可以通过 task 中的 group 字段来区分我们要做何种操作（解析页面 / 保存图片）。
图片存储 ImageUtils.java
public class ImageUtils {
public static void save(byte[] bytes) throws IOException {
String fileName = UUID.randomUUID().toString();
String dirpath = "meizhi2";
File dir = new File(dirpath);
if(!dir.exists()){
dir.mkdirs();
}
FileOutputStream outputStream = new FileOutputStream(dirpath + "/" + fileName + ".jpg");
outputStream.write(bytes);
outputStream.close();
System.out.println("save image:" + fileName);
}
}
以上代码就是把接收到的二进制图片内容保存为图片。图片的名称使用一个随机的 UUID 值。
没错老铁们，以上就是我们的全部的代码。包括方法声明在内的有效代码不到30行！！！
