简书遵循“简单书写”的原则，限制了我的一些想法，比如我想添加个背景音乐，又或者想添加个表情，或做个分类查询等，此外我有一个放杂物的网站空间，放着浪费了，所以就打算建设自己的空间。

当然不是因为那个“饱醉豚”事件，在它越演越烈之前，我就看到那篇争议的文章，顺便看了他几篇文章，我一笑置之，与一个哗众取宠、低智商低情商、毫无论据，甚至毫无文笔的生物有啥好计较的？只是没想到关注的几个人，鉴于简书及简书CEO的态度都纷纷清空简书，叹哉！不过也可以理解一下，一个签约作者写这样的文章居然还能得到简叔的支持：

· 饱醉豚：《我不骂程序员低素质，我只是去证明他们是低素质群体》
· 饱醉豚：《为什么有这么蠢的程序员？难道程序员真是低智商福利职业？》
· 饱醉豚：《为什么简书的程序员用户里有那么多mother fucker和恋尸癖？》
· 饱醉豚：《为什么中国的程序员巨婴这么多》
· 饱醉豚：《为什么程序员是出轨率最高的群体》
· 饱醉豚：《笨到学不懂中学物理怎么办？逻辑极差怎么办？当程序员去！》
· 简叔——简书CEO：《饱醉豚对简书的意义》

分析下简书，还挺好爬取的，写个简单的爬虫还是有挺多开发语言可选择。本来我用C#也写过一个简单的爬虫框架，只是用Mac后.Net的相关代码基本全放在家里的旧电脑里了，便打算用比较顺手的Go来写，但是又有点嫌写正则表达式麻烦，便搜索了下有没有现成的拿来用，结果还真搜到志同道合的人😊：node.js爬虫-爬取简书特定作者的所有文章

只是它没有实现爬取【文集】和【专题】的功能。里面主要用到了node-crawler，也开放了爬取的源码，因为node-crawler我没用过，它还集成了Jquery来方便提取节点，我反倒想自己写一下，于是重新写了一份，包含爬取【文集】和【专题】，同时修改了存储方式为本地文件和远程服务两种方式。

安装node-crawler

直接按github上的文档使用npm install crawler安装，会不行的，提示以下警告：

image.png

mkdir jianshu-crawler

然后进入目录并用命令行生成一个package.json文件，其中遇到交互询问图方便的话就一路按回车就行了：

cd jianshu-crawler && npm init

接着才是：

npm install crawler

最后新建一个index.js文件，写入github示例，再执行node index.js即可看到打印结果：

var Crawler = require("crawler");
var c = new Crawler({
    maxConnections : 10,
    // This will be called for each crawled page
    callback : function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            var $ = res.$;
            // $ is Cheerio by default
            console.log($("title").text());
        }
        done();
    }
});
c.queue('http://www.163.com');

node index.js

爬虫原理及分析

所谓爬虫，就是把网页文档内容下载下来分析提取有用信息，技术难点在于如何绕过网站的反爬策略，方法有如伪装终端、代理IP等等，然后是如何有效提取信息。

关于页面基本信息的提取思路上面链接文章已经给出，我就不重复了，主要说下怎么爬取【文集】和【专题】，这两个内容不懂技巧的话，比页面基本信息爬取难度大一些，就是下面的内容：

image.png

为啥说有难度呢？单纯在Chrome上看是正常的：

image.png

然而当我们下载该页面文档内容时，实际是这样的：“专题和文集”文字下面的div标签之间为空，因为【文集】和【专题】是通过js异步加载的，在获取到页面文档时它们还没有加载出来。

文集和专题没有加载出来

image.png

那行，既然我知道你数据是通过js异步加载来的，那我们尝试读取js返回来的数据，找到这个网络请求：

网络请求地址

网络请求结果

网页406错误

那尝试设置下请求头：Content-Type:application/json; charset=utf-8，居然在node-crawler的官方文档找不到设置headers的内容，只好先用Go来写测试代码：

package main
import (
    "fmt" 
    "net/http" 
    "io/ioutil"
)

func httpRequest(url string) (content string, statusCode int) {
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("Accept", "application/json")
    client := http.DefaultClient
    resp, err := client.Do(req)
    if err != nil {
        fmt.Printf("Get请求%s返回错误:%s", url, err)
    }
    if resp.StatusCode == 200 {
        body := resp.Body   
        defer body.Close()
        bodyByte, _ := ioutil.ReadAll(body)
        content = string(bodyByte)
        fmt.Println(content)
    }
    statusCode = resp.StatusCode
    fmt.Println(resp.StatusCode)
    return
}

func main() {
    httpRequest("http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe");
}

运行打印出来的数据是正确的：

image.png

方案一：

在node-crawler里调用go命令行运行，把命令行输出内容保存：

var Crawler = require("crawler");
// var mysql   = require('./db-helper');
var fs = require('fs');
var exec = require('child_process').exec; 
/**
 * 执行命令行
 * @param {* } cmdStr 命令行
 * @param {* } callback 回调
 */
function execCmd(cmdStr, callback){
    //创建一个实例
    exec(cmdStr, function(err,stdout,stderr){
        callback(err,stdout,stderr);
    });
}
execCmd('go run crawler.go', function(err,stdout,stderr){
    //stdout为命令行打印输出的内容
    var _savePath = '../src/assets/data';
    if (!fs.existsSync(_savePath)) {
        fs.mkdirSync(_savePath);
    }
    // 写入数据, 文件不存在会自动创建
    fs.writeFile(_savePath + '/other.json', stdout, function (err) {
        if (err) throw err;
        console.log('写入文集及专题信息完成');
    });
});

这样已经是大功告成了！！！

方案二：

不过强迫症还是不想捆绑一个Go，于是直接看node-crawler源码，然后分析出可以这样设置headers并调用：

/**
 * 支持添加头部请求
 * @param {*} headers 请求头
 * @param {*} url 请求路径
 * @param {*} callback 回调
 */
function crawlerRuest(headers, url, callback){
    var c = new Crawler({
        jQuery: false,
        maxConnections : 10,
        headers: headers,
        // This will be called for each crawled page
        callback : function (error, res, done) {
            if(error){
                console.log(error);
            }else{
                //var $ = res.$;
               callback(res.body);
            }
            done();
        }
    });
    c.queue(url);
}

crawlerRuest({"Accept": "application/json"}, 
'http://www.jianshu.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe',
function(stdout){
    if (!fs.existsSync(_baseSavePath)) {
        fs.mkdirSync(_baseSavePath);
    }
    // 写入数据, 文件不存在会自动创建
    fs.writeFile(_baseSavePath + '/other.json', stdout, function (err) {
        if (err) throw err;
        console.log('写入文集及专题信息完成');
    });
});

至此数据爬取告一段落。