java爬虫入门

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。——百度百科

爬虫最基础的操作其实就是分析静态网页,从而获取有价值的信息。现在的网页一般均为Html格式的,当然http请求也会返回xml,json等数据格式。在入门篇我们以html为例。

分析需求

我打算在链家网上爬取北京一个小区的房价信息,每天爬一次,如果有房价信息更新,或者有新房,则在log文件里面打一条log。

步骤

获取小区网页html->分析网页元素->获取有用的信息->比对已经存在的房价信息->打log

获取网页

这里我们用java自带的httpclient发送http请求并用字符串存取。

public String httpGet(String url)
    {
        String result = "";

        BufferedReader in = null;

        try {
            URL realUrl = new URL(url);
            System.out.println(realUrl + "\n" + url);
            urlConnection = realUrl.openConnection();
            urlConnection.connect();
            in = new BufferedReader(new InputStreamReader(urlConnection.getInputStream()));
            System.out.println(urlConnection.getHeaderFields());

            String line;
            while((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e){
            System.out.println("发送get请求异常!" + e);
            e.printStackTrace();
        } finally {
            try{
                if(in != null){
                    in.close();
                }

            }catch (Exception e2){

                e2.printStackTrace();
            }
        }
        return result;
    }

分析网页元素

打开网页检查元素即可,一般浏览器都会自带匹配,慢慢往下寻找,可以找到houselist,如下图。所以我需要的信息就全部在这个里面了。

链家网页面元素分析

查看一下每一条item的信息,并找出自己关心的几个元素,title,price等。


每套房子的信息

获取有用的信息

然后我们要做的就是从http请求返回的字符串中找到相应的信息。用正则表达式匹配是一种不错的选择。其中()所包括的表示一个我们所关心的元素,最后正则表达式如下所示。

    // 房产数据匹配正则
    public static final String houseInfoExpression = "data-index=\"(.+?)\".+?" +//标签
            "data-id=\"(.+?)\">.*?" +//数据id
            "<h2><a.+?title=.+?>(.+?)[&nbsp;]{0,}</a>.*?" +//title
            "region.+?>(.+?)[&nbsp;]{0,}<.*?" +//小区
            "meters.+?>(.+?)[&nbsp;]{0,}<.*?" +//大小
            "price.+?num.+?>(.+?)</span>.*?" +//价格
            "price-pre.+?>(.+?)</div>";//每平米价格

下面要做的就是去匹配数据了。java中主要用Pattern和Matcher去做正则匹配

      //获取当前页的房产信息
        ArrayList<HouseInfo> results = new ArrayList<HouseInfo>();
        Pattern pattern = Pattern.compile(patternStr);
        Matcher matcher = pattern.matcher(targetStr);
        boolean isFind = matcher.find();

        while(isFind){//如果匹配到记录相应的信息。
            HouseInfo houseInfo = new HouseInfo();
            houseInfo.setHouseIndex(Integer.parseInt(matcher.group(1)));
            houseInfo.setHouseDataId(matcher.group(2));
            houseInfo.setHouseTitle(matcher.group(3));
            houseInfo.setHouseRegion(matcher.group(4));
            houseInfo.setHouseArea(matcher.group(5));
            houseInfo.setHousePrice(Integer.parseInt(matcher.group(6)));
            houseInfo.setHousePricePer(matcher.group(7));

            JSONObject jsonObject = new JSONObject(houseInfo);
            System.out.println(jsonObject);
         }

检查本地信息,打log,就不贴代码了,就是读取文件比较信息。

完整代码:https://github.com/bingochaos/Sprider_01

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 123,340评论 18 134
  • Java爬虫入门简介(二) —— Jsoup解析HTML页面 原文链接:http://blog.csdn.net/...
    葡小萄家的猫阅读 4,261评论 0 10
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 160,176评论 24 690
  • 你梦见少女时 中指关节擦不掉的钢笔墨迹 渗进 你躺着的窄小诊室内, 蓝墨水吸附在玻璃窗上 壁纸上 你梦中光洁的额头...
    徐爽suzy阅读 185评论 0 0
  • 刚在steam上转了转,steam的美妙同网易云音乐有异曲同工之妙,不仅可以看游戏介绍选购游戏最有意思的是你可以看...
    知不道大师阅读 548评论 1 49
  • 《 女神节专辑》 体验者:小武啾啾 编辑者:吴桂仪 (一) 【透着实惠的爱情婚姻有绝招】日期:2017.3.8 2...
    吴桂仪阅读 62评论 0 0
  • 一、对于把学习当做负担的孩子,通过“心理换算”的方法帮助孩子减压。 即使是讨厌学习的孩子,如果给他布置作业,或者考...
    成长学阅读 110评论 0 2
  • 上周学习了笑来老师关于周期的知识。让我明显的感觉到我这些天处于情绪的低谷期。具体症状如下: 1.整个人精神状态不好...
    遇見007阅读 306评论 1 2