本文参考了“大数据云计算分布式数据批量管理系统开发”，如有错误欢迎批评指正。
1、新建一个Project项目
2、建立静态页面
3、编写后台业务逻辑
4、链接数据库（打通前后台）实现动态化
5、测试（内测《黑盒，白盒》），公测《目标用户参与测试，客户参与测试》找bug
6、上线试运行（模拟正式运行环境）改bug
7、正式上线运营（根据客户反馈和市场需求变化不断迭代更新产品）改版
8、维护
webmonitor项目开发总结
项目需求分析：
1、从Storm，Kafka页面爬取目标数据
2、对目标数据进行判断，计算处理
3、对判断和计算结果进行处理，选择是否报警
第一步：编写爬取目标数据的方法getHtmlResourceByUrl
方法传入的参数为，url和编码方式（爬取的源码中可能存在汉字），方法返回的为源码构成的字符串。所以方法定义为：
public static String getHtmlResourceByUrl(String url,String encoding){
return String;
}
在类中使用static修饰的静态方法会随着类的定义而被分配和装载入内存中；而非静态方法属于对象的具体实例，只有在类的对象创建时在对象的内存中才有这个方法的代码段。
编写代码时，注释非常重要。将对方法的分析与设计内容转换为注释
/**
* 根据管理页面的url地址和页面编码集获取页面的源代码（页面没有汉字此处省略编码集信息）
* @param url
* @param encoding
* @return String 源代码
*/
开始具体的方法编写：
首先建立网络链接，打开网络链接，文件写入流，文件缓冲写入，建立临时变量，然后一边读数据，一边写数据。
public static String getHtmlResourceByUrl(String url,String encoding){
StringBuffer buffer = new StringBuffer();//建立存储源代码的容器
try{
URL urlObject = new URL(url);//建立网络链接
URLConnection uc = urlObject.openConnection();//打开网络链接
InputStreamReader isr = new InputStreamReader(uc.getInputStream());//文件写入流
BufferedReader reader = new BufferedReader(isr);//建立文件缓冲写入流
String temp = null;
while((temp = reader.readLine())!=null){
buffer.append(temp+"\n");//一边读，一边写
}
}catch(MalformedURLException e){
e.printStackTrace();
System.out.println("网络链接不可用！")；
}catch(IOException e){
e.printStackTrace();
System.out.println("您的网络链接打开失败，请稍后重试！")；
}
return buffer.toString();
}
第二步，解析源码
Document document = Jsoup.parse(getHtml(url));
colMd6 = document.body().getElementsByClass("col-md-6");
Node tb = colMd6.select("table").select("tbody").select("tr").get(0);
Node td = tb.childNode(3); String str = td.toString();
String stdo = str.substring(str.indexOf(">") + 1, str.indexOf("/") - 1);
String std = stdo.replace(",","");
第三步，判断是否发出报警
if (i > threshold) { //超出阈值，标志位置为异常
flag = false;
kafkalog.warn("Topic_id " + topic_id + " : Total Lag is " + std + " Please Check out of " + urlStr + " " + new Date());
warnlog.warn("Topic_id " + topic_id + " : Total Lag is " + std + " Please Check out of " + urlStr + " " + new Date());
SendAlertMessageByWX.sendAlertMessageByWx(userInformationSet, "Topic_id " + topic_id + "Total Lag is " + std + " Please Check out of " + urlStr + " " + new Date()); SendAlertMessageByEmail.sendAlertMessageByEmail(userInformationSet, "Total Lag", "Topic_id " + topic_id + "Total Lag is " + std + " Please Check out of " + urlStr + " " + new Date());
}else{ flag = true; }
