概要
本文总结采用目前最流行的Hadoop生态圈和Spark生态圈搭建一套完整的分布式日志采集系统，支持离线和实时计算，可以满足多种需求，例如PV，UV，实时交易量等各个业务下的场景。
项目架构
项目架构图
集群一览
大数据两个重要角色
- 存储 采用Hadoop集群
| 角色 | ip |
|---|---|
| NameNode | 192.168.6.98 |
| DataNode1 | 192.168.6.92 |
| DataNode2 | 192.168.6.99 |
- 计算 采用Spark
| 角色 | ip |
|---|---|
| Master | 192.168.6.98 |
| Worker1 | 192.168.6.92 |
| Worker2 | 192.168.6.99 |
组件清单及功能
- Tomcat 主要搜集业务上报的日志，例如自定义JS的PV和点击，移动客户端的PV和点击等，需要出接口和对应SDK帮助各个业务线和端集成简单，快速，正确。（参考示例例如友盟）
- Nginx 作为反向代理服务器，主要搜集服务器日志，好处无需各个端主动上报，缺点不能够满足各种复杂的需求
- Flume 分布式日志采集器，优点可以指定日志输出目录，代替做FTP日志文件服务器，不需要再主动下载日志文件，而是主动下发到Hadoop和Spark服务器。
-
Kfaka 高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
实时路线 - spark-streaming 拿到kafka的实时数据流，进行实时计算，它以时间片为消费单位，比如可以设置为1秒
-
Redis NoSQL中的键值对内存数据库(不够会扩展到磁盘)，用一定的计算逻辑，计算实时的PV和UV数据
离线路线 - HDFS Hadoop分布式文件系统，主要用于日志存储，本文采用Apache开源的，还有一些商用的未采用，下文会做小知识分享。
- Hive 数据仓库，清洗数据后，存储结构化数据，本身拥有强大的SQL支持，简单易学，尤其针对pv，uv统计相当方便
- Hue 图形化显示Hive仓库的Web工具，直接使用图形化来执行SQL，快速拿到想要的数据。
- MySQL 最终想要的业务数据会使用PySpark任务做处理，放置到该Mysql中，同时可以作为Hive的元数据存储
- AZKABAN 相当好用的生成定时任务，同时很方便的提供图像化操作，方便创建以及管理查看任务运行情况
- CentOS本集群构建所使用的基础计算机操作系统
- Spark计算集群
- Python 用于清洗数据的脚本，计算业务数据的脚本
- SSM 用来搭建Web后台
结束
为什么如何搭建都没有讲？具体如何搭建集群以及各个环节如何融入的技术，请自行参考其他博文，本文只阐述项目架构。
搭建以上各个组件细节甚多，坑甚多，不同组件版本会遇到不同情况。我写出来也不具有统一参考性，我觉得自行摸索配合该架构图，会逐步打通整个业务流程，熟悉掌握大数据集群这两个关键性技术存储和计算。
