Hadoop

上班以后，越发觉得日子过得快了。不知不觉，已经到了第十个月。成为一家互联网公司的数据挖掘工程师后，我从一些貌似枯燥琐碎的小任务中学到很多东西。下面简单地谈谈我在工作中get到的技能，以及我是怎么解决实际问题的。

一、shell命令

研究生的时候一直在Windows系统下进行软件开发，而工作后都是在Linux系统下操作。与Windows相比，Linux更加安全、稳定。刚进公司，我们人手一份shell命令和hadoop命令文档，以供查阅。单纯地背命令不但枯燥乏味，也容易忘记。因此，我们一般是在项目中需要用的时候再去查，现学现卖，这样印象更加深刻。

场景1：一个大项目包含很多文件夹，每个文件夹下又包含很多小文件。当我们需要重新编辑最近一段时间更新过的文件时，可以怎么做呢？

可选做法：使用Tab键的自动补全功能快速cd到指定目录，然后用“ll -t  |  head -n 20 ”列出最近变动的文件详细信息，从中找到需要的文件，加以修改。其中“ll”的作用是列出文件详细信息，“-t”表示按时间排序。小竖扛“|”表示管道，用途为将前一个命令的输出作为后一个命令的输入。这里，要注意不要将管道“|”和重定向“>”弄混。重定向“>”一般用于将命令的输出重定向到某个文件中，比如“ll -t  |  head > log”。head命令是显示输入流的前几行内容，参数“-n”可以指定行数。

补充：在工作中，我在一段时间内会反复修改某几个文件，但自己记性又不太好，总记不住文件名，所以常常使用这个命令。如果知道大致文件名，也可以使用“find . -type d -name filename”命令，其中filename用你需要查找的文件名替换。

场景2：我需要从其他机器上拷贝文件过来，怎么办？

可选做法：使用wget命令，例如“wget ftp://hostsite//home/work/username/userfile”。其中hostsite用源的主机地址替换，后面是需要拷贝的文件目录。

补充：理论上需要拷贝文件夹的时候，我们可以用命令“wget -r”来操作。实际上，我更喜欢将文件夹打包压缩后再使用wget命令。因为直接从其他机器上拉取文件夹，可能会丢失文件而不自知。另外，拷贝文件时最好带上相应的md5文件，以便check文件是否传输完整。生成md5文件的命令为“md5sum filename > filename.md5”。

场景3：公用机器上磁盘空间慢了，写不进去东西了，怎么办？

可选做法：首先找出谁的目录所占空间比较大，“du -h --max-depth=1 /home/work/”，可以提醒占用磁盘空间最多的几个人删一些文件。

补充：如果自己占用空间比较多，可以用同样的方法确定哪个目录比较占空间“du -h --max-depth=1 /home/work/username”。在一个目录下，可以使用“ls -l  | sort -n -k5  |  tail -n k”命令查看哪些文件比较大，其中最后一个k用你需要查看的具体文件数目替换。

二、hadoop命令

有些hadoop命令和shell命令很相似，有些是hadoop所独有的。

场景4：我想看一下集群上某个目录下的文件有哪些？

可选做法：使用命令“/home/work/hadoop_client/hadoop/bin/hadoop  fs -ls /dir1/dir2/dir3”，其中第一项是hadoop客户端的位置，可以有多个客户端，比如命令中的hadoop_client可以是hadoop_client1，hadoop_client2……最后一项是你想查看目录的位置，你所使用的hadoop客户端必须有对那个目录读的权限才能访问，否则会报权限相关的错误。

补充：如果有权限，A集群的hadoop客户端可以访问B集群的数据，但是必须加上B集群的主机名和端口名，比如“/home/work/hadoop_client/hadoop/bin/hadoop  fs -ls hdfs://host:port//dir1/dir2/dir3”。如果你嫌第一项太长了，可以通过“vim ~/.bashrc”为每一个hadoop客户端设置别名，比如“alias hadoopMine="/home/work/hadoop_client1/hadoop/bin/hadoop"”。以后，你想使用hadoop命令，就可以这样写，“hadoopMine fs -ls /dir1/dir2/dir3”。是不是简洁多了？

场景5：我想将文件夹从一个集群拷贝到另一个集群，怎么做呢？

可选做法：使用命令“hadoopMine distcp  hdfs://host:port//dir1/dir2/dir3 /dir4/dir5/dir6”，其中第三项是源集群的目录地址，第四项是目标集群的目录地址。

补充：distcp命令实际上是启的一个集群任务，即我们常说的job。一般来说，distcp默认的优先级和并发数目都不高。如果我们比较赶时间，想让任务快点执行，可以动态地修改map-capacity和priority两个参数，例如“hadoopMine job -set-map-capacity  JobID 5000”，“hadoopMine job -set-priority JobID  VERY_HIGH”。

三、map和reduce脚本

单纯地看书，听别人谈论，你会觉得大数据很高大上，写大数据分析脚本很难。其实，你只要拿一两个小项目练练手，了解启动集群任务时配置的几个常用参数，弄清map-reduce原理，一个月就可以自如地写大数据分析脚本。“纸上得来终觉浅，绝知此事要躬行。”

场景6：我想本地测一下map和reduce程序怎么办？

可选做法：先模拟map过程，“cat inputFile | python myMapper.py 1>map.out 2>map.err”@1，再模拟reduce过程“cat map.out | sort | python myReducer.py 1>reduce.out 2>reduce.err”@2。

补充：有些大任务可以划分为若干个小任务，每个小任务是python脚本，各个小任务间用shell脚本串起来。

举个实例：有一个能够处理1小时数据的现成python脚本，例如myMapper.py和myReducer.py，现在想在本地处理24小时的数据，怎么办？

你可以选择做重复性工作，将@1和@2的输入文件和输出文件修改24次，再分别将命令输入24次。也可以用shell语言写一个批量处理的小脚本，一键执行。

有人也许会问能不能并行执行呢？答案是肯定的，利用nohup和&后台执行命令就可以实现这一目的。但一般情况下，不主张在同一个目录下并行执行。我们需要考虑程序运行中生成的中间文件是否会相互干扰，多个程序占用的内存之和是否过大等因素。如果你嫌弃本地程序跑得太慢，可以放到集群上运行，让成千上万台机器并发执行。

场景7：我想在集群上跑一下数据，怎么启任务？

可选做法：可以在shell脚本中将hadoop任务的配置写好，然后用“nohup sh myHadoopJob.sh 1>out 2>err &”@3 启动集群任务。特别需要注意一点的是，集群任务一旦启起来后，即使你在本地kill掉@3进程，集群上的任务并不受影响，会继续运行。shell脚本中的部分内容如下所示。

${hadoop_home}/bin/hadoop streaming

        -D mapred.job.name="${job_name}"

        -D mapred.map.tasks=${map_task_num}

        -D mapred.reduce.tasks=${reduce_task_num}

        -D mapred.job.map.capacity=${map_capacity} 

        -D mapred.job.reduce.capacity=${reduce_capacity}

        -D mapred.job.priority=VERY_HIGH

        -partitioner "org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner"

        -input ${input_dir}

        -output ${output_dir}

        -mapper "${mapper}"

        -reducer "${reducer}

        -file ${mapper_file}

        -file ${reducer_file}

其中，变量hadoop_home表示本地hadoop客户端的位置，比如上文提到的“/home/work/hadoop_client1/hadoop/”。job_name是你给任务取的名字，理论是可以任意取。实际上，任务名称中应该包含你自己的名字，以便别人查看任务队列时知道那是你启的任务，有什么事也好找你协商。

顾名思义，map_task_num和reduce_task_num分别是map和reduce阶段的任务数目，map_capacity和reduce_capacity分别是map和reduce阶段并发数目的上限。那是不是把这四个参数设置得越大越好呢？未见得。如果优先级不够高的话，自己的任务很难抢到几台空闲机器，好不容易抢到台机器，只跑完小部分数据又释放了，需要再等下一次机会。即使优先级足够高，比如上文提到的VERY_HIGH，也不要把这四个参数设置得过大。因为你把集群资源都用光了，别人就没得用了，然后就会有人找你算账或者要你请客吃冰淇淋。

参数partitioner "org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner"@4 非常有用。我们都知道hadoop任务的输出有很多切片，part-00000，part-00001……当我们想知道某个key在哪个part时，就可以使用命令“KeyFieldBasedPartitioner key 总文件个数”查找，当然前提条件是你在启动任务时添加了@4参数。值得提醒的一点是，如果你的任务只有map没有reduce，那么即使你加了@4参数也没有用，除非你在reduce阶段添加cat操作，使其重新分桶。

在实战中学习吧！

ps: 下面这部分内容来源于我在知乎上的一个回答。

数据挖掘工程师的主要工作职责：

1、研究数据挖掘和统计学习领域的前沿技术，并用于实际问题的解决和优化

2、大规模机器学习算法研究及并行化实现，为各种大规模机器学习应用研发核心技术

3、通过对数据的敏锐洞察，深入挖掘产品潜在价值和需求，进而提供更有价值的产品和服务，通过技术创新推动产品成长

入职前几个月实际用到的知识或技能：

1、用python写数据分析程序，难度为leetcode上的easy级别题目。

2、linux命令，shell脚本，hadoop程序（现学现卖，入职前完全不会，入职后很快就学会了）。

3、统计学的一些基础知识，比如计算均值和方差。

4、了解机器学习中的常见模型和适用场景，比如GBDT（不熟悉也没关系，一般模型很少变动，平常就是改改特征）。建议做一个与机器学习相关的项目，熟悉一下用机器学习算法解决实际问题的流程（可以考虑参加阿里大数据竞赛，我之前面试就是拿阿里比赛作为敲门砖的）。

5、踏实、勤奋、爱思考、能干活。这一条说着有点虚，但其实是最重要的。公司给你安排的活不会是单纯的设计个算法或者写段代码，工作往往和团队当前的业务紧密相连。我们在学校一般不会接触到那些业务，这就意味着大家的起跑线都差不多，我们入职后都需要学习很多新东西。

数据挖掘工程师面试

1、与机器学习相关的项目。一面和二面都会问，发问的角度和深度不一样。

2、给你个纯算法题，让你纸上写代码。难度一般不超过leetcode上的中档题。

3、与机器学习相关的基础知识（推荐一下吴恩达的机器学习视频），有些面试官也会给你一些业务场景，让你选择一个机器学习模型。