生信小技巧：并行运行的秘密

生信学习入门后，我们都掌握了如何在后台运行命令。一般我们可以通过for loop，将一系列的命令逐一运行。但是这样的运行方式，效率比较低，服务器很多线程都没有被用上。另外如果你要运行成百上千的命令，这将会耗费你很多很多的运行时间。

那如何解决这个问题呢，今天给大家介绍一下并行运行的工具GNU-Parallel。

工具简介和安装

GNU parallel是一种Shell工具，用于使用一台或多台计算机并行执行作业。作业可以是单个命令，也可以是每一行运行的小脚本。典型的输入是文件列表。

下面进行安装：

wget http://ftp.gnu.org/gnu/parallel/parallel-latest.tar.bz2
tar xjf parallel-latest.tar.bz2
cd parallel-20200222
./configure
make install

基本用法

首先看看一个例子

###输入
seq 1 5 | parallel -j 4 echo
###输出
1
2
3
4
5

在这里，我们首先打印从1到5的数字序列，然后将此数据通过管道传递到parallel。我们提供了echo将在-j=4四个作业之间并行运行。

我们最常使用的方式是，将需要运行的命令写到一个文本里，具体格式是每行一个你需要执行的命令：

parallel -j 18 cmd.list

如果我们只想输出运行的命令，看看它是否符合我们的期待，可以使用--dry-run选项:

###输入
seq 1 5 | parallel --dry-run -j 4 echo
###输出
echo 3
echo 4
echo 5
echo 2
echo 1

可以看到结果并不是按照数字的顺序来展示的，因为所有运行的命令都花费相同的时间，通常输出时候都是以不同顺序输出的。我们可以使用-k选项，强制其按照先进先出就行输出:

seq 1 5 | parallel -k --dry-run -j 4 echo

echo 1
echo 2
echo 3
echo 4
echo 5

关于 -j的一些用法：

parallel -j 100% # 使用全部100%的线程
parallel -j -1 # 使用总线程减一的线程数

如何使用`:::`

:::可以用来替代管道，比如：

#原命令
seq 1 5 | parallel -j 4 -k echo
#替代命令
parallel -j 4 -k echo ::: `seq 1 5`

:::还可以使用文件中的内容作为运行的输入变量:

### 在文件中包含着一行一个的输入变量
cat my_args.txt
1
2
3
4
5
###输入命令
parallel -j 4 -k echo :::: my_args.txt
###输出结果
1
2
3
4
5

另外如果你需要输入多个参数，可以使用:::和::::,将参数进行组合。看看具体例子:

#输入命令
parallel --dry-run -k -j 4 Rscript run_analysis.R {1} {2} ::: `seq 1 2` ::: A B C
#输出结果
Rscript run_analysis.R 1 A
Rscript run_analysis.R 1 B
Rscript run_analysis.R 1 C
Rscript run_analysis.R 2 A
Rscript run_analysis.R 2 B
Rscript run_analysis.R 2 C

Parallel与functions结合

在某些情况下，您想执行一系列命令。例如，下面的代码计算DNA互补序列的ATCG数。

echo "ATTA" |  tr ATCG TAGC | \
    python -c "import sys; o=sys.stdin.read().strip(); print(o, o.count('T'), o.count('G'), o.count('C'), o.count('A'))"

使用该function有两个操作:

###定义好函数
function count_nts {
    # $1 is the first argument passed to the function
    echo $1 | tr ATCG TAGC | \
    python -c "import sys; o=sys.stdin.read().strip(); print(o, o.count('T'), o.count('G'), o.count('C'), o.count('A'))"
}

# export函数
export -f count_nts
###执行parallel
parallel -j 4 count_nts ::: TAAT TTT AAAAT GCGCAT | tr ' ' '\t'

今天的介绍就到这里结束了，Parallel是一个很强大的工具，只要使用好它，会让你数据分析运行的速度，事半功倍。

生信小技巧：并行运行的秘密

工具简介和安装

基本用法

如何使用:::

Parallel与functions结合

如何使用`:::`