Perl单行实战笔记1:计算metagenome shotgun中每种菌的测序深度

移步github

问题描述:

对宏基因组(例如肠道微生物)进行全基因组shotgun测序,对其中已知的高丰度菌进行mapping,从而统计每种菌的测序深度

现在你有的文件:

  1. mapping到各个菌的reads的fasta文件
  2. 每种菌的refence序列,为fasta格式

文件夹结构:

workdir
|----bins (mapping到各个菌的reads的fasta文件,一种菌一个文件)
      |----Acetanaerobacterium_sp._Contig_Acetanaerobacterium_sp._GCA_900289145.1
      |----Acholeplasma_sp._Scaffold_Acholeplasma_sp._GCA_000432255.1
      ...
|----ref (每种菌的refence序列,一种菌一个文件)
      |----Acetanaerobacterium_sp._Contig_Acetanaerobacterium_sp._GCA_900289145.1
      |----Acholeplasma_sp._Scaffold_Acholeplasma_sp._GCA_000432255.1
      ...

注:该实战内容涉及到bioawk的使用,如果未使用过bioawk请看文末的附录进行学习,也可以点击查看文末参考资料

首先,得到mapping到每种菌的reads的总长:

$ ls bins | while read i;
do
    echo -ne "$i\t";
    bioawk -c fastx '{len+=length($seq)}END{print len}' bins/$i;
done >mappingLen.stat

然后计算每种菌的参考基因组长度:

$ ls ref | while read i;
do
    echo -ne "$i\t";
    bioawk -c fastx '{print length($seq)}' ref/$i;
done >refLen.stat

最后,用perl单行进行测序深度的计算,即对各个菌求mappingLen/refLen

# 这里本来应该写成一行,不过为了方便理解,添加了换行和缩进

$ perl -e \
'open F1,$ARGV[0];
open F2,$ARGV[1];

# 逐行读入第一个文件,即前面得到的mappingLen.stat,保存成哈希,key为菌名,value为mappingLen
while(<F1>){
    chomp;
    @line=split /\t/;
    $ccs{$line[0]}=$line[1];
}

# 逐行读入第二个文件,即前面得到的refLen.stat,保存成哈希,key为菌名,value为refLen
while(<F2>){
    chomp;
    @line=split /\t/;
    $ref{$line[0]}=$line[2];
}

# 对每个菌计算depth
for $assem (keys %ccs){
    if($ref{$assem}){
        $depth=$ccs{$assem}/$ref{$assem};
        print "$assem\t$depth\n";
    }
}' \
mappingLen.stat refLen.stat >ref_depth.stat

附录 : bioawk的用法

bioawk是什么?

曾经在github上有讨论awk的使用,做生信的人都反映awk是很好,但用起来总有那么一点不顺手,毕竟不是为生信而生嘛!

李恒看到了,拿来awk的源代码修修补补,最终bioawk诞生

bioawk能干嘛?

由于bioawk是从awk的基础上衍生出来的,那么从awk出发,对bioawk进行类比就能明白bioawk在干些什么了

  • 首先回答awk在干些什么

awk的作用是逐行读入文本文件,然后对读入的行按照分隔符(默认是任意的空字符,包括制表符\t和空格符\0)进行分割,并将分隔开的字符串保存到$1$2等中;

  • 类比awk,bioawk在干些什么

对于fasta文件,bioawk是逐条记录读入(fasta文件的一条记录包括以>起始的序列名和序列),并且按照文件属性自动将每条记录的各个组分打散,保存到对应的变量中,对于fasta文件,它的两部分内容会被打散然后保存到$name$seq两个变量中,之后就可以按照对普通变量的处理方法对它们进行操作了;

bioawk不仅可以处理fasta文件,还可以处理fastq、bed、vcf、sam等格式的文件,处理的逻辑跟上面的相似,只是在提供不同格式的文件时,需要用-f参数告诉bioawk这个文件的格式;

bioawk的安装很简单,分两种:

  • 用conda安装

    $ conda install bioawk
    
  • 源码安装

    bioawk的官方地址:https://github.com/lh3/bioawk

    可以通过git clonewget的方法获得源码,解压后,进入目录执行make即完成源码的编译


参考资料:

(1) 【简书】一个神奇的小软件bioawk

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270