HPC集群使用记录

使用PBS(Torque集群管理软件,http://docs.adaptivecomputing.com/torque/4-1-4/help.htm#topics/commands/qmgr.htm)和maui调度软件

公司目前集群共包含4台计算节点(512集群+2T内存),可用存储空间460TB

1.命令提交

#!/bin/sh

#PBS -N JOB 指定作业名称
#PBS -l nodes=2:ppn=8,vmem=80m  节点数量以及所要的核数(示例为2节点*8核)
#PBS -o %JOBID.out 指定作业完成后的输出文件
#PBS -e %JOBID.err 指定作业出现错误的输出文件
#PBS -l walltime=120:00:00 作业处于运行状态的最长时间
#PBS -q batch 指定作业队列
#PBS -m abe 发送邮件参数(n:不发送邮件;a:作业被批处理系统中断时;b: 作业开始执行时;e:作业执行结束时)
#PBS -M YYY@simceredx.com 邮件列表

PBS -l 指定作业所需要的资源,设定对可消耗资源的限制 :

  cput: 作业的所有进程使用cpu最长时间
  file:作业可以建立单个文件大小的最大限制
  pcput:作业的单个进程可以使用CPU的最长时间
  pmem:作业的单个进程可以使用的物理内存的最大值
  pvmem:作业的单个进程可以使用的虚拟内存的最大值
  vmem:作业可以使用的物理内存的最大值
  walltime:作业处于运行状态的最长时间
  arch:指定系统管理员所定义的系统结构类型
  nodes:指定作业独占使用的节点数目和属性,使用“+”可连接多种节点定义;缺省为1;ppn每个节点上的进程数,缺省1
  ncpus : 请求cpu数量

2.状态查询

qstat -a 已经提交的作业状态信息
qstat -q 节点池状态 (C:作业完成;E:作业退出;H:作业挂起中; Q:作业排队中; T:作业被移走;W:作业等待中;S:作业中断)
qstat -f 4016.manage1 作业的详细信息
qstat -n 查看任务信息(含所在节点信息)
  1. 作业操作
qhold           ##挂起作业,排队状态中的作业,运行中不能挂起
qrls              ##释放挂起的作业
qalter           ##更改作业属性
qdel             ##删除作业
qsub -l nodes=node01,mem=200mb /home/user/script.sh  ##指定node01,直到有需要的资源
mjobctl -s 4127     ##暂停作业
mjobctl -r  4127    ##恢复作业
setspri  优先值  JOBID�    ##表示将JOBID的任务的优先值修改为现在的优先值,优先值在0-1000之内
setspri  -r 优先值  JOBID�  ##这样表示在现有的优先值的基础上加上或者减去指定的优先值,优先值的范围在+/- 1000000000
Torque中的命令:�qalter -p 优先值 JOBID�  ##表示将JOBID的优先值设置为指定的优先值,优先值的范围在-1024~1023
mjobctl -s 82   ##maui 暂停作业状态,插入后续Q作业,如无后续作业,状态自动转为R
mjobctl –r 82   ##resume job

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,012评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,589评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,819评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,652评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,954评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,381评论 1 210
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,687评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,404评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,082评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,355评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,880评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,249评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,864评论 3 232
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,007评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,760评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,394评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,281评论 2 259

推荐阅读更多精彩内容