在Linux环境下,有许多工具和命令可用于提升工作效率和计算速度。其中,qsub是一款使用广泛的命令行工具,可帮助用户将计算任务提交到集群系统中进行处理。本文将介绍qsub在Linux下的具体使用指南,帮助读者更好地掌握和使用该工具。
创新互联长期为近1000家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为万山企业提供专业的成都网站建设、成都做网站,万山网站改版等技术服务。拥有10多年丰富建站经验和众多成功案例,为您定制开发。
一、qsub的基本介绍
qsub全称为”Queue Submitter”,是Sun Grid Engine (SGE)集群管理软件中的一个命令行工具。它的主要作用是将用户提交的任务加入到队列中,等待计算节点执行。qsub可在Unix/Linux等操作系统下使用,是高性能计算集群中提交任务的标准方式之一。
二、qsub的安装与配置
如果您的系统中已经安装了SGE集群管理软件,则qsub命令已经包含在其中。如果没有安装,可以通过以下命令进行安装:
sudo apt-get install gridengine-client
安装完成后,需要进行相关配置。具体步骤如下:
1. 配置集群管理器
在集群中安装SGE集群管理软件后,需要执行以下命令来配置SGE:
sudo /usr/share/gridengine/util/install_modules/install_modules_local
安装完成后,需要启动SGE服务:
sudo service gridengine-master start
2. 配置qsub
安装完SGE集群管理软件后,可以使用qsub命令来执行计算任务。在使用qsub之前,需要进行以下配置:
(1)创建一个工作目录,在其中创建一个脚本文件。脚本文件中包含要执行的命令和参数。
(2)在脚本文件的开头写入#!/bin/bash,表示这是一个shell脚本。
(3)在脚本文件中添加作业控制参数,如#BSUB命令、#PBS命令等。
(4)将脚本文件命名为job.sh并保存在工作目录中。
(5)使用qsub命令将任务提交到集群系统中。
三、qsub的使用
1. 命令格式
qsub [-ACdfklmnpqtTv] [-@ 条件] [-a 开始时间] [-A 账户] [-b y/n] [-c n] [-C 目录] [-cwd] [-e 错误文件] [-h] [-I] [-j y/n] [-js 脚本] [-l 资源] [-m y/n] [-M 邮件地址] [-N 作业名称] [-o 输出文件] [-p 优先级] [-P 项目] [-r y/n] [-S 解释器] [-u 用户] [-v 环境变量] [-V] [-w 类型] [-W 等待时间] [-x] [脚本]
2. 常用参数
(1)-l 资源:指定作业执行要求的资源,如使用节点数、CPU数量、内存大小等。
(2)-N 作业名称:指定作业的名称,方便管理和查找。
(3)-o 输出文件:指定标准输出文件的名称。
(4)-e 错误文件:指定标准错误输出文件的名称。
(5)-p 优先级:指定作业执行的优先级。
(6)-q 主机名:指定要使用的计算节点。
(7)-S 解释器:指定作业使用的解释器。
(8)-V:将环境变量传递给脚本中的程序。
四、qsub的示例
下面给出一个qsub的使用示例,该示例中,我们将使用qsub命令将一个简单的程序提交到集群系统中执行。
1. 创建一个工作目录,将以下脚本保存为job.sh:
#!/bin/bash
#$ -N test
#$ -cwd
#$ -l nodes=1:ppn=8
echo “hello, world!”
以上脚本表示,我们将创建一个名为test的作业,要求使用1个节点和8个CPU核心,使用默认的工作目录并输出”hello, world!”。
2. 使用qsub命令提交作业并查看执行结果:
qsub job.sh
qstat -u [username]
以上命令将作业提交到集群系统中,并使用qstat查看执行结果。如果作业执行成功,将在标准输出文件中输出”hello, world!”。
五、
通过本文的学习,我们了解了qsub在Linux环境下的相关知识和使用指南。在实际工作中,qsub将为用户提供便捷的计算任务提交方式,极大地提高了工作效率和计算速度。希望读者们能够深刻理解并掌握qsub命令的使用方法,从而更好地利用Linux环境中的优秀工具。
成都网站建设公司-创新互联,建站经验丰富以策略为先导10多年以来专注数字化网站建设,提供企业网站建设,高端网站设计,响应式网站制作,设计师量身打造品牌风格,热线:028-86922220新手,纯纯搬运工【出处引用自:
】
1. Linux常用命令
最常用:
ls(英文全拼:list files):列出目录及文件名
ls -l:列出目录及文件名,可查看更多
ls -al:可以看到隐藏文件
cd(英文全拼:change directory):切换目录
cd .. :返回上一级
cd
文件夹
名:进入目录
pwd(英文全拼:print work directory):显示目前的目录
mkdir 文件夹名(英文全拼:make directory):创建一个新的目录
rmdir 文件夹名(英文全拼:remove directory):删除一个空的目录
cp xxx xxx(英文全拼:copy file): 复制文件或目录
mv xxx xxx(英文全拼:move file): 移动文件或目录,或修改文件或目录的名称
rm(英文全拼:remove): 删除文件
rm -r 文件夹名:递归删除某目录
clear:清空terminal的所有内容(或者使用Ctrl+L)
tab按键:补充完整文件名或文件夹名
次常用:
vim/vi 某文件 (编辑文件)
nano 某文件 (编辑文件)
touch 文件 (新建空文件)
sudo -s (切换到root模式磨桥姿)
exit (退出root模式等)
sudo chmod -R 755 文件名/文件夹名 (获取文件/文件夹的755权限)
chown (改变文件或目录的所有者)
chgrp (改变文件或目录的所属组)
make (编译成.exe)
解压/解包:
tar文件 (注:tar是打包,不是压缩!)
解包:tar xvf FileName.tar
打包:tar cvf FileName.tar DirName
.gz文件
解压1:gunzip FileName.gz
解压2:gzip -d FileName.gz
压缩:gzip FileName
.
tar.gz
和 .tgz文件
解压:tar zxvf FileName.tar.gz
压缩:tar zcvf FileName.tar.gz DirName
安装和卸载deb软件包:
安装:sudo dpkg -i deb文件
查看:sudo dpkg -l
卸载:sudo dpkg -r 软件名
参考资料:
Linux 教程
Linux常用命令
linux中tar命令的用法
全瞎绝网最全Linux命令总结
2. vim/vi里的操作
:q 退出
:wq 保存并退出
:w 保存
:q! 强行退出(不保存退出)
:w! 强行保存
i 进入编辑,转为输入模式(光标前面)
a 进入编辑,转为输入模式(光标后面)
o 进入编辑,转为输入模式(光标下方新建一行)
Esc 退消肆出i(插入)命令
3. 超算中PBS常用命令
pbsnodes (查看所有节点)
pbsnodes -l free (查看空闲节点)
pbsnodes 某节点 (查看某节点状态)
.sh
某节点 (转到某节点)
exit (离开节点)
qsub 文件名.pbs/sh (提交任务)
qstat (列出状态)
qstat -q (列出队列)
qstat -n (列出队列中使用的节点)
qstat -f jobid (查看jobid任务的详细信息)
qdel jobid (取消任务)
4. 其他
(1)Linux开机自启
sh文件中包含:
#!/bin/bash#chkconfig:#description:auto_run
sh文件移动到/etc/init.d后,分别输入命令:
chkconfig –add xxx.sh
chkconfig –list
chkconfig xxx.sh on
service xxx.sh start
参考资料: linux 开机启动 .sh 文件 – 自己的太阳 – 博客园
(2)Linux
环境变量
方法1:临时使用环境变量:export PATH=”/home/www/anaconda3/bin:$PATH”
方法2:修改.bashrc文件
参考资料: Linux PATH 作用以及查看和修改方法_haozhepeng的专栏
(3)两个sh文件
a.sh文件(用于提交任务,执行a.py文件)
#!/bin/sh#PBS -N task#PBS -l nodes=1:ppn=1#PBS -q scorecd $PBS_O_WORKDIRexport OMP_NUM_THREADS=1python a.py
a.sh文件(用于提交任务,执行a.
exe文件
)
#!/bin/sh#PBS -N task#PBS -l nodes=1:ppn=1#PBS -q scorecd $PBS_O_WORKDIRexport OMP_NUM_THREADS=1./a.exe
(4)一个makefile文件
makefile文件(用于编译Fortran文件)
INC := -I/public/software/compiler/intel/composer_xe_2023.2.164/mkl/include/intel64/lp64
LIB := -L/public/software/compiler/intel/composer_xe_2023.2.164/mkl/lib/intel64
mpi:= -I/public/software/mpi/mpich/3.1.4/intel/include /public/software/mpi/mpich/3.1.4/intel/lib -lmpich -limf -lsvml -lintlc
src:=Console1exec:=a
all: $(src).f90
存储NAS 文件操作
df -h查看空间使用情况
警惕超大 nohup.out
任务提交
任务提交前
qhost–查看集群负载状态
qsub / qsub-sge.pl–提交茄逗任务
qstat–查看任务状态
qdel / qmod–任务控制
任务查看
qhost -j—列出所有用户在每个节点上的任务
qhost -q—列出每个节点上每个队列的任务数
qhost -u username—列出某个用户在每个节点上的任务
提交命令
qsub -cwd -q queue.q test.sh
qsub-sge.pl –maxproc 50 –resource vf=5G –queue queue.q test.sh
任务查看2
qstat -u username—查看某个用户的任务
qstat -u *,—查看所有用户的任枯纳告务
qstat –j jobs_ID—查看某个任务的详细信息
查看.e和.o文件
.e:错误信息
.o:标准输出
任务控制
qdel jobID—删除某个任务
qdel -u username—删除某个用户的所有任务
qmod -s jobID–挂起某个任务
qmod -us jobID—继续运行某个挂起的任务
按任务占用内存大小选择相应的队列
查看队列 qstat -g c
QUEUE
PE.q–并行
cloud.q–云平台
general.q–96G节点
middle.q–96G节点
great.q–大内存节点
plus.q–大内存节点
single.q–Trinity组装
single._p.q—Trinity组没明装(占用内存较大)
TOP监视
编辑于
——解兆档决方案——
——解决方族戚乱仔咐案——
关于qsub linux的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。
成都创新互联科技有限公司,经过多年的不懈努力,公司现已经成为一家专业从事IT产品开发和营销公司。广泛应用于计算机网络、设计、SEO优化、关键词排名等多种行业!
当前题目:有关qsub在Linux下的使用指南(qsublinux)
本文路径:http://www.gawzjz.com/qtweb2/news2/352.html
网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联