ncpgr-software
NCPGR高性能计算集群软件使用注意事项与优化指南。聚焦各软件的坑点、加速技巧、资源节省建议与软件选型推荐。当用户询问集群上如何高效使用软件、编写LSF作业、或需要软件选型建议时使用。
SKILL.mdskills/SKILL.md
GitHubNCPGR HPC 集群软件使用注意事项与优化指南
总则
- 集群软件通过 module (
module av/module load,http://hpc.ncpgr.cn/app/004-Module/) 或 singularity(镜像位于/share/Singularity/,http://hpc.ncpgr.cn/app/007-singularity/)调用 - 公共数据库(NR/NT/Pfam/Rfam/swissprot)位于
/share/database/,http://hpc.ncpgr.cn/app/025-bioinformatics-database/- 使用方法:
module av查看可用版本 →module load加载 → 加载后自动设置环境变量(如$NR、$NT、$Pfam)直接使用,不需要自己makeblastdb建索引 - 示例:
module load nr/20201013 blastp -query proteins.fa -db $NR -out result.txt -num_threads 8 -outfmt 6 module load nt/20201013 blastn -query seqs.fa -db $NT -out result.txt -num_threads 8 -outfmt 6 module load nr/20201013-diamond # diamond 专用版本(比 blastp/blastx 快很多) - 可用版本:
nr/20201013、nr/20190625、nr/20171030、nr/20201013-diamond、nt/20201013、Pfam/32.0、Rfam/14.1、swissprot/20170604等
- 使用方法:
- 计算节点无联网能力,需联网的操作须在登录节点提前完成
- 编写 LSF 作业脚本时结合
lsf-ncpgrskill module av支持模糊搜索,大小写不确定时都试试- 不要在作业脚本中随意使用
/tmp目录,除非用户明确指定或软件文档中有明确提示。计算节点的/tmp为系统盘,大量临时文件积累会写满导致节点挂起。确需使用时,应创建用户专属临时目录并在作业结束时清理 - 作业脚本应保持简洁,不可过度编码或使用高级技巧(如复杂的 sed/awk 变量替换、多重临时文件、嵌套逻辑等)。脚本需要让用户易于阅读、检查和自行修改
查询软件/数据库是否可用
当用户询问某个软件或某个数据库是否在集群上可用时,不要仅凭 skill 中的信息回答,应实际查询集群当前状态:
- 查询软件(首选
mii):集群已安装mii,可搜索 module 中的二进制命令 - 查询 module:
module av 软件名或module av \| grep -i 关键词 - 查询 singularity 镜像:检查
/share/Singularity/目录下的镜像文件 - 查询数据库:用
module av查看最下方的数据库列表,或检查/share/database/目录
# 查询软件(推荐:mii 可搜索 module 中的所有二进制命令)
mii search bedCoverage # 查找哪个 module 提供 bedCoverage
mii search bigWigToBedGraph # 查找 UCSC 工具对应的 module
mii search gmx # 子串匹配,搜 gmx 会显示 gmx_mpi
mii list # 列出所有已索引的 module
# module 模糊搜索
module av bwa
module av \| grep -i star
# 查询 singularity 镜像
ls /share/Singularity/ \| grep -i alphafold
# 查询数据库
module av # 最下方会列出NR、NT、Pfam等数据库
ls /share/database/
mii 说明:
集群已安装,路径
/public/home/software/opt/bio/software/mii/1.1.2/首次使用需
mii build创建索引,后续更新用mii syncmii search <命令>可找到任意 module 中的二进制命令,包括工具集中的子命令(如 UCSC Kent Utils 中的 bedCoverage)如果查询结果为空,告知用户集群上暂无该软件/数据库
如果找到相关软件/数据库,给出具体版本和使用方法
多样本多步骤流程的提交策略
当涉及多样本 + 每个样本多步骤的分析流程时(如1000样本变异检测:fastp → 比对 → 变异检测 → joint call),必须先询问用户采用哪种策略,再生成脚本:
| 策略 | 做法 | 优点 | 缺点 |
|---|---|---|---|
| 逐步处理 | 每次提交所有样本的第1步,确认完成后提交第2步,以此类推 | 中间结果可控,某步出错可及时调整;便于中间检查 | 需要分多次操作 |
| 依赖链一次提交 | 用 -w "ended(jobid)" 建立样本内步骤依赖,一次提交所有样本所有步骤 |
一次提交全自动;中间步骤自动衔接 | 提交后难以中途干预;出错样本需单独处理 |
- 不确定时默认推荐逐步处理,因为便于用户在中间步骤检查结果、调整参数
- 如果用户选择依赖链一次提交,需为每个样本创建独立的作业依赖链
常见软件资源推荐(核数与内存)
通用原则
- 多样本优先"样本间并行",不是单样本堆核数:20个RNA-seq样本,与其每个STAR给32核,不如每个给8~12核、同时跑多个样本,集群吞吐量更高
- 不是核越多越快:多数生信软件在4~16核后收益明显变差,内存和磁盘I/O往往才是瓶颈
- Java程序要预留系统余量:申请32GB内存时,
-Xmx设为28g左右,JVM、容器、native library、临时buffer都会额外占内存 - 先跑1~2个代表样本测资源:记录MaxRSS、CPU利用率、I/O wait;CPU利用率长期低于300%却给了16核 → 降核数、提并发样本数
CPU 核数推荐
| 软件/场景 | 推荐核数 | 原因 |
|---|---|---|
| FastQC / MultiQC | 1~2 | FastQC单文件并行更好;MultiQC基本不需要多核 |
| fastp | 4~8 | 速度已经很快,更多核意义不大;--dont_eval_duplication可省 |
| Trim Galore / cutadapt | 4~8 | 多核收益有限,继续加核无运行时间收益 |
| BLAST blastn | 4~8 | CPU利用率不高,更多核几乎不加速 |
| Salmon / kallisto | 4~8 | 通常很快,适合多样本并行 |
| faST-LMM | 1(单线程) | -maxThreads 多线程反而比单线程慢1倍 |
| CNVnator | 按需设置 | 默认用满整节点,必须设置 MKL_NUM_THREADS=$LSB_DJOB_NUMPROC |
| samtools view/index/flagstat | 2~8 | 压缩/解压相关,多给核有收益但通常不线性 |
| samtools sort | 4~8 | 8核以上加速效果有限;注意每线程内存(见下方) |
| Picard MarkDuplicates | 2~4 | Java堆内存要设-Xmx;大BAM更吃内存和临时盘 |
| sambamba markdup/sort | 4~8 | 多线程比Picard友好,但也别无限加核 |
| GATK HaplotypeCaller | 1~4/分片 | 推荐按染色体/区间scatter并行,每shard 1~4核 |
| GATK GenomicsDBImport / GenotypeGVCFs | 2~8 | 样本数越多越吃内存;联合分型大队列应按染色体/区间拆分 |
| Mutect2 | 1~4 | 肿瘤样本深度高时内存和时间显著上升 |
| bcftools | 4~8 | 多线程扩展性一般 |
| BWA mem / BWA-MEM2 | 8~16 | 多线程扩展性好,但超过16核被排序/压缩/I/O抵消 |
| Bowtie2 / HISAT2 | 8~16 | 剪接比对开销大,超16核收益递减;HISAT2比STAR省内存 |
| STAR | 16~24 | 内存带宽密集型,更多核帮助有限 |
| minimap2 | 8~32 | 长读长比对可给较多核,但仍受I/O和压缩限制 |
| Trinity | 16~32 | 多阶段并行,32核内扩展性较好 |
| BUSCO | 8~32 | 单基因预测是单线程,多基因并行有效 |
| MAKER (MPI) | 50~100 | MPI并行,但过多核排队久 |
| CellRanger | 16~20 | 超过20核收益递减 |
| InterProScan | 8~16 | 多线程扩展性好,但IO也是瓶颈 |
| Kraken2 | 16~24 | 分类器并行效果好 |
| SPAdes / metaSPAdes | 16~32 | 给内存比给核更重要;内存不足会失败或极慢 |
| Bismark | 按 --multicore N × 4 |
--multicore 4 → 实际16线程,需 -n 16 |
| RepeatModeler | 按 -pa N × 4 |
-pa 5 → 实际20线程,需 -n 20 |
| GLnexus | 16~36 | 内存需求大,用整节点 |
| Parabricks | 16 | GPU为主,CPU辅助16核足够 |
| AlphaFold3 data pipeline | 16~32 | MSA搜索并行好,32核内扩展性好 |
| AlphaFold3 inference | 8~16 | GPU为主,CPU辅助 |
内存需求推荐
| 软件/场景 | 内存需求 | 建议 |
|---|---|---|
| FastQC / MultiQC | 2~8GB | normal队列足够 |
| fastp | 4 |
normal队列足够 |
| Trim Galore / cutadapt | 4~12GB | normal队列足够 |
| Salmon / kallisto | 8~32GB | normal队列足够 |
| samtools view/index | 4~16GB | normal队列足够 |
| samtools sort | 16~64GB | -@ 8 -m 3G 约24GB缓冲+额外开销,建议申请32~40GB |
| Picard MarkDuplicates | 16~64GB | -Xmx 设为申请内存的80%~85% |
| 比对 (BWA/HISAT2) | 人类基因组 ~16GB | normal队列 -n 8 通常足够 |
| STAR 比对 | 人基因组 40~64GB | 必须用 smp 或 high 队列;nf-core文档给出Human GRCh37约38GB典型需求 |
| minimap2 | 16~64GB | 与参考基因组大小正相关 |
| BUSCO | 基因组 ~8GB | normal队列足够 |
| GATK HaplotypeCaller | WES ~8GB, WGS ~16GB | 按分片给16GB/分片 |
| GATK GenomicsDBImport / GenotypeGVCFs | 32~128+GB | 样本数越多越吃内存;建议用 high/smp |
| Mutect2 | 16~64GB | 肿瘤样本深度高时内存显著上升 |
| bcftools | 与VCF大小正相关 | 一般4GB足够 |
| Trinity | 128~512GB | 必须用 smp 队列整节点 |
| SPAdes / metaSPAdes | 128~512GB | 内存常是主要瓶颈,给内存比给核更重要 |
| MAKER | 大基因组 ~16GB/核 | 建议 smp 或 high |
| CellRanger | 64~128+GB | 内存随细胞数、reads、参考而增大;必须用 smp 或 high |
| GLnexus | 大规模 joint call 50~200GB | 必须用 high 或 smp 队列整节点 |
| AlphaFold3 data pipeline | 单蛋白 ~8GB | normal队列足够 |
| AlphaFold3 inference | 单蛋白 ~16GB | GPU队列已配 |
| Kraken2 建库 | 标准库 ~100GB | 必须用 high 或 smp |
| Kraken2 分类 | 标准库 64~256+GB | 取决于数据库大小;大库常需整库进内存 |
| InterProScan | 大数据集 ~32GB | 建议 smp 队列 |
| Parabricks | ~16GB | GPU队列已配 |
| Paragraph | 与VCF大小正相关 | normal队列足够 |
samtools sort 内存计算
samtools sort -@ N -m MG 的排序缓冲区约 N × M GB,加上压缩线程等额外开销:
# 稳妥写法:8线程 × 3G = ~24GB 缓冲,作业申请 32~40GB
samtools sort -@ 8 -m 3G -o sample.sorted.bam sample.bam
# 反面教材:不要在16GB作业里这样写
samtools sort -@ 16 -m 2G -o ... # 仅缓冲就32GB,必定OOM
节点/队列选择速查
| 队列 | 资源特点 | 适用场景 |
|---|---|---|
| normal | 自动6~10GB | 大多数常规分析(质控、fastp、BUSCO、blast、BWA),内存需求 <10GB |
| smp | 自动12~20GB | 大内存作业(Trinity、STAR、大基因组MAKER、CellRanger) |
| high | 自动11~15GB | 超大内存作业(GLnexus、Kraken2建库、GenomicsDBImport) |
| gpu | 需确认 | GPU加速作业(Parabricks、AlphaFold3 inference、DeepVariant),需向管理员申请权限 |
按节点资源快速决策:
| 节点资源 | 推荐策略 |
|---|---|
| 8核 / 32GB | HISAT2 / Salmon / kallisto / 小型WES可跑;STAR人基因组偏紧 |
| 16核 / 64GB | bulk RNA-seq、WES、普通WGS单样本比较舒适 |
| 32核 / 128GB | 单细胞、WGS多样本并行、部分宏基因组比较合适 |
| 64核 / 256+GB | 适合组装、大型宏基因组、大队列联合分型、Kraken2大库 |
推荐默认模板(不确定时先用这些)
| 软件 | 核数 | 内存 |
|---|---|---|
| fastp | 4 | 8G |
| STAR | 12 | 48G |
| HISAT2 / BWA | 12 | 24G |
| samtools sort | 8 | 32G |
| MarkDuplicates | 4 | 32G |
| HaplotypeCaller | 2/分片 | 16G/分片 |
| Salmon / kallisto | 4 | 16G |
| Cell Ranger | 16 | 128G |
| Kraken2 | 16 | 数据库大小 + 20~40G |
| SPAdes / metaSPAdes | 24 | 256G |
软件选型速查
变异检测
Parabricks 是变异检测的首选方案,除非用户明确提及需要 DeepVariant,否则不要主动推荐 DeepVariant。
| 场景 | 推荐 | 速度 | 说明 |
|---|---|---|---|
| WGS/WES 变异检测(首选) | Parabricks (GPU) | 30x WGS ~25min | 比对+变异检测全流程GPU加速,学术免费。http://hpc.ncpgr.cn/app/098-parabricks/ |
| 大规模 gVCF joint call | GLnexus | 远快于 GATK | 替代 CombineGVCFs+GenotypeGVCFs。http://hpc.ncpgr.cn/app/126-glnexus/ |
| 变异结果基准测试 | HAPpy | - | Illumina官方工具,单倍型水平比较。http://hpc.ncpgr.cn/app/164-happy/ |
| 深度学习变异检测(仅用户主动提及) | DeepVariant | 准确率~99% | http://hpc.ncpgr.cn/app/100-deepvariant/ |
序列比对
| 场景 | 推荐 | 说明 |
|---|---|---|
| fq→bam (首选) | Parabricks fq2bam (GPU) | bwa+sort+dedup 一行完成,GPU加速 |
| fq→bam (CPU) | BWA + samtools | 常规方案 |
| RNA-seq 比对 | HISAT2 | 剪接感知比对 |
质控
| 场景 | 推荐 | 说明 |
|---|---|---|
| 质控 | fastp | 速度快,同时输出质控报告 |
蛋白结构预测
| 场景 | 推荐 | 说明 |
|---|---|---|
| 最高精度 | AlphaFold3 | Google DeepMind,支持蛋白复合物。http://hpc.ncpgr.cn/app/183-alphafold3/ |
| 快速/省资源 | RoseTTAFold | 内存和时间远低于AlphaFold。http://hpc.ncpgr.cn/app/085-RoseTTAFold/ |
覆盖度计算
| 场景 | 推荐 | 说明 |
|---|---|---|
| 覆盖度 | PanDepth | 比samtools快很多,cram输入比bam更快。http://hpc.ncpgr.cn/app/145-PanDepth/ |
各软件注意事项与加速技巧
Parabricks (GPU加速 NGS 分析)
30x WGS 约 25分钟(传统方法约30小时),从v4.0起学术用户免费。
版本选择: 除非有特殊需求,优先使用 4.0.1-1 版本($IMAGE/clara-parabricks/4.0.1-1.sif)。
#BSUB -J parabricks
#BSUB -n 16
#BSUB -R span[hosts=1]
#BSUB -gpu "num=1:gmem=11G"
#BSUB -q gpu
module load Singularity/3.7.3
singularity exec --nv $IMAGE/clara-parabricks/4.0.1-1.sif pbrun fq2bam \
--low-memory --ref hg38.fa --in-fq sample.R1.fq.gz sample.R2.fq.gz \
--out-bam sample.sorted.dedup.bam
fq2bam 一行完成:bwa mem → sort → mark duplicates → BQSR → 输出bam。
Parabricks 还支持 haplotypecaller、deepvariant、genotypegvcf 等变异检测工具,均基于 GPU 加速,相比开源版本速度有大幅提升。
BWA / HISAT2 比对
比对建议: http://hpc.ncpgr.cn/app/071-fq2bam/ | SAM→BAM: http://hpc.ncpgr.cn/app/054-sam-to-bam/ | HISAT2: http://hpc.ncpgr.cn/app/064-hisat2/
- 无需解压 fq.gz,大部分比对软件可直接读取
- 建议直接输出 bam(只有 sam 的 1/3 大小),下游支持可进一步压缩为 cram
- 大规模比对需要较高存储带宽,建议在 normal队列 运行
bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam
HISAT2 特别注意:
- 找不到索引文件时不会自动退出,让人误以为还在运行!
- 提交作业后务必用
bpeek <job_id>查看输出确认 - 有异常及时杀掉作业重投
BLAST
- NR/NT 等公共数据库已配置好,用
$NR、$NT变量直接引用(见总则部分) - 用 diamond 替代 blastx/blastp,速度极大提升;
module load nr/20201013-diamond有格式化好的 nr 库 - blastn 运行慢时: 将 query 分割多段提交多个作业并行跑,线程数设 4~8 即可(CPU利用率不高)
- 超短序列(<50nt)用
-task blastn-short -word_size 4 -gapopen 1 -gapextend 1 - 小参考序列不用建索引,用
-subject直接比对
BUSCO
- 计算节点无网络,必须用离线模式: 先在登录节点下载数据库,再提交作业
# 登录节点下载数据库
singularity exec $IMAGE/busco/5.5.0_cv1.sif busco --download embryophyta_odb10
# 计算节点离线运行
singularity exec -e $IMAGE/busco/5.5.0_cv1.sif busco -i MH63.fa -l ./busco_downloads/lineages/embryophyta_odb10 -o out -m genome -c 30 --offline
Bismark (BS-seq 甲基化比对)
--multicore N实际调用 4N 个 bowtie 线程!LSF 申请核心数必须是--multicore值的 4倍- 如
--multicore 4→ 实际16线程,需-n 16
- 如
bismark2bedGraph中 sort 可手动添加--parallel=8加速,用--buffer_size控制内存
BS-Seeker2
- 产生大量临时文件写入
/tmp,极易写满(单作业可达 30~70GB) - 务必使用
--temp_dir指向自己目录:
mkdir tmp
bs_seeker2-align.py -1 R1.fq -2 R2.fq -o sample.bam -g genome.fa --temp_dir=./tmp
RepeatModeler
-pa N实际使用 4N 线程(每个 rmblastn 用4线程)-pa 5→ 20线程,作业脚本需申请-n 20,否则节点过载挂起- 版本 2.0.6 报错
build_lmer_table failed. Exit code 256需修改 RepeatScout 2行代码重编译(见 commit c5193bb)
MAKER (基因组注释)
- MPI并行,必须用 parallel 队列(需申请权限,每人限120核)
- 建议申请 100 核即可(过多排队时间长);资源紧张时拆分染色体各跑一个作业
- 运行时需及时关注日志
*_master_datastore_index.log,出现FAILED程序不会停下但会空跑 - 小基因组出错直接杀掉重跑;大基因组将出错染色体单独重跑再合并
CellRanger (单细胞)
集群文档: http://hpc.ncpgr.cn/app/077-cellranger/ 两种加速方式组合,可将运行时间从 8h 降至 2h:
- 结果输出到计算节点
/tmp(本地磁盘IO更快)- 需指定
rusage[tmp=XXG],经验值为输入 fq.gz 的 2倍 - 运行完移回 home
- 需指定
- 添加
--no-bam(不需要bam文件时)- 一般表达矩阵分析无需bam,RNA速率分析才需要
#BSUB -J cellranger
#BSUB -n 20
#BSUB -R "rusage[tmp=70G]"
#BSUB -q normal
module load cellranger/7.0.0
workdir=`pwd`
tmpd="/tmp/`mktemp -u cellranger_XXXXX`"; mkdir ${tmpd}; cd ${tmpd}
cellranger count --id=sample --transcriptome=ref --fastqs=data --sample=sample \
--force-cells=8000 --localcores $LSB_DJOB_NUMPROC
mv sample/ ${workdir}
Paragraph (SV 基因型分型)
- 每个VCF位点生成3个临时文件到
/tmp,程序结束后不自动删除,积累会写满系统盘导致节点挂掉 - 建议: VCF超10万行拆分;在 normal队列(SSD系统盘);单作业申请10核;脚本中创建专属临时目录并在结束时清理
tmpd="/tmp/`mktemp -u paragraph_XXXXX`"; mkdir ${tmpd}; export TMP=${tmpd}
multigrmpy.py -i input.vcf -r ref.fa --threads $LSB_DJOB_NUMPROC --scratch-dir ${tmpd} -o out
rm -r ${tmpd} # 务必清理
SqueezeMeta (宏基因组)
- 第六步(06.lca.pl)极度吃IO,数据库在远程分区时速度仅 ~8kb/s(2天的数据量)
- 解决方案: 用胖节点 s001 的
/tmp/squeezemeta/db数据库,并指定节点 s001 - 集群已有副本:
/share/database/squeezemeta/db/ - 已运行的修改
SqueezeMeta_conf.pl中数据库路径,用restart.pl继续
DeepVariant (深度学习变异检测)
注意: 仅当用户明确提及需要使用 DeepVariant 时才推荐此方案,否则默认推荐 Parabricks 进行变异检测。
- GPU版仅
call_variants步骤可用GPU,make_examples和postprocess_variants只能用CPU - 三个步骤互相依赖:make_examples → call_variants → postprocess_variants
- 支持 Illumina、PacBio、Nanopore
GLnexus (大规模 gVCF joint call)
- 替代 GATK CombineGVCFs + GenotypeGVCFs,速度快很多
- 内存需求大,建议用 high 或 smp 队列整节点(
-q high -n 36) - WES 需用
--bed指定目标区域;WGS可不指定 - 输出 bcf 格式,可用 bcftools 转 vcf
- 内存报错
std::bad_alloc时寻求管理员协助
HAPpy (变异检测基准测试)
hap.py truth.vcf query.vcf -r ref.fa -f chr1.bed --threads 8 -o truth_vs_query
-f指定比较区间(bed),只比较该区间内位点- 输出 summary.csv(精度/召回率/F1)、ROC曲线、标注VCF等
faST-LMM (群体遗传)
-maxThreads多线程比单线程还慢!不要用该选项,默认单线程即可- 实测:单线程 2208s vs 20线程 4112s
CNVnator (CNV 检测)
- 默认用满整个节点CPU核,必须用环境变量控制线程数:
export MKL_NUM_THREADS=1; export OMP_NUM_THREADS=1
# 或按申请的核心数
export MKL_NUM_THREADS=$LSB_DJOB_NUMPROC; export OMP_NUM_THREADS=$LSB_DJOB_NUMPROC
OrthoMCL (同源基因簇)
- MySQL 在 s004 节点,数据库建议命名为
orthomcl_username避免冲突 - 运行完成后及时删除 MySQL 中创建的数据库
orthomcl-setup-database.pl --user username --password password --host s004 --database orthomcl_username --outfile orthomcl.conf
orthomcl-pipeline -i pep/ -o out -m orthomcl.conf --nocompliant -s $LSB_DJOB_NUMPROC --yes
Trinity (转录组组装)
- 使用 singularity 镜像
/share/Singularity/Trinity/2.12.0.sif
bsub -o trinity.log -n 30 -q smp -J trinity \
"module purge; module load Singularity/3.1.1; singularity exec $IMAGE/Trinity/2.12.0.sif Trinity --seqType fq --max_memory 400G --samples_file samples_file --CPU 30 --SS_lib_type RF --output trinity_out"
HiC-Pro
- 集群中
HiC-Pro/2.11.14已配集群模式 - 生成的 LSF 脚本不能直接提交,需删除
#BSUB -M/W/N/u/q行,添加module load HiC-Pro/2.11.4 - 先提交 step1,日志无报错后再提交 step2(step2 可改
-n 1) - 出错直接重新提交该脚本即可
InterProScan (蛋白功能注释)
- 省资源方案: 用网页API(
iprscan5.pl),在登录节点运行,不消耗集群计算资源
./iprscan5.pl --multifasta test.fasta --maxJobs 25 --email test@test.com --outformat tsv
- 本地运行:
module load interproscan/5.55-88.0,消耗计算资源
HOMER (Motif发现)
module load homer/4.11- 支持 ChIP-Seq、RNA-Seq、DNase-Seq、Hi-C 等分析
Augustus (基因预测)
module load augustus/3.3.3- 自带模型路径:
$AUGUSTUS_CONFIG_PATH - 自定义模型:
export AUGUSTUS_CONFIG_PATH=$HOME/augustus_config
PASA (转录组注释)
- 推荐用 sqlite 数据库(比 mysql 方便),配置文件中
DATABASE=写绝对路径
module load PASA/2.5.2
Launch_PASA_pipeline.pl -c alignAssembly.config -C -r -R --ALT_SPLICE -g genome.fa -t all.fa.clean -T -u all.fa -f accession.txt --TDN TCN.acc --transcribed_is_aligned_orient --ALIGNERS blat,gmap --CPU 20
FunGAP (真菌基因组注释)
- 必须先拷贝配置文件到本地,否则运行过程权限报错:
singularity exec $IMAGE/FunGAP/FunGAP.sif cp -r /opt/conda/config FunGAP_config
singularity exec -B ./FunGAP_config/:/opt/conda/config/ $IMAGE/FunGAP/FunGAP.sif \
/workspace/FunGAP/fungap.py --output_dir fungap_out ...
- 离线运行需修改
check_inputs.py中check_busco_dataset函数,注释掉 159-168 行(禁用busco --list-datasets)
Kraken2 (分类学序列分类)
- 数据库含 hash.k2d, opts.k2d, taxo.k2d 三个文件
- 标准库建库:
kraken2-build --standard --threads 24 --db $DBNAME(下载超50GB,建库用超100GB磁盘) - 可下载预构建数据库,节省时间
vg (泛基因组分析)
- 支持图构建、比对(BWA-MEM/minimap2/Giraffe)、变异检测、可视化
- 更新快,运行问题多在 GitHub issues 中已有解答
module load vg/1.53.0
PanDepth (覆盖度计算)
- 比 samtools 快很多,多线程加速好
- cram 输入比 bam 更快
module load PanDepth/2.21
pandepth -i test.bam -o test1 -t 6
Kingfisher (公共测序数据下载)
- 从 EBI ENA/NCBI SRA/Amazon AWS/Google Cloud 下载
- 三种模式:get(下载)、annotate(样本信息)、extract(sra→fastq)
module load kingfisher/0.3.1
kingfisher get -r SRR12118866 -m ena-ftp
# 或指定多种下载方式自动选最快的
kingfisher get -r ERR1739691 -m ena-ascp aws-http prefetch
GROMACS (分子动力学)
- 单节点:
mpirun -np $LSB_DJOB_NUMPROC gmx_mpi mdrun -ntomp 1 -noappend - 多节点:需 parallel 队列,
-R "span[ptile=25]"每节点25核 - GPU版:
module load GROMACS/2018.3-GPU,需 gpu 队列
AlphaFold3 (蛋白结构预测)
- 需 GPU 队列,需向管理员申请 GPU 队列使用权限
- 两步流程:data pipeline(MSA搜索+模板)→ inference(推理输出mmcif)
- 输入为 json 格式,集群中已有权重文件
- data pipeline 阶段可在 CPU 节点运行,仅 inference 需 GPU
RoseTTAFold (蛋白结构预测)
- 精度略低于 AlphaFold,但内存和时间需求大幅降低
- 数据库已在
/share/database/RosettaFold,可软链接到自己目录 - 集群默认 cuda11.4,使用
conda env create -f RoseTTAFold-linux.yml - PyRosetta 需额外许可证
bgzip + tabix (VCF压缩与快速访问)
- bgzip 块压缩 + tabix 索引,支持按区域快速检索,无需解压全文
module load HTSlib/1.18
bgzip data.vcf # 压缩 → data.vcf.gz
tabix -p vcf data.vcf.gz # 建索引 → data.vcf.gz.tbi
tabix data.vcf.gz 11:2343540-2343596 # 快速访问指定区域
Genozip (基因组数据压缩)
- 压缩率为原始大小的 10%~20%,支持 FASTA/VCF/BAM/CRAM
- 学术用户免费,需申请 license
- 建议用相同版本压缩和解压
- 使用
--reference参考基因组压缩可获得更高压缩率 genozip -@4 file.fq.gz --reference ref.fa
gzip 文件操作
- Linux命令:
zcat/zless/zmore/less直接读取 - 合并:
cat file1.gz file2.gz > file3.gz(直接拼接,无需解压) - 管道处理,无需解压:
# 按列合并
paste <(gzip -dc file1.gz) <(gzip -dc file2.gz) | gzip > merge.gz
# blastn 直接读gz
blastn -query <(gzip -dc data.fa.gz) -db ./ref -outfmt 6 | gzip > out.gz
- Python:
gzip.open("file.gz", "rt")/gzip.open("file.gz", "wt") - Perl:
open FI, "<:gzip", "file.gz"/open FO, ">:gzip", "file.gz"
ELAI (局部祖源推断)
- 直接处理二倍体数据,无需相位推断,无需重组图谱
- 集群提供多线程版本:
module load Singularity/3.7.3 elai/1.21
singularity exec -B $ROOT:/opt/ $IMAGE/debian/debian11.sif /opt/bin/elai-mt \
-g geno.txt -p 10 -g parv.txt -p 11 -pos pos.txt -s 20 -o chr5 -C 3 -c 20 -mg 6000 -nthreads 4
GCC / glibc
GCC: http://hpc.ncpgr.cn/app/034-gcc/ | glibc: http://hpc.ncpgr.cn/app/095-glibc/
- CentOS7 glibc 为 2.17(10年前的版本),越来越多软件不兼容
- 预装GCC:4.8.5, 4.9.2, 5.4.0, 6.2.0, 6.4.0, 7.2.0, 9.4.0, 10.3.0, 11.2.0
- 高版本glibc编译的软件无法在低版本运行 → 用 singularity容器 解决
- 查看系统glibc:
ldd --version
R / RStudio
R: http://hpc.ncpgr.cn/app/006-R/ | RStudio: http://hpc.ncpgr.cn/app/105-rstudio/
- 推荐优先用
R/4.0.0(内置大量R包),无高版本需求时不必换 - R包默认安装:
~/R/x86_64-pc-linux-gnu-library/4.0 - 部分R包依赖高版本GCC,需先
module load GCC/x.x.x - RStudio 仅限校内使用
- 计算节点无联网,R包须在登录节点安装:
install.packages("pkg", lib="~/R/rstudio/4.2/") rstudio_submit提交后用bpeek获取SSH隧道信息和登录密码
Mamba (快速包管理)
- C++编写,比 conda 快很多,兼容 conda 命令
- 推荐 micromamba(精简版,无需base环境和Python):
curl -Ls https://micro.mamba.pm/api/micromamba/linux-64/latest | tar -xvj bin/micromamba
~/bin/micromamba shell init -s bash -p ~/micromamba
- 集群已有:
module load micromamba - 安装优先级:mamba → singularity → 源码编译
Node.js
- CentOS7 需用非官方编译版本(
linux-x64-glibc-217后缀) module load nodejs/21.6.0- 全局安装权限报错:
export NPM_CONFIG_PREFIX=~/.npm-global
Rust
- 用户调用 cargo 安装软件需设置
CARGO_HOME到个人目录,否则权限拒绝
export CARGO_HOME=$HOME/.cargo
module load rust/1.76.0
cargo install ripgrep
export PATH="$HOME/.cargo/bin:$PATH"
MySQL
- Server 在 s005 节点,联系管理员获取账号密码
mysql -uUSERNAME -pPASSWORD -h s005
32位软件
singularity exec -B ${PWD}:/opt/ $IMAGE/centos/centos7_32.sif /opt/32bitprogram -h
VSCode Remote-SSH
- CentOS7 glibc 低,最新版 Remote-SSH 无法使用
- 推荐版本 1.98,提示"不受支持的OS版本"时点击 Allow,不影响使用
- 禁用自动更新:设置中 Update:Channel → 'manual'
- SSH config 添加
KbdInteractiveAuthentication yes支持二次验证
GitHub / Docker 加速
- 代理:ghproxy.com, gh-proxy.com, ghfast.top, wget.la
- 多站加速:https://github.com/xixu-me/Xget
# 下载
wget https://xget.xi-xu.me/gh/samtools/samtools/releases/download/1.22.1/samtools-1.22.1.tar.bz2
# git clone
git clone https://xget.xi-xu.me/gh/samtools/samtools.git
# docker 镜像
singularity pull docker://docker.m.ixdev.cn/dfam/tetools
常见陷阱速查
| 陷阱 | 影响 | 解决 |
|---|---|---|
| GPU 队列权限 | 未申请权限作业会被拒绝 | 先向管理员申请 GPU 队列使用权限 |
| Parabricks 版本选择 | 新版可能有兼容性问题 | 优先使用 4.0.1-1 版本,除非有特殊需求 |
| 软件/数据库可用性查询 | 凭记忆或过时信息回答可能错误 | 实际运行 mii search 或 module av 查询,或检查 /share/Singularity/、/share/database/ |
| BLAST 核数过多 | CPU利用率低,核多不加速 | blastn 设4~8核即可 |
| faST-LMM 多线程 | 多线程比单线程慢1倍 | 不要用 -maxThreads,单线程即可 |
| 多样本多步骤策略 | 未询问用户直接选择策略 | 必须先问:逐步处理 vs 依赖链一次提交 |
| 变异检测选型 | DeepVariant 慢且仅用户主动要求才用 | 默认使用 Parabricks,除非用户明确要求 DeepVariant |
Bismark --multicore N |
实际使用 4N 线程 | 申请核心数设为 4N |
RepeatModeler -pa N |
实际使用 4N 线程 | 申请核心数设为 4N |
| CNVnator | 默认用满整节点 | 必须设置 MKL_NUM_THREADS/OMP_NUM_THREADS |
faST-LMM -maxThreads |
多线程比单线程慢1倍 | 不要用,单线程即可 |
Paragraph /tmp |
临时文件积累写满系统盘 | 创建专属tmp目录,运行完清理 |
BS-Seeker2 /tmp |
单作业产生30~70GB临时文件 | 用 --temp_dir=./tmp |
| HISAT2 找不到索引 | 不报错不退出,假运行 | bpeek 检查作业输出 |
| MAKER FAILED | 程序空跑不停止 | 及时查看日志,出错杀掉重跑 |
| SqueezeMeta 第6步 | IO极慢(~8kb/s) | 用 s001 胖节点本地数据库 |
| CellRanger 慢 | 默认8h | 输出到/tmp + --no-bam → 2h |
| FunGAP 权限报错 | 运行时无法访问配置 | 先 cp -r /opt/conda/config 到本地 |
| BUSCO 离线 | 计算节点无网络 | 登录节点先下载数据库 |
| InterProScan | 本地运行消耗大量资源 | 用网页API,不消耗计算资源 |
| BLAST blastn | CPU利用率低 | 拆分query多作业并行,线程4~8 |
| NR/NT 公共数据库 | 自己下载并 makeblastdb 浪费时间 | module load nr/xxx 后直接用 $NR 变量引用,已格式化好 |
| blastx/blastp | 速度慢 | 用 diamond 替代 |
| 比对中间文件 | sam文件占空间大 | 管道直接输出bam,不存sam |
| fq.gz 解压 | 浪费存储和时间 | 比对软件多数直接支持 gz |
| RStudio R包 | 计算节点无法联网安装 | 在登录节点安装到指定目录 |
| Node.js >= 18 | 不支持 CentOS7 | 用 glibc-217 非官方编译版 |
| cargo install | Permission denied | 设 CARGO_HOME 到个人目录 |
| CentOS7 glibc 2.17 | 新软件不兼容 | 用 singularity 容器 |
| GitHub 下载慢 | 网络限制 | 用 ghproxy / xget 等加速 |