📚 课程目录第3章 FASTA格式文件解析失败修复

第3章 FASTA格式文件解析失败修复：非法字符、序列名重复、换行符不规范

FASTA 格式，应该是生物信息学里最基础的文本格式了。但你别看它简单，实际项目里翻车最多的就是它。我遇到过好几次，几千条序列的 FASTA 文件，因为一个隐藏的非法字符，整个 MSA 流程卡死，排查到半夜才发现问题。

这一章我们专门聊三个最常见的坑：非法字符、序列名重复、换行符不规范。顺便我会给一套我自己用惯的修复脚本，你们可以直接拿来用。

3.1 非法字符问题

FASTA 格式对序列字符有明确限制——DNA/RNA 只能用标准字母（A、C、G、T/U），蛋白质只能用 20 种标准氨基酸。但实际文件里什么妖魔鬼怪都有：

文本编辑器引入的零宽空格（U+200B）
Windows 换行符混在 Unix 换行符里
肉眼看不到的控制字符（如 ^M）
中文字符或全角符号
版本号里带的括号、逗号等特殊符号

如何快速诊断？ 我个人习惯用 grep 加 -n 定位异常行，再用 od -c 看原始字节。举个例子：

# 找出非标准字符（假设是 DNA 序列）
grep -v "^>" yourfile.fasta | grep -n "[^ACGTacgtNn]" | head -20

如果输出有匹配行，说明该行包含非法字符。接着用 sed 或 tr 清洗：

# 只保留标准碱基（含N），删除其他所有字符
sed -i '/^>/! s/[^ACGTacgtNn]//g' yourfile.fasta

提示： 对于蛋白质序列，可以准备一个允许字符集 ACDEFGHIKLMNPQRSTVWYacdefghiklmnpqrstvwy*-，用类似方式过滤。注意保留终止符 * 和缺口 -。

我在一个宏基因组项目里遇到过整条序列全是不可见字符的情况，当时 cat -A 一看，原来是数据从 Windows 表格复制粘贴时混入了大量 ^@（null 字符）。清洗脚本跑了十分钟才清理干净。

3.2 序列名重复

MSA 工具（比如 MAFFT、Clustal Omega）通常要求每条序列的 ID（即 FASTA 头行从 > 到第一个空格之间的内容）唯一。如果重复，轻则覆盖前面的序列，重则直接报错。我记得有一次跑 mafft --auto，日志里只写了 Duplicate sequence name，却没有给行号，我只好自己写脚本排查。

排查方法：

# 提取所有头行，去掉 '>'，统计重复
grep "^>" yourfile.fasta | sed 's/>//' | sort | uniq -d

如果输出非空，就是重复的头行。更智能一点，可以输出重复的行号：

awk '/^>/ {if (seen[$0]++) print "Duplicate at line " NR ": " $0}' yourfile.fasta

修复策略： 我一般用序列在文件中的顺序编号作为后缀，或者加上原始文件名前缀。

awk 'BEGIN{n=0} /^>/{n++; $0=$0 "_" n} {print}' yourfile.fasta > fixed.fasta

这个脚本会在每个头行末尾追加 _1、_2…… 保证唯一。如果你希望保留原始 ID 的可读性，可以再加个映射表。

注意： 有些工具要求头行里不能有空格或特殊符号（如 |、(）。如果加了编号后头行格式变了，记得后续也要一起处理。

3.3 换行符不规范

这个坑最容易忽视。FASTA 格式规定：每条序列可以折成多行，但每行末尾必须是 Unix 换行符 \n（LF）。Windows 的 \r\n（CRLF）或者旧 Mac 的 \r（CR）都会让解析器行为异常。

具体表现：

序列行末尾多出一个 \r，被当成非法字符
有些解析器把 \r 当作序列的一部分，导致长度错误
混合换行符时，某些行缺失换行，导致两条序列粘在一起

检测与修复： 最简单的是用 file 命令看文件类型：

file yourfile.fasta
# 输出 "ASCII text, with CRLF line terminators" 表示是 Windows 换行

修复我习惯用 dos2unix，或者纯 sed：

# 把 CRLF 换成 LF
sed -i 's/\r$//' yourfile.fasta

如果文件很大（比如几十万条），记得先备份。我之前有一次手滑把 sed 命令参数写反了，结果文件全部变成空行，还好有备份才没有重跑整个流程。

3.4 完整修复流程总结

综合三种情况，我整理了一套标准修复脚本，你们可以按顺序执行：

#!/bin/bash
# fix_fasta.sh - 修复 FASTA 常见问题
# 用法: bash fix_fasta.sh input.fasta output.fasta

IN=$1
OUT=$2

# 1. 换行符统一为 LF
sed 's/\r$//' "$IN" | \
# 2. 去除头行以外的非法字符（DNA/RNA）
sed '/^>/! s/[^ACGTacgtNn]//g' | \
# 3. 确保头行唯一（追加行号）
awk 'BEGIN{n=0} /^>/{n++; $0=$0 "_seq" n} {print}' \
> "$OUT"

echo "修复完成: $OUT"

这个脚本适用于标准 DNA/RNA 序列。如果是蛋白质或非标准字母表，请先修改第 4 行的字符集。

3.5 知识结构一览

下面这个图把三个坑和修复方法串起来了，你扫一眼就能记住逻辑：

3.6 避坑指南

我曾经遇到过一个坑： 有份数据是用 Python 的 csv.writer 导出的 FASTA，结果每一行末尾都多了个逗号。因为 csv.writer 默认把每行当字段处理。最后我不得不用 sed 's/,$//' 去掉行尾逗号。所以，建议每次拿到 FASTA 先做一次元信息检查：

# 统计头行数、序列行数、总行数
echo "Headers: $(grep -c '^>' yourfile.fasta)"
echo "Total lines: $(wc -l < yourfile.fasta)"
echo "First 3 headers:"
grep '^>' yourfile.fasta | head -3

如果头行数和总序列条数对不上，基本就是解析时把序列头当成了序列内容，或者相反。这时候别慌，先从换行符查起。

嗯，这一章的内容就这些。记住三件事：换行符统一、字符集清洗、头行唯一。养成两步走——先诊断后修复，就不会在解析环节浪费时间。