VIP20

本课程属于：048-宏基因组分析特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

内存优化：超大宏基因组分析技巧

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

内存优化的意义与宏基因组数据特点

课程概述内存优化的意义

数据类型选择

使用uint8 · float16等低精度数据类型

数据类型选择uint8

稀疏矩阵表示

处理稀疏kmer计数矩阵

稀疏矩阵表示kmer

内存映射文件

mmap在大型序列中的使用

内存映射文件mmap

逐行/逐块处理FASTQ · FASTA文件

流式读取FASTQ

使用Bloom Filter · MinHash减少内存

索引压缩Bloom

增量式计算

分批合并结果避免全量加载

增量式计算分批合并结果避免…

内存池与对象复用

减少分配开销

内存池对象复用

算法层面优化

使用近似算法降低内存

算法层面优化使用近似算法降低…

数据结构选择

数组 vs 哈希表 vs 树

数据结构选择vs

Bit向量与Roaring Bitmap

利用kmer计数矩阵的稀疏性

压缩感知kmer

当数据大于内存时的排序策略

外部排序当数据大于内存时…

将宏基因组拆分后处理

分治策略将宏基因组拆分后…

多进程共享内存

SharedMemory与Array

多进程共享内存SharedMemory

内存监控与分析工具

memory_profiler · tracemalloc

内存监控分析工具

Python中__slots__与numpy数组优化

Python中__slots__与num… · 核心概念 · 实践要点

使用pandas的Categorical与分块读取

使用pandas的Categorical… · 核心概念 · 实践要点

pandasCategorical

数据库索引

SQLite内存模式与内存表

数据库索引SQLite

分层数据格式的I/O与内存

并行计算中的内存限制

Dask与Ray的调度

并行计算内存限制

GPU加速与显存管理

使用内存高效的比对算法

minimap2的索引

使用内存高效的比…minimap2

kmer计数优化

Jellyfish与KMC的内存调优

kmer计数优化

组装算法中的内存管理

SPAdes与MEGAHIT

组装算法内存管理

Binning工具的内存优化

CONCOCT与MetaBAT

Binning工具的内存优化

虚拟内存与交换分区的影响及避免

虚拟内存与交换分区的影响及避免 · 核心概念 · 实践要点

虚拟内存交换分区的影响

内存泄漏检测与修复

gc模块与objgraph

内存泄漏检测修复

100G宏基因组数据的内存优化方案

实战案例100G宏基因组…

新型内存技术（Optane · CXL）与NVM

未来趋势Optane