VIP20
本课程属于：022-TinyML RTOS集成与实时任务调度 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

16. TinyML音频实时流：采样中断、特征提取与连续推理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
TinyML音频实时流的学习目标 · 核心价值 · 典型应用场景（如唤醒词
课程导入TinyML
02
音频基础
声音的物理特性 · 数字音频表示（采样率 · 位深
音频基础声音的物理特性
03
TinyML与音频处理概览
TinyML在音频领域的优势 · 资源约束（内存 · 算力
TinyML音频处理概览
04
音频采样原理
采样率选择（8kHz/16kHz/4… · 抗混叠滤波器 · ADC工作原理与关键参数（SNR
音频采样原理kHz/16kHz/4
05
采样中断机制
中断优先级 · 采样定时器配置（如TIM · PWM触发）
采样断机制
06
实时音频流架构
从麦克风到推理引擎的数据流设计 · 环形缓冲区（Ring Buffer）…
实时音频流架构从麦克风到推理引…
07
音频预处理
直流偏置去除 · 增益控制 · 归一化
音频预处理直流偏置去除
08
时域特征提取
过零率 · 短时能量 · 均方根振幅等简单特征的计算与实时实现
时域特征提取过零率
09
频域特征提取
FFT原理 · 窗函数（Hamming/Hann） · 频谱计算与功率谱密度估计
频域特征提取FFT
10
梅尔频率倒谱系数（MFCC）
MFCC计算流程 · 滤波器组设计 · DCT变换与在TinyML中的简化实…
MFCC梅尔频率倒谱系数
11
其他音频特征
梅尔频谱图 · chroma特征 · 谱对比度等
其他音频特征梅尔频谱图
12
特征工程与降维
特征归一化 · 主成分分析（PCA）在MCU上的轻量… · 特征选择策略
特征工程降维
13
连续推理框架
滑动窗口机制 · 帧重叠（hop size） · 推理频率与实时性平衡
连续推理框架滑动窗口机制
14
模型选择与压缩
适合音频的轻量级模型（如DNN · CNN · TCN）
模型选择压缩
15
TinyML推理引擎
TensorFlow Lite Mi… · CMSIS-NN · Edge Impulse等工具链的集…
TinyML推理引擎
16
中断与推理协同
在中断服务程序（ISR）中处理采样 · 主循环中执行特征提取与推理 · 避免阻塞
推理协同ISR
17
实时操作系统（RTOS）集成
使用FreeRTOS任务划分 · 信号量/队列实现音频数据流与任务同步
RTOS实时操作系统
18
低功耗设计
动态电压频率调整（DVFS） · 睡眠模式 · 事件驱动采样与推理的功耗优化策略
低功耗设计DVFS
19
案例实战
基于Arduino Nano 33…
案例实战Arduino
20
案例实战
基于ESP32的实时声音分类（如环境…
案例实战ESP32
21
案例实战
基于STM32F4的连续关键词识别（… · 实现多关键词实时检测
案例实战STM32F4
22
数据采集与标注
麦克风阵列数据同步 · 数据集构建（如Google Spee… · 数据增强（噪声
数据采集标注
23
模型训练与部署流程
在PC上训练模型 · 转换为TFLite格式 · 量化校准
模型训练部署流程
24
调试与性能分析
使用逻辑分析仪 · 串口输出 · 性能计数器（DWT）测量采样率
调试性能分析
25
常见问题与解决方案
采样中断丢失 · 缓冲区溢出 · 特征计算耗时
常见问题解决方案
26
音频流同步与时间戳
多通道音频对齐 · 时间戳管理 · 与外部事件（如传感器）的同步
音频流同步时间戳
27
高级主题
自适应采样率 · 动态特征选择 · 在线学习与增量推理在TinyML音频…
高级主题自适应采样率
28
系统集成与产品化
将音频实时流模块集成到完整产品（如智… · 助听器）中 · 考虑可靠性
系统集成产品化
29
性能优化进阶
使用SIMD指令（如ARM NEON… · 定点数学库（如CMSIS-DSP）加…
性能优化进阶SIMD
30
综合项目与课程总结
设计一个综合音频实时流系统（如多类声… · 完成从需求分析到部署测试 · 并总结课程要点与未来学习路径
综合项目课程总结