首页
›
AI智能与边缘计算工程
›
105-ESP32 TinyML与端侧联网
›
《ESP32音频唤醒项目》
VIP7
本课程属于:105-ESP32 TinyML与端侧联网
AI智能与边缘计算工程 · 共 7 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
📘
5. ESP32音频唤醒项目:I2S麦克风与关键词识别
共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 项目成果预览
课程导入
学习目标
02
音频基础概念
采样率 · 位深 · 声道
音频基础概念
采样率
03
I2S协议详解
I2S总线原理 · 引脚定义(BCLK · LRCLK
I2S
协议详解
04
ESP32音频硬件
ESP32内置I2S外设 · 常用I2S麦克风型号(如INMP44… · ICS-43434)
ESP32
音频硬件
05
开发环境搭建
Arduino IDE或ESP-ID… · ESP32开发板驱动安装 · 必要库的安装(如driver/i2s…
开发环境搭建
Arduino
06
I2S驱动配置
使用ESP-IDF或Arduino库… · 设置采样率/位深/通道模式 · 读取麦克风数据的代码实现
I2S
驱动配置
07
音频数据采集实战
编写代码从I2S麦克风读取原始PCM… · 数据缓冲管理 · 实时打印波形数据验证
音频数据采集实战
I2S
08
音频预处理基础
直流偏移消除 · 音量归一化 · 静音检测
音频预处理基础
直流偏移消除
09
特征提取方法
MFCC(梅尔频率倒谱系数)原理与计… · 滤波器组 · DCT变换
特征提取方法
MFCC
10
关键词识别(KWS)概述
KWS系统架构 · 唤醒词检测流程 · 常用关键词(如“Hey ESP”)
KWS
关键词识别
11
轻量级神经网络模型
适合MCU的模型(如DNN · CNN · DS-CNN)
轻量级神经网络模…
MCU
12
TensorFlow Lite Micro入门
TFLite Micro架构 · 模型转换流程(Keras→TFLit… · 在ESP32上部署步骤
TensorFlow
Lite
13
数据集准备与标注
录制关键词音频 · 数据增强(噪声 · 变速)
数据集准备
标注
14
模型训练与优化
使用TensorFlow训练KWS模… · 训练技巧(早停 · 学习率调整)
模型训练
优化
15
模型部署到ESP32
将TFLite模型转换为C数组 · 集成到Arduino/ESP-IDF… · 内存管理
ESP32
模型部署到
16
实时音频流水线
从I2S采集→预处理→特征提取→推理… · 优化延迟
实时音频流水线
I2S
17
唤醒词检测逻辑
滑动窗口检测 · 阈值设定 · 触发后动作(如LED亮
唤醒词检测逻辑
滑动窗口检测
18
实战项目一
实现“Hey ESP”唤醒词检测 · 从零搭建代码 · 测试识别准确率
实战项目一
Hey
19
实战项目二
多关键词识别(如“开灯 · 关灯”) · 扩展模型输出类别
实战项目二
多关键词识别
20
实战项目三
低功耗唤醒设计 · 外部中断唤醒 · I2S麦克风低功耗模式
实战项目三
低功耗唤醒设计
21
常见问题排查
I2S无数据 · 噪声过大 · 采样率不匹配
常见问题排查
I2S
22
性能优化技巧
优化I2S读取效率(DMA) · 特征提取加速(定点运算) · 模型推理优化(算子融合)
性能优化技巧
I2S
23
音频数据可视化与调试
使用串口绘图器或PC端Python脚… · 频谱 · 特征图
音频数据可视化
调试
24
与云服务集成
将ESP32识别结果通过WiFi发送… · HTTP) · 实现语音控制IoT设备
云服务集成
ESP32
25
多麦克风阵列扩展
使用双I2S麦克风实现波束成形 · 声源定位 · 提升唤醒鲁棒性
多麦克风阵列扩展
I2S
26
噪声环境下的鲁棒性
降噪算法(谱减法 · 维纳滤波) · 语音增强
噪声环境下的鲁棒…
降噪算法
27
项目测试与评估
设计测试方案 · 计算准确率/召回率 · 混淆矩阵
项目测试
评估
28
综合项目实战
构建一个完整的语音唤醒系统 · 包括硬件组装 · 代码整合
综合项目实战
构建一个完整的语…
29
课程总结与进阶方向
回顾核心知识点 · 常见坑点 · 后续学习路径(如离线语音助手
课程总结
进阶方向
30
结课考核与作业
设计一个自定义关键词唤醒项目 · 提交代码 · 测试报告
结课考核
作业
所属VIP或分类
同VIP:ESP32-PSRAM与Arena内存优化
同VIP:ESP32-S3向量推理与PSRAM优化
同VIP:ESP32-TFLite-Micro部署工程