耳聪目明 — 面向移动陪伴的多模态全双工语音交互机器人

1. 项目概述

"耳聪目明"机器人是一款面向移动陪伴场景的多模态全双工语音交互机器人。它不仅能"听"懂人话，还能"看"懂唇语，在嘈杂环境中也能准确理解用户意图，实现自然流畅的人机对话。

1.1 项目目标

• 知识目标：掌握语音信号处理、计算机视觉、嵌入式系统、人机交互等多学科基础知识
• 能力目标：能够独立完成多模态交互系统的设计、搭建与调试
• 素养目标：培养系统思维、问题排查能力和团队协作精神

1.2 核心特色

2. 系统整体架构

整个系统分为五大层次：感知层、处理层、决策层、控制层和交互层。各层之间通过消息队列解耦，保证系统的实时性和可扩展性。

2.1 各层职责说明

3. 核心工作流程

机器人的工作过程分为三个阶段：唤醒定位阶段、对话交互阶段和全双工打断处理阶段。下面用流程图展示完整的运行逻辑。

3.1 三阶段详解

阶段一：唤醒与定位

1. 监听唤醒词 机器人处于低功耗待机状态，麦克风阵列持续监听环境声音，使用关键词检测模型（如 Snowboy / Porcupine）识别唤醒词。
2. 波束形成声源定位 检测到唤醒词后，利用麦克风阵列各通道的声音到达时间差（TDOA），通过波束形成算法计算声源的方向角（DOA）。
3. 卡尔曼滤波跟踪 对计算出的声源方向进行卡尔曼滤波，平滑噪声干扰，预测声源运动轨迹，避免因瞬时噪声导致舵机抖动。
4. 舵机转向 + 人脸检测 控制云台舵机转向声源方向，同时启动摄像头进行人脸检测。找到人脸后锁定位置，进入对话模式。

阶段二：对话交互

1. 语音活动检测（VAD） 检测用户是否在说话，过滤掉静音段和环境噪声，只把有效语音片段送给识别引擎。
2. 语音识别（ASR） 将用户语音转换为文本。可使用开源方案（Whisper / FunASR）或云端API（讯飞/百度）。
3. 大语言模型（LLM）交互 将识别文本发送给LLM，生成回答。同时支持意图识别——如果是控制指令（如"向前走"），则调用电机控制模块。
4. 语音合成（TTS） 将LLM生成的文本回答转换为语音，通过扬声器播放给用户。

阶段三：全双工打断处理

1. 回声消除（AEC） 把扬声器正在播放的音频作为参考信号，从麦克风采集的信号中"减去"机器人自己的声音，剩下的才是环境中的真实声音。
2. 双讲检测（DTD） 判断当前麦克风里除了回声之外，有没有用户在说话。如果检测到用户说话，触发打断逻辑。
3. 唇部检测二次确认 双讲检测可能误判（比如环境噪声），这时候调用摄像头看用户嘴唇有没有在动，用视觉信息二次确认"用户真的在说话"。
4. 打断决策 如果语音和视觉都确认用户在说话，立即停止当前回答，开始处理新的用户输入；如果只是噪声，继续播放回答。

4. 实训进度安排

建议实训周期为 4 周（约 80 学时），按照"基础入门 → 分模块实践 → 系统集成 → 调试优化"的顺序循序渐进。零基础学生可以先在电脑上完成算法验证，再迁移到树莓派。

5. 教学模块详解

共 10 个教学模块，每个模块包含学习目标、核心知识点、实践内容和参考工具。 难度从入门到进阶循序渐进，标注了各模块的前置依赖关系。

6. 硬件清单

以下是基础版硬件清单，学生可根据预算和兴趣进行扩展。推荐以小组为单位采购，共享部分调试工具。

7. 软件环境

所有软件均使用开源或免费方案，学生可以在自己的电脑上先完成开发，再部署到树莓派。

8. 考核方式

采用过程性评价 + 最终成果相结合的方式，重点考察学生的动手能力和解决问题的能力，而不是死记硬背。

8.1 最终成果要求

• 功能完整性：唤醒词检测 → 声源定位转向 → 人脸检测 → 语音对话 → 打断检测，全流程跑通
• 稳定性：连续对话 5 轮以上不出错，唤醒成功率 ≥ 90%
• 创新性：在基础功能之上，有自己的改进或扩展（比如增加表情显示、移动底盘、多轮记忆等）
• 代码质量：代码结构清晰，有注释，模块化设计

8.2 项目报告要求

• 项目背景与目标
• 系统架构设计（附架构图）
• 各模块原理与实现细节
• 遇到的问题与解决方法
• 测试结果与性能分析
• 总结与展望

9. 扩展与进阶方向

学有余力的小组可以在基础功能之上，探索以下进阶方向，提升项目的完整度和创新性。