【语音识别】语音助手--语音识别流程简介

整体语音识别交互流程如下：

一、语音唤醒

语音唤醒指的是通过预设的关键词即可将智能硬件从休眠状态唤醒，来执行相应的操作。

1.1 传统模式

先唤醒设备，等硬件设备反馈后（提示音或亮灯），用户认为设备被唤醒了，然后再发出语音控制命令，对应的缺点就是交互时间过长。例如：

• 用户：“小爱同学”
• 小米手机：“我在”
• 用户：“明天的天气”
• 小米手机：“。。。。。。”

1.2 one-shot

one-shot 是直接将唤醒词和工作命令一同说出，例如：“google goole, 我想听琼丹佛的歌”

1.3 zero-shot

zero-shot 是将常用的用户指令设置为唤醒词，达到用户无感知唤醒，例如（直接对设备说）：“导航到xxx”

1.4 自定义唤醒词唤醒

通过自定义唤醒词来进行唤醒，满足用户的个性化需求。

1.5 全双工连续对话

二、信号增强（sse）

三、语音识别 （asr）

四、自然语言理解（nlu）

五、核心任务

六、自然语言处理（nlg）

自然语言生成（nlg）是自然语言处理的一部分，从知识库或逻辑形式等等机器表述系统去生成自然语言。

6.1 nlg的实现方式

6.1.1 基于模板的nlg

这种形式的nlg使用模板驱动模式来显示输出。数据动态地保持更改，并由预定义的业务规则集（如if / else循环语句）生成。

对应的判断条件包括nlu的结构化数据（领域、意图、槽位），以及dst、dpl,基于判断条件，来生成对应的模板回复。例：

• 用户query"我要听晴天"举例，nlu已经提取了对应的domain、intent、槽位等信息。可以将正则表达式抽象成：
• if domain=“music”& intent=“根据歌名听音乐”& song=“晴天”，对应回复的话术"好的，一首晴天送给你，祝你有一天好心情"

6.1.2 知识问答型对话的nlg

知识问答型对话中的nlg就是根据问句类型识别与分类、信息检索或文本匹配而生成用户需要的知识（知识、实体、片段等），这类回复相比单纯的信息检索一般用户体验会更好，因为一般信息检索还需要用户根据搜索结果自己找所需信息。

6.1.3 闲聊型对话的nlg

闲聊型对话中的nlg就是根据上下文进行意图识别、情感分析等，然后生成开放性回复；

6.1.4 推荐型对话系统的nlg

推荐型对话系统中的nlg就是根据用户的爱好来进行兴趣匹配以及候选推荐内容排序，然后生成给用户推荐的内容。

七、文本转语音（tts）

文字转语音（text-to-speech，tts）则是将一般语言的文字转换为语音，以音频的方式播放给到用户。

参考：https://blog.csdn.net/fish_study_csdn/article/details/130978041