为确保后续支持质量,本文包含的 SDK 需经 商务需求评估并签署NDA 后向用户定向开放。
若您尚未完成 NDA 签署,请先联系聆思商务进行业务合作沟通。
代码的框架比如AP、CP、ASR5822T,相关的介绍可点击概述查看说明。
AP:可供客户二次开发业务逻辑,客户可自行开发编译成bin文件下载;
CP:不开放客户二次开发,客户可在下面sdk获取部分,获取下来的sdk目录中拿到已经匹配并编译打包好的respak.bin,后面使用时候直接烧录即可。
ASR:网络芯片部分。
注意↓
再往下继续操作之前,请确认你已经 与聆思签署NDA协议 以及聆思相关人员已经为你开通了权限。
如果已签署NDA但无法访问,请直接联系与您对接的商务同事。
代码仓库路径如下:
离线sdk代码:点击跳转到代码仓库
离在线sdk代码:点击跳转到代码仓库
离在线sdk+aiui业务逻辑代码:点击跳转到代码仓库
ASR5822T相关代码:点击跳转到代码仓库
CSK6语音标准资料库(软件、硬件、工具等资料):点击跳转到资料仓库
快速体验或演示固件及烧录工具下载:点击跳转到演示固件仓库
使用git去clone仓库的时候使用的账户密码可能与常规方式不一致,可点击如下LSCLOUD使用帮助的链接参考如何设置。
如果你跳转后的路径显示不正常(页面显示404或者其他),请联系聆思对接人员为你开通对应权限。
显示正常的页面可以看到类似如下内容:
仅需体验demo板的人员,聆思提供已经编译好的csk及asr所有固件,
可直接跳转参考快速烧录演示固件章节,
该章节提供了烧录的工具、说明文档、固件及视频。
详见->CSK6编译与烧录
详见->ASR编译与烧录
注:由于ASR属于第三方固件,非特殊需要,可以无需自行编译,聆思已经提供编译好的固件,可参考快速烧录演示固件章节获取。
csk6 log输出引脚(注意区别,不是烧录时候串口引脚):
PA02(RX,接串口板的TX),
PA03(TX,接串口板的RX),
聆思语音开发板支持shell交互,默认板子运行可能无log输出,需要手动通过shell指令交互打开log。
shell交互指令可跳转shell命令。
本章节以离在线aiui固件运行示例进行演示!
演示使用串口工具为Xshell工具!
基于你可能刚烧录完固件,请注意断开PB01和GND的连接线,
如果板子带asr模块,请断开asr模块的SEL
和V33
的连接线,
重新上电,板子才能正常运行。
烧录完毕后,日志引脚接到串口板之后,重新上电,可通过日志查看输出的调试信息,接线图及正常启动日志如下图所示,
纯离线语音交互的用户如果有图示中板子右边的asr5822模块,请拔掉该模块再进行效果演示!
这时候我们看到正常启动日志之后,且敲击xshell命令窗口发现有shell交互,即表示板子已经正常运行,板子启动后,还可以听到你好,我是小聆
的语音播报(离线的固件可能没加播报语,以日志及xshell交互为准)。
在xshell输入version
,如果有对应版本号数据输出,如下图所示,即表示板子运行无误,
一切准备就绪,接下来开始你的语音交互之旅吧!
默认离线固件内置离线语音指令,
离在线固件在没连接网络的状态下也是走的离线语音交互流程,
相关离线语音指令有类似“打开空调”,“关闭空调”,“制冷模式”等等,详细可打开附件:6012开发套件词条.xlsx(如果直接打开出现乱码,请右键保存到本地再打开即可)。
本次使用离在线aiui固件进行演示。
(注意离在线aiui固件测试离线语音的时候,asr模块也必须插在底板上使用,纯离线固件无需asr模块)。
待日志输出稳定后,对着语音板喊唤醒词小聆小聆
,会听到板子上的喇叭回应在呢
,然后再对其喊命令词打开空调
,会听到板子上的喇叭回应空调已开启
,且日志输出相关唤醒日志,如下图所示,
日志输出表示离线语音交互一切正常,可以自行尝试测试其他离线指令。
在线语音交互需要在asr模块上配网才可以连上网络。
特别注意:测试的时候最好自行手机发射热点使用,如果使用公司网络,可能由于一些公司的网络安全性配置,会导致asr模块无法连接网络导致失败。
asr自带的配网指令:(不保存,开机需要重新配网)
wifi_open sta 热点账号 密码
聆思封装的配网指令:(保存到flash,开机自动联网)
listen flash set string vir_ssid 热点账号
listen flash set string vir_pwd 密码
设备未主动设置wifi状态下,每次开机会尝试连接一次默认账号密码:
ssid:listen_yycs
pwd :listenyuyin
只想快速体验的用户也可以先改手机热点的账号密码与之对应,再上电板子,即可自动联网。
asr自带配网指令输入完,无需重新上电即可实现联网,
聆思封装的两条指令要先后输入,输入完需要重新上电设备才可以联网
当前固件版本配网必须要在asr模块端配网,asr模块配网也是使用串口通讯交互,我们将串口板连接asr模块端的TX和RX,排针的顺序与板子最下面的丝印对应,如下图所示,
连接上之后,我们使用任意一个串口工具与之交互,这里我们使用asr自带的串口工具,连接上,可以看到相关打印,
这个时候我们先将手机热点打开,然后在串口工具中输入对应的指令wifi_open sta 热点账号 密码
,点击发送
,这时候可以看到串口工具相关日志,连接成功后还会听到板子喇叭播报网络连接成功
,这时候表示已经连接上网络,相关日志如下图所示,
板子配网后,我们可以对着板子的mic喊小聆小聆
,听到回复之后,再说今天的天气
或北京时间现在几点
,会有相对应实时的回复语回复,这个时候则表示我们在线交互已经正常,可以尽情体验。
配网后,跑的是在线业务逻辑,不会再跑离线交互流程,将网络关闭后,固件恢复离线交互流程。
日志输出:asr配网完毕后,我们可以把串口切回到聆思csk的串口上(PA02、PA03),由于默认固件对log等级限制,可能默认日志仅输出唤醒词,所以我们日志上可能只看到唤醒词打印,log日志等级调整可以通过xshell指令交互改变,我们可以在xshell输入flash.setloglev 4
,打开日志等级4(其他shell交互指令可以跳转到shell命令查看),
如下图所示,我们再对着板子mic唤醒,可以看到包括在线交互更多的日志输出,
默认xshell输出可能没对齐,可以通过配置xshell如下配置使其对齐,如下图所示:
配置完之后再对其唤醒,可看到日志已经对齐显示,如下图所示:
至此,欢迎您开启语音交互的世界大门!