大模型语音交互与识图(LLM_pic)示例默认唤醒词是“小美小美”,本文主要讲解如何将唤醒词替换为自己的个性化唤醒词。
我们将通过以下步骤实现唤醒词的替换:
可通过点击TF卡应用菜单中的图标加载运行原示例
或参照《语音交互与识图固件下载与烧录》下载并烧录固件至开发板上。
正常运行后屏幕显示如下:
1.访问聆思语音定制服务工具:https://tool.listenai.com/audio-custom/products
2.登录后点击【新增产品】按钮,填写产品名称后点击确定
3.完成产品创建后,在新页面中直接选择唤醒词和命令词标签,点击唤醒词配置表格下方的,在新增的行中第一列中填写自己的唤醒词 (拼音不需要填写),然后点击【词条评测】按钮,等待评测完成。
评测通过后,评测质量列将显示 OK
,此时即可进入下一步。
点击固件打包标签,输入一个固件版本号,其他配置项不需要变动,点击打包,等待固件打包并自动下载完成:
1.检查确认开发套件已运行大模型语音交互与识图示例(llm_pic)
2.电脑USB接口连接开发板 DAP_USB 接口,电脑运行cskburn桌面烧录工具并选中连接开发板后识别到的串口号:
3.解压上一步下载的固件压缩包,将解压后的文件夹中的 cmd.bin
与 main.bin
这两个文件拖入 cskburn desktop 软件中,并将这两个文件的烧录地址修改为:
0xa10000
0xa00000
修改完成后点击烧录,等待烧录完成,即可重新运行示例进行体验。
当我们完成唤醒词的替换后,可能还希望将应用UI上的操作提示也更换为自己的唤醒词。
通过修改示例源码并重新编译烧录,即可实现UI交互界面提示的修改。
当前仅支持通过修改代码并重新编译的方式修改并单独烧录固件至开发板运行,不支持修改TF卡中的应用。
可使用 VSCode 打开LLM_pic
工程目录(路径:duomotai_ap\apps\LLM_pic
),在左侧搜索栏搜索请使用
:
通过搜索可定位到我们要修改的源码文件为LLM_pic\src\app_ui\aweui\screen\aweui_screen_standby.c
,
我们直接将 226行 与 315行 的提示修改为我们新的唤醒词或其他提示引导
在duomotai_ap
目录下执行以下指令,对修改过的工程进行编译(以 Windows CMD 终端为例):
lisa zep build -b csk6_duomotai_devkit apps\LLM_pic -p
使用 Type-C 数据线连接开发套件的 DAP_USB
接口,选中以下其中一种方式对固件进行烧录:
cskburn desktop
是一款聆思推出的桌面烧录工具,在下载并安装 cskburn desktop 烧录工具后,双击图标运行软件:
1.点击串口下拉框,选择连接开发套件后识别到的串口编号;
2.将编译输出的.bin
文件拖拽进烧录区域;
3.点击开始烧录,等待烧录完成。
若您已按照 《环境搭建》 教程完成开发环境的安装,可在编译完成后执行 lisa zep exec cskburn
指令完成烧录。
lisa zep exec cskburn -s \\.\COMxx -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin
请将命令行中的的 COMx 替换为开发套件在 PC 上对应的串口号(可通过设备管理器查看)。例如:
COM3
。
lisa zep exec cskburn -s PORT -C 6 0x000000 --verify-all ./build/zephyr/zephyr.bin -b 1500000
请将命令行中的 PORT 替换为开发套件连接在 PC 上对应的串口号。例如:
/dev/ttyUSB0
。
烧录完成后,程序将自动运行,你也可以通过按压开发板上的复位按键进行复位运行。
可看到界面已修改为我们新的唤醒词:
重新烧录固件后,之前替换的唤醒词资源也会被覆盖,需要重新通过cskburn desktop烧录一次唤醒词资源(
cmd.bin
和main.bin
)。