视觉语音大模型AI套件支持通过无线模组接入聆思平台 LSPlatfrom 实现大模型语音对话,同时在开发板上运行多种离线AI算法。
本示例主要展示大模型应用(在线) + 语音唤醒(离线) + 坐姿检测(离线)
的组合使用,实现语音、视觉类AI业务在一块开发板上同一时刻运行,可作为多模态
AI应用的典型示例。
本应用示例包含以下功能:
本文将在正式进入代码编译烧录之前,带您体验综合示例的功能。
您可点击右侧链接下载体验固件:zephyr.bin
完成上述固件镜像下载后,使用 Type-C 数据线连接开发套件的 DAP_USB
接口,执行以下命令进行烧录:
lisa zep exec cskburn -s \\.\COMx -C 6 -b 1500000 0x000000 zephyr.bin
其中的 COMx 代表开发套件连接到 PC 上对应的串口号(可通过设备管理器查看)。例如:
COM3
。
lisa zep exec cskburn -s PORT -C 6 0x000000 zephyr.bin -b 1500000
其中的 PORT 代表开发套件连接到 PC 上对应的串口号。例如:
/dev/ttyUSB0
。
您可以参照以下视频进行固件功能的快速体验:
本示例功能包含:
本示例工程通过 WIFI 接入大模型应用,因此您需要参照以下指令配置开发套件,使其接入网络,这里讲解通过 shell 进行网络配置。
Demo 在上电运行后可以使用命令来配置网络,打开串口工具,波特率设置为 115200
,发送 wifi
(需勾选换行),可以看到shell命令的详细介绍。
本教程使用的串口调试工具是 sscom,可点击 sscom串口工具 下载使用,您也可以选择自己喜欢的串口调试工具。
支持的指令如下面所示:
wifi - WiFi related commands.
Subcommands:
connect :<wifi> <connect> <ssid> <pwd>
disconnect :<wifi> <disconnect>
add :<wifi> <add> <ssid> <pwd>
delete :<wifi> <delete> <ssid>
list :show storage wifi list
此处我们只需要使用`wifi connect``指令,以接入名称为 mywifi,密码为 12345678 的 WIFI 网络为例,使用的联网命令为:
wifi connect mywifi 12345678
ssid 即 WIFI 网络名称, pwd 即 WIFI 网络的密码
注意:目前仅支持 2.4G 频段的 WIFI 网络接入,请选择 2.4G网络
注意:若您使用 iPhone 的个人热点
为开发板提供网络,请启用手机配置中的【最大兼容性】
连接成功后,我们可进入下一步。
本示例工程中默认启用了坐姿检测功能,当摄像头识别到不良坐姿时,开发板上也将闪烁红色 LED 进行提醒,同时,我们也可通过 PC 工具查看实时拍摄的图像与坐姿检测结果。
本示例运行时,摄像头将持续拍摄图像并并送入坐姿检测算法进行处理,当检测到画面中出现不良坐姿(如趴桌、手托脸等)时,将闪烁红色 LED 进行提醒,如下图。
访问在线PC工具网页
使用 TypeC 数据线连接电脑 USB 接口与开发板的 CSK_USB
接口,若您的电脑安装过工具驱动,电脑会有连接成功的提示:
若您未安装过驱动,可进行以下操作:
点击“选择设备”按钮,选择“CSK View Finder”选项,点击“连接”,即可看到预览图和识别结果;
建议您阅读下一章节 —— 《智能问答+坐姿检测上手指南》,了解如何拉取代码并完成代码的编译与烧录。