本应用示例将在近期下线,建议基于功能更加全面的 大模型语音交互与识图 示例进行体验与开发。
视觉语音大模型AI套件支持通过无线模组接入聆思平台 LSPlatfrom 实现大模型语音对话,同时在开发板上运行多种离线AI算法。
本示例主要展示大模型应用(在线) + 语音唤醒(离线) + 坐姿检测(离线)
的组合使用,实现语音、视觉类AI业务在一块开发板上同一时刻运行,可作为多模态
AI应用的典型示例。
应用图标:
本应用示例包含以下功能:
开发套件默认出厂 TF 卡中已包含本应用,可直接进行功能体验。
若您需要下载单独的应用示例固件,请参照本示例的 《固件下载与烧录》进行操作。
您可以参照以下视频进行固件功能的快速体验:
本示例功能包含:
本示例工程通过 WIFI 接入大模型应用,因此您需要参照以下指令配置开发套件,使其接入网络。
开发套件中已保存默认WiFi设置,可将手机热点设置为名称 mywifi,密码为 12345678 的 2.4G 频段 WIFI 网络,开发套件启动后将自动连入网络。
也可以通过串口进行网络配置:
开发套件在使用数据线连接开发套件的DAP_USB
接口和您电脑的USB接口后,可以使用命令来配置网络:
打开 聆思在线串口终端,波特率设置为 115200
, 选择串口并连接。
此处我们只需要使用wifi connect
指令,以接入名称为mywifi
,密码为 12345678
的 WIFI 网络为例,使用的联网命令为:
wifi connect mywifi 12345678
聆思在线串口终端配网参考图示:
注意:目前仅支持 2.4G 频段的 WIFI 网络接入,请选择 2.4G网络
注意:使用 iPhone 的个人热点
为开发板提供网络时,请启用手机配置中的【最大兼容性】
注意:部分路由器网络存在安全策略限制、不稳定等因素,出现联网故障时建议改用 2.4G 频段的手机热点进行尝试
连接成功后,我们可进入下一步。
本示例工程中默认启用了坐姿检测功能,当摄像头识别到不良坐姿时,开发板上也将闪烁红色 LED 进行提醒,同时,我们也可通过 PC 工具查看实时拍摄的图像与坐姿检测结果。
本示例运行时,摄像头将持续拍摄图像并并送入坐姿检测算法进行处理,当检测到画面中出现不良坐姿(如趴桌、手托脸等)时,将闪烁红色 LED 进行提醒,如下图。
访问在线PC工具网页
使用 TypeC 数据线连接电脑 USB 接口与开发板的 CSK_USB
接口,若您的电脑安装过工具驱动,电脑会有连接成功的提示:
若您未安装过驱动,可进行以下操作:
点击“选择设备”按钮,选择“CSK View Finder”选项,点击“连接”,即可看到预览图和识别结果;
项目 | 链接 |
---|---|
获取固件 | 可参照《固件下载与烧录》单独下载本应用的固件。 |
编译源码 | 可参照《智能问答+坐姿检测开发指南》了解如何拉取代码并完成代码的编译与烧录。 |
新增提示音 | 可参照《新增提示音》在本示例中增加自己的提示音频。 |