CSK6 大模型开发套件可检测图像中人物的坐姿情况,并对各种不良的坐姿进行识别,当画面中有坐姿信息时,显示屏上将实时对人物的关键骨骼点进行标注并显示该人物的包含手、身体状态在内的坐姿检测结果。
CSK6 芯片支持运行 坐姿检测 AI算法,具备以下特性:
支持以下坐姿异常状态的识别:
聆思 CSK6 语音视觉多功能开发套件提供了一个坐姿检测算法的示例工程,本文将讲述本示例工程的使用。
如果您希望在编译代码前先行体验坐姿检测功能,可点击下方链接下载固件二进制文件进行烧录:
固件二进制文件下载链接:spd_zephyr.bin
烧录指令:
lisa zep exec cskburn -s \\.\COMx -C 6 -b 1500000 0x000000 spd_zephyr.bin
其中的 COMx 代表开发套件连接到 PC 上对应的串口号(可通过设备管理器查看)。例如:
COM3
。
lisa zep exec cskburn -s PORT -C 6 0x000000 fd_zephyr.bin -b 1500000
其中的 PORT 代表开发套件连接到 PC 上对应的串口号。例如:
/dev/ttyUSB0
。
烧录完成后,可通过显示屏观察到摄像头的实时画面及其在画面左侧展示的坐姿检测结果。
坐姿检测的示例包含在 语音视觉多功能开发板 SDK 的 apps
目录下,工程目录名称为 lcd_spd
。
本坐姿检测示例工程的演示功能为:实现坐姿检测功能,当检测到异常坐姿时,红色的LED灯会闪烁。
请参照《获取开发环境与SDK》进行大模型AI开发套件SDK的下载与初始化,若您之前已经操作过,可忽略本步骤。
建议您在开发前,参照《本地SDK更新》将SDK更新至最新版本。
执行以下指令进行代码编译(以 Windows CMD 终端为例):
lisa zep build -b csk6_duomotai_devkit apps\lcd_spd -p
使用 Type-C 数据线连接开发套件的 DAP_USB
接口,执行以下命令进行烧录:
lisa zep exec cskburn -s \\.\COMxx -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin
或
lisa zep flash -r pyocd --frequency 20000000
其中的 COMx 代表开发套件连接到 PC 上对应的串口号(可通过设备管理器查看)。例如:COM3
。
lisa zep exec cskburn -s PORT -C 6 0x000000 --verify-all ./build/zephyr/zephyr.bin -b 1500000
其中的 PORT 代表开发套件连接到 PC 上对应的串口号。例如:/dev/ttyUSB0
。
坐姿检测的实时结果
,对坐姿的异常状态识别评分进行显示。