¶ 头肩检测&手势识别 功能体验
¶ 算法介绍
¶ 头肩检测
检测图像中所有人体的头肩位置，返回每个头肩的唯一id、位置坐标、检测得分等；
理论上同时支持最多 15 个头肩信息的检测。
¶ 手势识别
通过头肩检测识别用户的手势，返回当前目标的手势、得分等；
支持5种手势，分别为LIKE(👍)、OK(👌)、STOP(🤚)、YES(✌️)、SIX(🤙)；
¶ 算法效果演示
¶ 应用场景
¶ 跟拍云台
在直播、视频通话场景，通过云台实现人体追踪，让手机一直正面朝向用户进行录像。并且可以通过手势开启、停止追踪。
¶ 算法参数
¶ 识别效果
为了让用户在常用的交互距离取得比较好的识别效果，我们建议头肩跟踪跟手势识别最短交互距离为0.5m，最佳交互距分别为3.5m/3m，所对应的识别效果如下：
| 识别能力 | 最佳交互距离 | 识别率 | 虚警率 |
|---|---|---|---|
| 头肩跟踪 | 3.5m | 95% | 5% |
| 手势识别 | 3m | 91% | 5% |
¶ 帧率
以下是分别在单人和多人场景下的帧率：
| 场景 | 识别能力 | 帧率 |
|---|---|---|
| 单人 | 头肩追踪、手势识别 | 15FPS |
| 多人 | 头肩追踪、手势识别 | 10FPS |
¶ 资源占用
由于DSP主要用于算法运行，暂不支持对外开放，开发者仅需关注MCU可用空间即可，以下为MCU内存预分配与实际占用情况：
| 内存类型 | 预分配内存 | 实际占用 |
|---|---|---|
| SRAM | 320KB | 69.15KB |
| PSRAM | 4096KB | 334.60KB |
¶ 示例简介
CSK6 大模型开发套件支持通过摄像头快速检测画面中是否存在人物的头肩，若检测到头肩会在显示屏中框出头肩位置，自动识别该头肩的存在手势信息，支持五种五种手势的识别并在显示屏上显示识别结果。外部设备可以通过日志串口可以实时获取头肩检测与手势识别结果。
应用图标：
联网要求： 不需要
本示例工程默认展示以下功能：
- 通过摄像头实时获取图像并在屏幕上进行预览显示
- 在屏幕展示的画面中标注头肩检测和手势识别的结果与评分
开发套件默认出厂 TF 卡中已包含本应用，可直接进行功能体验。
若您需要下载单独的应用示例固件，请参照本示例的固件下载与烧录进行操作。
¶ 硬件准备
在运行本应用前，进行以下硬件准备:
- 1.连接任一USB口进行供电
- 2.将摄像头粘贴至开发板正面
¶ 相关内容与链接
| 项目 | 链接 |
|---|---|
| 获取固件 | 可参照《固件下载与烧录》单独下载本应用的固件。 |
| 编译源码 | 可参照《头肩检测&手势识别开发指南》了解如何拉取代码并完成代码的编译与烧录。 |