检测图像中所有人体的头肩位置,返回每个头肩的唯一id、位置坐标、检测得分等;
通过头肩检测识别用户的手势,返回当前目标的手势、得分等;
支持5种手势,分别为LIKE(👍)、OK(👌)、STOP(🤚)、YES(✌️)、SIX(🤙);
在直播、视频通话场景,通过云台实现人体追踪,让手机一直正面朝向用户进行录像。并且可以通过手势开启、停止追踪。
为了让用户在常用的交互距离取得比较好的识别效果,我们建议头肩跟踪跟手势识别最短交互距离为0.5m,最佳交互距分别为3.5m/3m,所对应的识别效果如下:
识别能力 | 最佳交互距离 | 识别率 | 虚警率 |
---|---|---|---|
头肩跟踪 | 3.5m | 95% | 5% |
手势识别 | 3m | 91% | 5% |
以下是分别在单人和多人场景下的帧率:
场景 | 识别能力 | 帧率 |
---|---|---|
单人 | 头肩追踪、手势识别 | 15FPS |
多人 | 头肩追踪、手势识别 | 10FPS |
由于DSP主要用于算法运行,暂不支持对外开放,开发者仅需关注MCU可用空间即可,以下为MCU内存预分配与实际占用情况:
内存类型 | 预分配内存 | 实际占用 |
---|---|---|
SRAM | 320KB | 69.15KB |
PSRAM | 4096KB | 334.60KB |