CSK6 大模型开发套件可通过摄像头抓拍画面并对该画面进行物体分类识别,支持包括苹果、床、键盘等100+种物体的识别。通过触摸屏可进行取景与抓拍控制,完成拍照后将自动识别并在屏幕上显示识别结果。
本示例演示在开发套件上运行基于pytorch-cifar100训练的resnet18物体分类模型,支持通过摄像头拍照并完成对指定物品的分类识别。
本模型支持以下物体的分类识别:
"apple", "aquarium_fish", "baby", "bear", "beaver", "bed",
"bee", "beetle", "bicycle", "bottle", "bowl", "boy",
"bridge", "bus", "butterfly", "camel", "can", "castle",
"caterpillar", "cattle", "chair", "chimpanzee", "clock", "cloud",
"cockroach", "couch", "crab", "crocodile", "cup", "dinosaur",
"dolphin", "elephant", "flatfish", "forest", "fox", "girl",
"hamster", "house", "kangaroo", "keyboard", "lamp", "lawn_mower",
"leopard", "lion", "lizard", "lobster", "man", "maple_tree",
"motorcycle", "mountain", "mouse", "mushroom", "oak_tree", "orange",
"orchid", "otter", "palm_tree", "pear", "pickup_truck", "pine_tree",
"plain", "plate", "poppy", "porcupine", "possum", "rabbit",
"raccoon", "ray", "road", "rocket", "rose", "sea",
"seal", "shark", "shrew", "skunk", "skyscraper", "snail",
"snake", "spider", "squirrel", "streetcar", "sunflower", "sweet_pepper",
"table", "tank", "telephone", "television", "tiger", "tractor",
"train", "trout", "tulip", "turtle", "wardrobe", "whale",
"willow_tree", "wolf", "woman", "worm"
本物体分类demo示例包含在 语音视觉多功能开发板 SDK 的 apps/thinker_service
目录下,工程目录名称为 resnet18
。
本示例基于开源项目进行移植适配,仅用于 CV 能力的验证与评估,不代表适用于商用项目。
如果您希望在编译代码前直接烧录固件进行功能的体验,可点击下方链接下载固件二进制文件进行烧录:
固件二进制文件下载链接:resnet18_zephyr.bin
烧录指令:
lisa zep exec cskburn -s \\.\COMx -C 6 -b 1500000 0x000000 resnet18_zephyr.bin
其中的 COMx 代表开发套件连接到 PC 上对应的串口号(可通过设备管理器查看)。例如:
COM3
。
lisa zep exec cskburn -s PORT -C 6 0x000000 resnet18_zephyr.bin -b 1500000
其中的 PORT 代表开发套件连接到 PC 上对应的串口号。例如:
/dev/ttyUSB0
。
为了方便点击屏幕拍照按钮对物体进行拍照识别,您可以将摄像头安装至开发板背面:
翻转
按钮,可实现对摄像头的影像预览翻转,可根据摄像头是否安装在开发板背面进行切换TAKE
按钮,可对当面画面进行拍照并识别物体分类示例包含在 语音视觉多功能开发板 SDK 的 aapps/thinker_service
目录下,工程目录名称为 resnet18
。
请参照《获取开发环境与SDK》进行大模型AI开发套件SDK的下载与初始化,若您之前已经操作过,可忽略本步骤。
建议您在开发前,参照《本地SDK更新》将SDK更新至最新版本。
在 duomotai_ap
目录下,执行以下指令进行代码编译(以 Windows CMD 终端为例):
lisa zep build -b csk6_duomotai_devkit apps\thinker_service\resnet18\ -p
编译完成后,编译产物二进制文件为 build\zephyr\zephyr.bin
使用 Type-C 数据线连接开发套件的 DAP_USB
接口,执行以下命令进行烧录:
lisa zep exec cskburn -s \\.\COMxx -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin
或
lisa zep flash -r pyocd --frequency 20000000
其中的 COMx 代表开发套件连接到 PC 上对应的串口号(可通过设备管理器查看)。例如:COM3
。
lisa zep exec cskburn -s PORT -C 6 0x000000 --verify-all ./build/zephyr/zephyr.bin -b 1500000
其中的 PORT 代表开发套件连接到 PC 上对应的串口号。例如:/dev/ttyUSB0
。
烧录完成后,程序将自动运行,你也可以通过按压开发板上的复位按键(RTS)进行复位运行。
操作:
翻转
按钮,可实现对摄像头的影像预览翻转,可根据摄像头是否安装在开发板背面进行切换TAKE
按钮,可对当面画面进行拍照并识别