视觉语音大模型 AI 开发套件( CSK6-MIX )是聆思科技围绕 CSK6 AI 芯片 设计的具备丰富语音图像功能与硬件外设的开发板,采用具备丰富组件生态的 Zephyr RTOS 作为操作系统,默认配套开箱即玩的 AI 应用,方便用户快速搭建 AI 硬件原型并体验算法效果。
您也可以配合聆思的模型训练推理工具 LNN 将自己的算法模型部署至芯片上,构建自己的 AI 应用。
大模型套件的SDK与示例基于 Zephyr3.4 进行构建,RTOS具备以下特性:
大模型套件 (CSK6-MIX 2.0) 默认配套了集合了大部分应用示例的 TF 卡且开发套件默认烧录了用于加载 TF 卡内应用的固件,用户可直接上电开机体验,无需安装开发环境。
低帧率.mp4
使用 TF 卡进行应用体验前,请检查 TF 卡是否已安装牢固。
下次使用套件时,若依旧选择上一次加载的应用,则无需等待。
应用菜单功能的实现依赖于开发套件出厂默认烧录在 flash 中的TF卡应用启动固件,若您在为开发套件烧录了其他固件后导致开机后应用菜单无法展示,可参照 《应用合集TF卡制作》章节重新下载烧录这个 TF卡应用启动固件。
本开发套件支持接入LSPlatform使用大模型能力,SDK中默认配套了以下大模型应用示例:
序号 | 大模型功能 | 网络 | 图标 | 使用教程 | 功能说明 |
---|---|---|---|---|---|
1 | 语音交互与识图 | 联网 | 《语音交互 + 识图 功能体验》 | ★推荐使用此应用体验大模型功能★。包含大模型语音问答、拍照识图、大模型绘图等丰富供能示例,支持语音唤醒、多轮语音交互,支持参照指引文档接入自己的大模型应用。 |
本开发套件支持离线运行 AI 算法,SDK中默认配套了以下离线AI能力应用示例:
序号 | AI 能力 | 网络 | 图标 | 使用教程 | 功能说明 |
---|---|---|---|---|---|
1 | 坐姿检测 | 离线 | 《坐姿检测功能体验》 | 实时通过摄像头检测坐姿状态并将图像与算法结果现实在屏幕上。 | |
2 | 人脸识别 | 离线 | 《人脸识别功能体验》 | 支持注册人脸后,进行人脸抓拍识别,输出判断结果。支持配合红外摄像头实现活体检测。 | |
3 | 头肩&手势识别 | 离线 | 《头肩检测&手势识别功能体验》 | 实时通过摄像头检测画面中的头肩,支持识别五种手势信息。 | |
4 | 语音合成 | 离线 | 《语音合成功能体验》 | 连接串口与电脑后,可通过串口工具输入文本内容,进行语音的合成并播报。 | |
5 | 字母拼读 | 离线 | 《字母拼读功能体验》 | 通过语音输入的方式拼读字母,实现英文单词的识别并显示查词结果。 | |
6 | 英文评测 | 离线 | 《英文评测功能体验》 | 通过语音输入的方式评测英文发音是否标准,支持单词、短语、句子。 |
以上示例均为单个 AI 能力的使用演示,若在实际项目中有多个AI能力的组合需求,请扫描开发板背面二维码联系开发助手。
LNN是用于移植适配算法至CSK6芯片的工具,我们提供了视觉、语音相关的示例,如果您想在CSK6上移植适配自己的算法,可以参照这些示例:
若您希望基于大模型能力或我们提供的离线 AI 能力构建自己的应用,可以在完成开发环境的搭建后,参照我们 SDK 中提供的示例源码以及相关开发指引文档,进行应用的修改与编译,并烧录至开发套件上进行验证。
下表为可能有助于您完成开发的文档教程:
序号 | 类别 | 能力 | 文档 | 说明 |
---|---|---|---|---|
1 | 通用 | - | 《环境搭建》 | 介绍如何在电脑上搭建固件的编译环境,如果您需要编译开发套件上的固件,需阅读本文档。 |
2 | 通用 | - | 《获取大模型套件SDK》 | 介绍如何拉取大模型套件的 SDK (含示例) 并完成初始化,如果您需要编译开发套件上的固件,需阅读本文档。 |
3 | 大模型 | 语音识别、识图、图片生成 | 《云端应用接入》 | 介绍如何基于示例模板在开发套件上接入自己的大模型应用,实现语音识别、识图、图片生成、知识库问答等功能。 |
4 | 离线AI | 坐姿检测 | 《坐姿检测开发指南》 | 介绍如何编译坐姿检测的示例源码。 |
5 | 离线AI | 人脸识别 | 《人脸识别开发指南》 | 介绍如何编译人脸识别的示例源码。 |
6 | 离线AI | 头肩&手势识别 | 《头肩&手势识别开发指南》 | 介绍如何编译头肩&手势识别的示例源码。 |
7 | 离线AI | 语音合成 | 《语音合成开发指南》 | 介绍如何编译语音合成的示例源码。 |
8 | 离线AI | 字母拼读 | 《字母拼读开发指南》 | 介绍如何编译字母拼读的示例源码。 |
9 | 离线AI | 英文评测 | 《英文评测开发指南》 | 介绍如何编译英文评测的示例源码。 |
编号 | 资源 | 说明 |
---|---|---|
1 | CSK USB 接口 | CSK6 芯片的 USB 接口,可通过本接口使用 CSK6 的 USB 硬件功能,支持对开发板进行供电 (供电时请至少保证 5V/1A 的电源输入)。 |
2 | DAPLink 调试器接口 | 可通过本接口查看日志、烧录固件、调试仿真,支持对开发板进行供电。(供电时请至少保证 5V/1A 的电源输入)。 |
3 | 电源开关 | 控制开发板总电源开关。 |
4 | 外扩排针 | 引出 CSK6 芯片的可用 IO 口,包括部分由扩展 IO 芯片 (19编号)外接的 IO口,开发者可按需进行使用。 |
5 | 摄像头模组 | 默认配套 30W 像素的摄像头模组,型号为 GC0328。 |
6 | 扬声器接口 | 用于连接扬声器进行播音。 |
7 | RGB LED | 支持编程控制的 LED。 |
8 | 触摸显示屏 | 分辨率 320*240 的触摸显示屏,屏显硬件接口为 SPI,触摸硬件接口为 I2C 。 |
9 | 麦克风 | 板载的两个麦克风,连接芯片的 Audio ADC,用于语音相关应用的录音。 |
10 | 硬回采开关 | 用于控制第二路录音链路用于麦克录音(默认)还是硬件回采。 |
11 | SD卡槽 | 用于插入 SD 存储卡。 |
12 | 网络模组调试座 | 可用语烧录网络模组的固件与调试。 |
13 | 网络模组 | 使用 ESP32 C3 作为网络模组。 |
14 | 扩展按键区 | 通过扩展 IO 芯片 CH32 扩展引出的按键,支持轮询检测。 |
15 | CSK6 功能按键区 | 包括 CSK6 芯片的复位(RST)、BOOT、自定义功能(K3)按键。 |
16 | 电源LED | 指示开发板的供电状态,供电正常使,LED亮起。 |
如需了解板载硬件的驱动信息,可参照阅读《外设驱动导读》文档。
CSK6系芯片引脚的功能配置指引请参照《CSK6系芯片引脚功能表》,详见芯片资料下载。
套件配套两种摄像头模组,分别如下:
类型 | 图片 | 说明 | 模组规格书下载 |
---|---|---|---|
常规摄像头 | 型号:GC0328C(数据手册下载/用户手册下载) 像素:30W 接口:DVP 常规摄像头,输出彩色图像 |
常规摄像头模组规格书.pdf | |
红外摄像头 | 型号:GC0328C(数据手册下载/用户手册下载) 像素:30W 接口:DVP 带红外补光灯的摄像头,支持控制红外补光灯的开关,输出灰度图像,适用于《人脸识别-活体检测功能》 |
红外摄像头模组规格书.pdf |
本摄像头可通过开发套件主板上的摄像头接口
进行连接,安装摄像头时,请抬起摄像头接口座上的盖板,将摄像头软排线水平插入接口座后,盖紧盖板,安装完成后如下:
套件支持使用配套的触摸屏模块,触摸屏模块参数如下:
本摄像头可通过开发套件主板上的屏幕排针座
直接进行连接,连接时,请通过屏幕模块和主板上的三角标识确认安装方向,如图:
了解开发套件上 扬声器、摄像头、屏幕、TF卡 等配件的拆装方法可见演示视频:https://b23.tv/6drg7gA
为了方便接入 WIFI 与 BLE 网络,本开发配套了无线网络模组,型号是ESP32-C3
。
网络模组以hosted
的模式与开发套件的主控芯片CSK6
进行通讯,完整协议栈完整地运行在CSK6
上。
网络模组默认在出厂时已烧录了固件,相关的源码信息如下:
项目 | 说明 |
---|---|
源码路径 | SDK目录\modules\lib\esp-hosted\esp-hosted\esp\esp_driver\network_adapter |
编译指引 | https://docs.espressif.com/projects/esp-idf/en/latest/esp32c3/get-started/index.html |
开发板支持通过任意 USB接口进行供电,对开发板请供电时,最低要求输入电源需达到 5V/1A,推荐 5V/2A 。
因部分电脑或 USB HUB 存在供电电流不足的问题,因此建议在条件允许的情况下优先使用单独的电源适配器配合 USB 线进行供电。
开发板板载了DAPLink调试器芯片,DAPLink 芯片与 CSK6 芯片的 SWD 接口、烧录串口(A15/A18)、日志串口(A02/A03)进行了连接,从而实现可以使用DAP_USB
接口查看CSK6 芯片的日志以及对 CSK6 进行固件烧录。
开发者可通过DAPLink USB接口对CSK6芯片进行 固件烧录 、代码仿真 与 串口查看。
使用方法如下:
1.使用TypeC数据线连接电脑USB与开发板DAPLink USB
2.若设备运行正常,在电脑设备管理器中会出现一个虚拟串口和USB设备
虚拟串口(CDC)功能: 对CSK6芯片的 GPIOA2 和 GPIOA3 【默认UART0】引脚进行了映射,可通过串口上位机工具与串口进行通讯。
烧录、仿真功能: 配合CSK6开发工具,可通过DAPLink实现固件快速烧录以及VSCode IDE环境下进行仿真调试,详见《基于 DAPLink 的 GDB 调试》。
若未能识别到设备,请检查所用的TypeC数据线是否具备数据传输功能,部分TypeC线只具备供电功能。
DAPLink 调试芯片固件下载
固件名称 | 更新日期 | 操作 |
---|---|---|
csk6_nanokit_factory_all_nanokit-v0258-20240902.hex | 2024.9.3 | 下载 |
DAPLink固件升级方式
Step1:按住开发板 RST 按键
Step2:使用数据线连接电脑 USB 与开发板的 DAP_USB 接口,对开发板进行上电,上电后可松开 RST 按键
Step3:将下载好的 DAPLink 固件文件拖拽进电脑识别到的 MAINTENANCE 磁盘
Step4:等待拷贝完毕,对开发板进行断电并重新上电即可