¶ 视觉语音大模型 AI 开发套件
¶ 简介
视觉语音大模型 AI 开发套件( CSK6-MIX )是聆思科技围绕 CSK6 AI 芯片 设计的具备丰富语音图像功能与硬件外设的开发板，采用具备丰富组件生态的 Zephyr RTOS 作为操作系统，默认配套开箱即玩的 AI 应用，方便用户快速搭建 AI 硬件原型并体验算法效果。
您也可以配合聆思的模型训练推理工具 LNN 将自己的算法模型部署至芯片上，构建自己的 AI 应用。
¶ 功能特性
¶ 功能概述
- 使用聆思 CSK6011A 芯片作为主控，板载 16MB Flash
- 集成摄像头、麦克风、扬声器、屏幕等丰富外设配件
- 配套丰富应用示例，支持快速上手体验大模型语音交互、智能视觉等 AI 应用
- 板载 DAPLINK 调试器，外接一条USB 线即可实现烧录、调试、串口日志查看
- 板载网络模组，支持开发联网类应用
- 使用 C 语言作为固件主要开发语言
¶ RTOS特性
大模型套件的SDK与示例基于 Zephyr3.4 进行构建，RTOS具备以下特性：
- 提供丰富的原生系统和子系统：如网络协议栈、文件系统、安全加密……
- 完备的内存安全管理机制：支持内存保护单元、多线程独立运行区域……
- 商业许可友好：支持自由修改并在商业项目中使用
¶ 开发套件上手路线
¶ 上手路线之：体验固件运行效果
大模型套件 (CSK6-MIX 2.0) 默认配套了集合了大部分应用示例的 TF 卡且开发套件默认烧录了用于加载 TF 卡内应用的固件，用户可直接上电开机体验，无需安装开发环境。
低帧率.mp4
¶ 硬件检查
使用 TF 卡进行应用体验前，请检查 TF 卡是否已安装牢固。
¶ TF卡应用镜像使用方法
- 菜单完成加载后，会在屏幕上展示应用列表，通过滑动屏幕可浏览应用图标；
屏幕图标- 等待应用加载完成：本阶段系统将选中的应用拷贝至flash中，因此首次加载需要比较长的时间，请耐心等待。
下次使用套件时，若依旧选择上一次加载的应用，则无需等待。
应用菜单功能的实现依赖于开发套件出厂默认烧录在 flash 中的TF卡应用启动固件，若您在为开发套件烧录了其他固件后导致开机后应用菜单无法展示，可参照 《应用合集TF卡制作》章节重新下载烧录这个 TF卡应用启动固件。
¶ 大模型示例
本开发套件支持接入LSPlatform使用大模型能力，SDK中默认配套了以下大模型应用示例：
| 序号 | 大模型功能 | 网络 | 图标 | 使用教程 | 功能说明 |
|---|---|---|---|---|---|
| 1 | 语音交互与识图 | 联网 |  |
《语音交互 + 识图 功能体验》 | ★推荐使用此应用体验大模型功能★。这是一个通过云端接入星火大模型的示例，包含大模型语音问答、拍照识图、大模型绘图等丰富供能示例，支持语音唤醒、多轮语音交互，支持参照指引文档接入自己的大模型应用。 |
¶ 离线AI能力示例清单
本开发套件支持离线运行 AI 算法，SDK中默认配套了以下离线AI能力应用示例：
| 序号 | AI 能力 | 网络 | 图标 | 使用教程 | 功能说明 |
|---|---|---|---|---|---|
| 1 | 坐姿检测 | 离线 |  |
《坐姿检测功能体验》 | 实时通过摄像头检测坐姿状态并将图像与算法结果现实在屏幕上。 |
| 2 | 人脸识别 | 离线 |  |
《人脸识别功能体验》 | 支持注册人脸后，进行人脸抓拍识别，输出判断结果。支持配合红外摄像头实现活体检测。 |
| 3 | 头肩&手势识别 | 离线 |  |
《头肩检测&手势识别功能体验》 | 实时通过摄像头检测画面中的头肩，支持识别五种手势信息。 |
| 4 | 语音合成 | 离线 |  |
《语音合成功能体验》 | 连接串口与电脑后，可通过串口工具输入文本内容，进行语音的合成并播报。 |
| 5 | 字母拼读 | 离线 |  |
《字母拼读功能体验》 | 通过语音输入的方式拼读字母，实现英文单词的识别并显示查词结果。 |
| 6 | 英文评测 | 离线 |  |
《英文评测功能体验》 | 通过语音输入的方式评测英文发音是否标准，支持单词、短语、句子。 |
以上示例均为单个 AI 能力的使用演示，若在实际项目中有多个AI能力的组合需求，请扫描开发板背面二维码联系开发助手。
¶ LNN AI示例清单
LNN是用于移植适配算法至CSK6芯片的工具，我们提供了视觉、语音相关的示例，如果您想在CSK6上移植适配自己的算法，可以参照这些示例：
¶ 上手路线之：基于大模型或离线AI能力开发自己的应用
若您希望基于大模型能力或我们提供的离线 AI 能力构建自己的应用，可以在完成开发环境的搭建后，参照我们 SDK 中提供的示例源码以及相关开发指引文档，进行应用的修改与编译，并烧录至开发套件上进行验证。
下表为可能有助于您完成开发的文档教程：
| 序号 | 类别 | 能力 | 文档 | 说明 |
|---|---|---|---|---|
| 1 | 通用 | - | 《环境搭建》 | 介绍如何在电脑上搭建固件的编译环境，如果您需要编译开发套件上的固件，需阅读本文档。 |
| 2 | 通用 | - | 《获取大模型套件SDK》 | 介绍如何拉取大模型套件的 SDK (含示例) 并完成初始化，如果您需要编译开发套件上的固件，需阅读本文档。 |
| 3 | 大模型 | 语音识别、识图、图片生成 | 《云端应用接入》 | 介绍如何基于示例模板在开发套件上接入自己的大模型应用，实现语音识别、识图、图片生成、知识库问答等功能。 |
| 4 | 离线AI | 坐姿检测 | 《坐姿检测开发指南》 | 介绍如何编译坐姿检测的示例源码。 |
| 5 | 离线AI | 人脸识别 | 《人脸识别开发指南》 | 介绍如何编译人脸识别的示例源码。 |
| 6 | 离线AI | 头肩&手势识别 | 《头肩&手势识别开发指南》 | 介绍如何编译头肩&手势识别的示例源码。 |
| 7 | 离线AI | 语音合成 | 《语音合成开发指南》 | 介绍如何编译语音合成的示例源码。 |
| 8 | 离线AI | 字母拼读 | 《字母拼读开发指南》 | 介绍如何编译字母拼读的示例源码。 |
| 9 | 离线AI | 英文评测 | 《英文评测开发指南》 | 介绍如何编译英文评测的示例源码。 |
¶ 开发套件硬件资源
| 编号 | 资源 | 说明 |
|---|---|---|
| 1 | CSK USB 接口 | CSK6 芯片的 USB 接口，可通过本接口使用 CSK6 的 USB 硬件功能，支持对开发板进行供电 (供电时请至少保证 5V/1A 的电源输入)。 |
| 2 | DAPLink 调试器接口 | 可通过本接口查看日志、烧录固件、调试仿真，支持对开发板进行供电。(供电时请至少保证 5V/1A 的电源输入)。 |
| 3 | 电源开关 | 控制开发板总电源开关。 |
| 4 | 外扩排针 | 引出 CSK6 芯片的可用 IO 口，包括部分由扩展 IO 芯片 (19编号)外接的 IO口，开发者可按需进行使用。 |
| 5 | 摄像头模组 | 默认配套 30W 像素的摄像头模组，型号为 GC0328。 |
| 6 | 扬声器接口 | 用于连接扬声器进行播音。 |
| 7 | RGB LED | 支持编程控制的 LED。 |
| 8 | 触摸显示屏 | 分辨率 320*240 的触摸显示屏，屏显硬件接口为 SPI，触摸硬件接口为 I2C 。 |
| 9 | 麦克风 | 板载的两个麦克风，连接芯片的 Audio ADC，用于语音相关应用的录音。 |
| 10 | 硬回采开关 | 用于控制第二路录音链路用于麦克录音(默认)还是硬件回采。 |
| 11 | SD卡槽 | 用于插入 SD 存储卡。 |
| 12 | 网络模组调试座 | 可用语烧录网络模组的固件与调试。 |
| 13 | 网络模组 | 使用 ESP32 C3 作为网络模组。 |
| 14 | 扩展按键区 | 通过扩展 IO 芯片 CH32 扩展引出的按键，支持轮询检测。 |
| 15 | CSK6 功能按键区 | 包括 CSK6 芯片的复位(RST)、BOOT、自定义功能(K3)按键。 |
| 16 | 电源LED | 指示开发板的供电状态，供电正常使，LED亮起。 |
如需了解板载硬件的驱动信息，可参照阅读《外设驱动导读》文档。
¶ 开发套件默认引脚说明
¶ CSK6(主控IC)
CSK6系芯片引脚的功能配置指引请参照《CSK6系芯片引脚功能表》，详见芯片资料下载。
¶ CH32(IO扩展IC)
¶ 开发板设计资料下载
¶ 开发板尺寸
¶ V2.0
¶ V1.1(旧版)
¶ 开发板配件
¶ 摄像头模组
套件配套两种摄像头模组，分别如下，可下载相关资料详细了解：
| 类型 | 图片 | 说明 | 模组资料下载 |
|---|---|---|---|
| 常规摄像头 |  |
型号：GC0328C(数据手册下载/用户手册下载) 像素：30W 接口：DVP 常规摄像头，输出彩色图像 |
常规摄像头模组规格书.pdf |
| 红外摄像头 |  |
型号：GC0328C(数据手册下载/用户手册下载) 像素：30W 接口：DVP 带红外补光灯的摄像头，支持控制红外补光灯的开关，输出灰度图像，适用于《人脸识别-活体检测功能》 |
红外摄像头模组规格书.pdf |
¶ 摄像头安装
本摄像头可通过开发套件主板上的摄像头接口进行连接，安装摄像头时，请抬起摄像头接口座上的盖板，将摄像头软排线水平插入接口座后，盖紧盖板，安装完成后如下：
¶ 触摸屏模块
套件支持使用配套的触摸屏模块，触摸屏模块参数如下，可下载相关资料详细了解：
| 属性 | 参数(含资料下载) |
|---|---|
| 尺寸 | 2.4寸(显示区域尺寸) |
| 分辨率 | 320*240 |
| 屏显驱动型号 | ST7789V / 数据手册下载 |
| 屏显接口 | SPI |
| 触摸驱动型号 | FT5336 / 数据手册下载 |
| 触摸接口 | I2C |
¶ 触摸屏安装
本摄像头可通过开发套件主板上的屏幕排针座直接进行连接，连接时，请通过屏幕模块和主板上的三角标识确认安装方向，如图：
了解开发套件上 扬声器、摄像头、屏幕、TF卡 等配件的拆装方法可见演示视频：https://b23.tv/6drg7gA
¶ 网络模组
为了方便接入 WIFI 与 BLE 网络，本开发配套了无线网络模组，型号是ESP32-C3。
网络模组以hosted的模式与开发套件的主控芯片CSK6进行通讯，完整协议栈完整地运行在CSK6上。
网络模组默认在出厂时已烧录了固件，相关的源码信息如下：
| 项目 | 说明 |
|---|---|
| 源码路径 | SDK目录\modules\lib\esp-hosted\esp-hosted\esp\esp_driver\network_adapter |
| 编译指引 | https://docs.espressif.com/projects/esp-idf/en/latest/esp32c3/get-started/index.html |
¶ 更多使用说明
¶ 供电
开发板支持通过任意 USB接口进行供电，对开发板请供电时，最低要求输入电源需达到 5V/1A，推荐 5V/2A 。
因部分电脑或 USB HUB 存在供电电流不足的问题，因此建议在条件允许的情况下优先使用单独的电源适配器配合 USB 线进行供电。
¶ DAPLink USB口的使用(含日志串口)
开发板板载了DAPLink调试器芯片，DAPLink 芯片与 CSK6 芯片的 SWD 接口、烧录串口(A15/A18)、日志串口(A02/A03)进行了连接，从而实现可以使用DAP_USB接口查看CSK6 芯片的日志以及对 CSK6 进行固件烧录。
开发者可通过DAPLink USB接口对CSK6芯片进行 固件烧录 、代码仿真 与 串口查看。
使用方法如下：
-
1.使用TypeC数据线连接电脑USB与开发板DAPLink USB
-
2.若设备运行正常，在电脑设备管理器中会出现一个虚拟串口和USB设备
虚拟串口(CDC)功能： 对CSK6芯片的 GPIOA2 和 GPIOA3 【默认UART0】引脚进行了映射，可通过串口上位机工具（聆思在线串口终端）与串口进行通讯，实现日志的查看。
烧录、仿真功能： 配合CSK6开发工具，可通过DAPLink实现固件快速烧录以及VSCode IDE环境下进行仿真调试，详见《基于 DAPLink 的 GDB 调试》。
若未能识别到设备，请检查所用的TypeC数据线是否具备数据传输功能，部分TypeC线只具备供电功能。
DAPLink 调试芯片固件下载
| 固件名称 | 更新日期 | 操作 |
|---|---|---|
| csk6_nanokit_factory_all_nanokit-v0258-20240902.hex | 2024.9.3 | 下载 |
DAPLink固件升级方式
Step1：按住开发板 RST 按键
Step2：使用数据线连接电脑 USB 与开发板的 DAP_USB 接口，对开发板进行上电，上电后可松开 RST 按键
Step3：将下载好的 DAPLink 固件文件拖拽进电脑识别到的 MAINTENANCE 磁盘
Step4：等待拷贝完毕，对开发板进行断电并重新上电即可
¶ 电商购买入口
