视觉语音大模型 AI 开发套件( CSK6-MIX )是聆思科技围绕 CSK6 AI 芯片 设计的具备丰富语音图像功能与硬件外设的开发板,采用具备丰富组件生态的 Zephyr RTOS 作为操作系统,默认配套开箱即玩的 AI 应用,方便用户快速基于搭建 AI 硬件原型并体验算法效果。
您也可以配合聆思的模型训练推理工具 LNN 将自己的算法模型部署至芯片上,构建自己的 AI 应用。
大模型套件的SDK与示例基于 Zephyr3.4 进行构建,RTOS具备以下特性:
如果你是想体验固件的运行效果:
大模型开发套件默认配套了多个可以体验功能的示例,您可以通过下方的大模型示例清单与离线AI能力示例清单选择感兴趣的示例直接进行烧录体验,无需安装开发环境。
如果您除了体验固件的运行效果,还希望可以上手自行修改代码:
可参照《环境搭建》与《获取大模型SDK》完成开发环境的搭建以及开发所需SDK的获取,并参照各个示例下的开发指南进行开发,通过 大模型应用开发指南可以了解如何在开发套件上接入云端大模型应用并进行应用开发。
本开发套件支持接入LSPlatform使用大模型能力,SDK中配套了大模型应用示例,示例清单见下表,您可以直接在该文档中进行固件烧录并下载:
序号 | 大模型功能 | 使用教程 | 功能说明 |
---|---|---|---|
1 | 大模型多模态 | 大模型多模态快速体验 | 套件出厂默认应用。包含大模型语音问答、拍照识图、大模型绘图等丰富供能示例,支持语音唤醒、多轮语音交互。 |
2 | 智能对话 | 智能问答+坐姿检测快速体验 | 除了大模型语音对话,还集成了可离线运行的坐姿检测算法,是一个 大模型在线服务+离线AI能力 的示例。 |
3 | 智能对话 + 文生图 + 设备控制 | 大模型控制快速体验 | 该示例展示了如何通过大模型实现语音输入意图的理解,实现对话、绘图和控制开发板屏幕颜色进行切换,用户可参考代码与教程自行修改。 |
4 | 接入自定义应用 | 基于模板创建应用 通过编排新增意图落域 |
讲解如何在云端快速建立一个自定义大模型应用并接入到开发套件上实现语音交互,由浅入深地展示如何开发自己的大模型助手。 |
大模型开发套件默认配套各种可开箱即用并持续发布新的 AI 能力,能力清单见下表:
序号 | AI 能力 | 使用教程 |
---|---|---|
1 | 语音唤醒 + 坐姿检测 | 智能问答+坐姿检测快速体验 |
2 | 语音合成 | 语音合成快速上手 |
3 | 坐姿检测 | 坐姿检测快速上手 |
4 | 人脸识别 | 人脸识别快速上手 |
5 | 单词评测 | 单词评测快速上手 |
6 | 头肩检测 & 手势识别 | 头肩检测&手势识别快速上手 |
LNN是用于移植适配算法至CSK6芯片的工具,我们提供了视觉、语音相关的示例,如果您想在CSK6上移植适配自己的算法,可以参照这些示例:
编号 | 资源 | 说明 |
---|---|---|
1 | CSK USB 接口 | CSK6 芯片的 USB 接口,可通过本接口使用 CSK6 的 USB 硬件功能,支持对开发板进行供电。 |
2 | DAPLink 调试器接口 | 可通过本接口查看日志、烧录固件、调试仿真,支持对开发板进行供电。 |
3 | DC座 | 用于供电,5V/2A 输入,使用 DC 座进行供电可避免 USB 供电电流可能不足的问题。 |
4 | 电源开关 | 控制开发板总电源开关。 |
5 | 外扩排针 | 引出 CSK6 芯片的可用 IO 口,包括部分由扩展 IO 芯片 (19编号)外接的 IO口,开发者可按需进行使用。 |
6 | 摄像头模组 | 默认配套 30W 像素的摄像头模组,型号为 GC0328。 |
7 | 扬声器接口 | 用于连接扬声器进行播音。 |
8 | RGB LED | 支持编程控制的 LED。 |
9 | 触摸显示屏 | 分辨率 320*240 的触摸显示屏,屏显硬件接口为 SPI,触摸硬件接口为 I2C 。 |
10 | 麦克风 | 板载的两个麦克风,连接芯片的 Audio ADC,用于语音相关应用的录音。 |
11 | 硬回采开关 | 用于控制第二路录音链路用于麦克录音(默认)还是硬件回采。 |
12 | SD卡槽 | 用于插入 SD 存储卡。 |
13 | 网络模组调试座 | 可用语烧录网络模组的固件与调试。 |
14 | 网络模组 | 使用 ESP32 C3 作为网络模组。 |
15 | 扩展按键区 | 通过扩展 IO 芯片 CH32 扩展引出的按键,支持轮询检测。 |
16 | CSK6 功能按键区 | 包括 CSK6 芯片的复位、BOOT、自定义功能按键。 |
17 | 电源LED | 指示开发板的供电状态,供电正常使,LED亮起。 |
如需了解板载硬件的驱动信息,可参照阅读《外设驱动导读》文档。
套件默认配套一个摄像头模组,参数如下:
属性 | 参数 |
---|---|
Sensor 型号 | GC0328 |
接口 | DVP |
像素 | 30W |
本摄像头可通过开发套件主板上的摄像头接口
进行连接,安装摄像头时,请抬起摄像头接口座上的盖板,将摄像头软排线水平插入接口座后,盖紧盖板,安装完成后如下:
套件支持使用配套的触摸屏模块,触摸屏模块参数如下:
本摄像头可通过开发套件主板上的屏幕排针座
直接进行连接,连接时,请通过屏幕模块和主板上的三角标识确认安装方向,如图:
为了方便接入 WIFI 与 BLE 网络,本开发配套了无线网络模组,型号是ESP32-C3
。
网络模组以hosted
的模式与开发套件的主控芯片CSK6
进行通讯,完整协议栈完整地运行在CSK6
上。
网络模组默认在出厂时已烧录了固件,相关的源码信息如下:
项目 | 说明 |
---|---|
源码路径 | SDK目录\modules\lib\esp-hosted\esp-hosted\esp\esp_driver\network_adapter |
编译指引 | https://docs.espressif.com/projects/esp-idf/en/latest/esp32c3/get-started/index.html |
开发板支持通过 DC 座或任意 Type-C 接口进行供电,因部分电脑或 USB HUB 存在供电电流不足的问题,因此建议在条件允许的情况下优先使用 DC 供电座对开发套件进行供电。
开发板板载了DAPLink调试器芯片,开发者可通过DAPLink USB接口对CSK6芯片进行 固件烧录 、代码仿真 与 串口查看。
使用方法如下:
1.使用TypeC数据线连接电脑USB与开发板DAPLink USB
2.若设备运行正常,在电脑设备管理器中会出现一个虚拟串口和USB设备
虚拟串口(CDC)功能: 对CSK6芯片的 GPIOA2 和 GPIOA3 【默认UART0】引脚进行了映射,可通过串口上位机工具与串口进行通讯。
烧录、仿真功能: 配合CSK6开发工具,可通过DAPLink实现固件快速烧录以及VSCode IDE环境下进行仿真调试,详见《基于 DAPLink 的 GDB 调试》。
若未能识别到设备,请检查所用的TypeC数据线是否具备数据传输功能,部分TypeC线只具备供电功能。
CSK6系芯片引脚的功能配置指引请参照《CSK6系芯片引脚功能表》,详见芯片资料下载。
文件 | 操作 |
---|---|
多模态开发套件硬件原理图 V1.1 | 下载 |