¶ 开发指南
¶ 写在前面
本章节讲解如何上手综合示例 —— 《大模型语音交互与识图》的代码编译与烧录。
本应用包含以下功能：
- 语音交互：支持按键录音或唤醒后通过语音与大模型进行对话
- 拍照识图：支持通过摄像头拍摄图像并上传给大模型进行识别，支持依据识图内容进行提问
- 图片生成：支持通过语音交互描述画面内容，令大模型生成图片并显示至套件屏幕上
¶ 应用目录说明
.
├── boards //版型配置
├── CMakeLists.txt
├── image //资源配置
├── Kconfig //宏定义配置
├── Kconfig.capability //宏定义配置
├── prj.conf //宏定义配置
├── README.md
├── resource //资源目录
├── sample.yaml
└── src //代码
├── app_camera //摄像头代码
├── app_chat //聊天相关代码
├── app_connect //ls chat 连接代码
├── app_dev_qrcode_scan //设备端扫描
├── app_download //下载文件代码
├── app_obj_recognition
├── app_player //播放器代码
├── app_ui //ui界面代码
├── app_ui_binding //对话框代码
├── app_wifi_qrcode_scan //wifi 扫描二维码
├── main.c//主函数
├── wakeup_debug//获取录音数据
└── wdt_mgr//看门狗
¶ 使用教程
¶ 1.准备工作：拉取并初始化 SDK
请参照《获取开发环境与SDK》进行大模型AI开发套件SDK的下载与初始化，若您之前已经操作过，可忽略本步骤。
建议您在开发前，参照《本地SDK更新》将SDK更新至最新版本。
¶ 2.编译工程
执行以下指令进行代码编译(以 Windows CMD 终端为例)：
lisa zep build -b csk6_duomotai_devkit apps\LLM_pic -p
¶ 3.烧录固件
使用 Type-C 数据线连接开发套件的 DAP_USB接口，选中以下其中一种方式对固件进行烧录：
cskburn desktop是一款聆思推出的桌面烧录工具，在下载并安装 cskburn desktop 烧录工具后，双击
图标运行软件：
1.点击串口下拉框，选择连接开发套件后识别到的串口编号；
2.将编译输出的.bin文件拖拽进烧录区域；
3.点击开始烧录，等待烧录完成。
若您已按照 《环境搭建》 教程完成开发环境的安装，可在编译完成后执行 lisa zep exec cskburn 指令完成烧录。
lisa zep exec cskburn -s \\.\COMxx -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin
请将命令行中的的 COMx 替换为开发套件在 PC 上对应的串口号（可通过设备管理器查看）。例如：
COM3。
lisa zep exec cskburn -s PORT -C 6 0x000000 --verify-all ./build/zephyr/zephyr.bin -b 1500000
请将命令行中的 PORT 替换为开发套件连接在 PC 上对应的串口号。例如：
/dev/ttyUSB0。
¶ 4.复位运行
- 烧录完成后，程序将自动运行，你也可以通过按压开发板上的复位按键进行复位运行。
¶ 更多配置
¶ 查看支持的shell指令
点击打开聆思在线串口终端 ，连接开发板的串口后可以通过help指令可查看本应用支持哪些 shell 指令：
¶ 更多使用说明
¶ 引脚占用
AP 串口日志发送:PA_3 | 波特率：115200
CP 串口日志发送:PA_7 | 波特率：921600
¶ 关键 API
| 功能 | 接口 |
|---|---|
| 初始化音频播放器 | app_player_init |
| 初始化Wi-Fi模块 | wifi_init |
| 唤醒服务gcs参数获取与设置 | wakeup_service_gcs_params_get wakeup_service_gcs_params_set |
| 初始化和启动唤醒gcs服务 | wakeup_service_gcs_init wakeup_service_gcs_start |
| 唤醒gcs回调函数处理事件 | wakeup_service_gcs_stream_data_callback wakeup_service_gcs_rlt_callback |
| 二维码扫描服务初始化 | qrcode_gcl_init |
| 就绪二维码识别组件 | qrcode_gcl_prepare |
| 二维码扫描服务参数设置 | qrcode_gcl_params_set |
| 二维码扫描服务数据流写入 | qrcode_gcl_stream_write |
| 二维码扫描服务算法执行 | qrcode_gcl_engine_start |
| 二维码扫描服务停止 | qrcode_gcl_engine_stop |
| 二维码扫描服务识别 | qrcode_gcl_engine_recognize |
¶ 相关内容与链接
¶ 相关内容与链接
| 项目 | 链接 |
|---|---|
| 本应用的配置与使用 | 可参照《功能体验》了解本应用的配置与使用方法。 |
| 接入云端简易配置应用 | 可参照《接入云端免编排应用》接入自己创建的云端简易配置大模型应用。 |
| 接入云端可编排应用 | 可参照《接入云端可编排应用》接入自己创建的云端可编排业务节点的大模型应用。 |
| 新增AIUI技能调用 | 可参照《通过编排新增AIUI技能调用》在大模型应用中增加一个AIUI技能调用。 |