¶ 手把手教你用聆思CSK6大模型开发板接入豆包/火山方舟大模型
¶ 前言
多模态交互离不开硬件载体，近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱 glm、kimi 等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考 chatgpt 的方式没有走通，因此本篇以聆思 CSK6 大模型开发板接入豆包为例，分享具体的接入步骤，大家按照文档步骤操作即可。
由上图可见，当前 SDK 方案是把开发套件当做输入端，文字或图片内容先上传到聆思的大模型平台（LSPlatform），然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。
¶ 实操演示
¶ 链路说明
示例中包含 3 条链路，分别为
- 链路 1: 可通过注入节点调用豆包节点，并将结果输出到 debug1。
- 链路 2: 可通过 web 对话页调用豆包节点，最终将大模型结果输出到对话页面上。
- 链路 3: 可通过开发板调用豆包节点，最终将大模型输出的结果进行语音合成实现端侧播报
¶ 云端服务接入豆包
- 创建应用
登录 LSplatform，创建新应用
创建成功后在弹出的界面进入应用编排服务。
- 导入工程
- 下载工程示例：https://docs2.listenai.com/z/207.json
- 导入工程示例：选择豆包示例.json 文件导入
若提示“您要导入的某些节点已经存在于工作空间中。”，则选择“导入副本”即可。
- 配置参数
参数说明：
- HOST:https://ark.cn-beijing.volces.com
- API-KEY：豆包的 API-KEY 的获取可参考官方文档 获取 API key--火山方舟大模型服务
平台-火山引擎 - Model：这里提供 Doubao-pro-4k/Doubao-pro-32k 可选择，若要更换其他模型，可自行添
加。调用其他模型可参考豆包官方文档 Doubao API 调用指南--火山方舟大模型服务平
台-火山引擎
这里模型名字要通过设置 model=ep-xxxxxxxxxxxxx-yyyy 来进行调用，详情可参考官方
文档 API 调用指南--火山方舟大模型服务平台-火山引擎 - Stream：是否流式返回
- 部署验证
在完成参数配置，进入完整体验之前，我们可以简单测试验证，验证是否成功调用豆包。- 部署成功后关闭当前编排服务
- 重启应用
- 测试接口
重启应用后，再次点开【编排应用】，点击注入，会触发一次豆包子流程调用，标记 2 的红
框中输出类似日志即代表成功建立链接。
- 打开 web 验证页面
回到【我的应用】，双击聆思 CSK6_豆包应用，在弹出的应用详情页面点击右上角分享按钮
打开 web 验证配置，该配置页包含测试地址和访问密码。
- 访问 web 验证页面链接，在打开的 web 页即可与豆包对话
¶ 大模型开发板接入豆包
云端接入豆包成功后，要想在聆思 CSK6 大模型开发板上进行语音交互，需要把对接了豆包的云端服务跟指定开发板绑定。
- 创建产品
在产品管理模块点击新建产品按钮，并按要求填写你的产品名称。
- 云端应用和云端产品信息绑定
配置你需要调用的大模型应用，完成配置后，用户即可体验文心一言与开发板交互。在此
我们仅需在配置应用勾对文章第一步创建的应用即可。
-
云端应用设备列表加入硬件设备 ID
读取设备 id
设备 ID 是一个产品下的唯一设备标识，我们需要获取当前设备 ID 方便后续在云端配置，
才能让设备鉴权通过实现端云交互。
读取方式：
cskburn desktop 是一款聆思推出的桌面烧录工具，下载地址（cskburn 桌面烧录工具 | 聆思文 档中心）打开软件后1.点击串口下拉框，选择连接开发套件后识别到的串口编号；
2.点击获取信息
3.得到设备 ID
加入设备列表
聆思平台只会对列表中的设备鉴权提供交互服务，因此需要将前面读取到的设备 ID 在设备
管理页面进行导入才能实现设备正常交互。
- CSK6 开发板设备端写入云端产品服务配置
云端配置设备 id 后，还需将产品 ID 写入开发板固件中，才能让设备在运行时找到正确的 云端产品服务完进行鉴权，鉴权完成就可以进行大模型语音交互了。
写入方式：
使用数据线连接开发板 DAP_USB 接口后，打开聆思在线串口终端,选择对应的串口设 备进 行连接，波特率默认 115200，完成配置后点击连接按钮。
通过 aiui set product_id 和 aiui set secret_id 指令可以分别配置开发板接入的大模型应用 product ID 及其密钥，示例如下：
aiui set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f
aiui set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218
product_id 和 product_secret 可在对应产品的产品信息中获取，请将指令中的参数替换为产品信 息中的 id 与 secret 信息。
¶ 语音交互
用小美小美唤醒，并提问你是谁，语音回复它是豆包即可验证成功。至此，可以确认豆包 接入成功。本文使用的聆思 CSK6 大模型开发板的详细信息可参考线上文档。 https://docs2.listenai.com/x/nTn9kMMCU