¶ 把手教你用聆思 CSK6 大模型开发板接入 Dify
¶ 前言
Dify 是一个开源的LLM（大语言模型）应用开发平台，其定位是打造以可视化和低代码/零代码为核心的一站式AI应用开发解决方案。它融合了后端即服务与LLMOps的理念，支持快速构建、部署和管理基于大语言模型的应用程序。Dify 企业级能力涵盖了强大的RAG（检索增强生成）引擎、AI工作流编排以及多模型集成与管理等核心组件。相信许多开发者也希望了解如何将具体的模型或服务与该平台进行集成。
此外，通过 Dify 也可以接入 OpenAI 而无需考虑代理问题，只需在 Dify 中安装 OpenAI 插件并配置 API-KEY 即可。同时，LSPlatform 平台能够通过自定义编排实现直接接入 OpenAI 的大模型，但是需要自行解决代理问题。
这里就以接入DeepSeek大模型并在Dify上创建一个简单的AI应用为例，演示一下基础接入步骤，大家可以参考以下流程进行操作即可。
由上图可见，当前 SDK 方案是把开发套件当做输入端，文字或图片内容先上传到聆思的大模型平台（LSPlatform），然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。以下为CSK6大模型开发板接入Dify后的交互演示：
csk6大模型开发板接dify演示1.1.mp4
¶ 云端服务接入 Dify
¶ 一、 创建应用
登录 LSplatform，创建新应用
创建成功后在弹出的界面进入应用编排服务。
¶ 二、 导入工程
-
下载工程示例：Dify 示例.json
-
导入工程示例：选择
Dify 示例.json文件导入
若提示“您要导入的某些节点已经存在于工作空间中。”，则选择“导入副本”即可。
¶ 三、 链路说明
示例中包含 3 条链路，分别为
- 链路 1: 可通过注入节点调用 Dify 节点，并将结果输出到 output1。
- 链路 2: 可通过 web 对话页调用 Dify 节点，最终将大模型结果输出到对话页面上。
- 链路 3: 可通过开发板调用 Dify 节点，最终将大模型输出的结果进行语音合成实现端侧播报。
其中:
【prompt】节点用于添加提示词。
【构造tts输入】节点用于调整音色、语速以及"请稍后"提示语。
【keepalive】节点用于保持端云链路的连接，如果没有该节点您的 第三方大模型 响应时间超过 5s 将会下发音频失败
¶ 四、 配置参数
- 参数说明：
- API-KEY：Dify 的 API-KEY 获取链接：Dify 开放平台
- protocol:
https(根据Dify官网的接口文档填写) - Host:
api.dify.ai(根据Dify官网的接口文档填写,如果您是私有部署的Dify, 则填写您自有的域名) - Path:
/v1/chat-messages(根据Dify官网的接口文档填写) - Timeout: 超时时间，单位ms
- Stream：是否流式返回
¶ 五、 部署验证
-
在完成参数配置，进入完整体验之前，我们可以简单测试验证，验证是否成功调用 Dify。
-
部署成功后关闭当前编排服务
-
重启应用
¶ 六、 测试链路
-
链路1：调用接口
重启应用后，再次点开【编排应用】，点击注入，会触发一次Dify子流程调用，标记 2 的红框中输出类似日志即代表成功建立链接。
-
链路2： web 对话页面
回到【我的应用】，双击Arcs-mini-Dify应用，在弹出的应用详情页面点击右上角分享按钮打开 web 验证配置，该配置页包含测试地址和访问密码。
-
访问 web 验证页面链接，在打开的 web 页即可与 Dify 对话
-
链路3：语音交互
在进行语音交互之前，需要将 大模型开发板 接入 Dify，具体操作步骤如下：
¶ 大模型开发板接入 Dify
云端接入 Dify 成功后，要想在聆思 CSK6 大模型开发板上进行语音交互，需要把对接了 Dify 的云端服务跟指定开发板绑定。
¶ 设备端接入产品
完成云端配置后，需将产品ID（product ID）与密钥（secret ID）写入设备，才能让设备连接对应的产品并完成鉴权服务。
若您当前设备上运行的固件不具备扫码接入功能，请参照 《应用合集TF卡》更新 TF 卡中的镜像文件夹。
配置方式：
- 先在聆思平台打开已经配置好的产品，展示出右侧的接入二维码：
- 然后在开发板的首页下滑调出菜单，点击设置图标 →再点击应用，切换到应用信息查看页：
- 点击右下角扫码接入按钮调出相机，将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内，完成扫描后，请在应用配置信息处检查product_id和secret_id是否已更新：
注：屏幕亮度和反光会影响扫码识别，可以把二维码的网页放大200%以上再扫码。
出厂时的摄像头膜需要取下
- 接入成功后，重启开发板。
¶ 1.读取设备 id
设备 ID 是一个产品下的唯一设备标识，我们需要获取当前设备 ID 方便后续在云端配置，才能让设备鉴权通过实现端云交互。
读取方式：
cskburn desktop 是一款聆思推出的桌面烧录工具，下载地址（cskburn 桌面烧录工具 | 聆思文档中心）打开软件后
- 点击串口下拉框，选择连接开发套件后识别到的串口编号；
- 点击获取信息；
- 得到设备 ID。
¶ 2.加入设备列表
聆思平台只会对列表中的设备鉴权提供交互服务，因此需要将前面读取到的设备 ID 在设备管理页面进行导入才能实现设备正常交互。
¶ 3.接入云端应用
云端配置设备 id 后，还需将产品 ID 写入开发板固件中，才能让设备在运行时找到正确的云端产品服务完进行鉴权，鉴权完成就可以进行大模型语音交互了。
写入方式：
使用数据线连接开发板 DAP_USB 接口后，打开聆思在线串口终端，选择对应的串口设备进行连接，波特率默认 115200，完成配置后点击连接按钮。
通过 set product_id 和 set secret_id 指令可以分别配置开发板接入的大模型应用 product ID 及其密钥，示例如下：
set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f
set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218
其中，product_id 和 product_secret 可在对应产品的产品信息中获取，请将指令中的参数替换为产品信息中的 id 与 secret 信息。
最后，重启开发板即可。
旧版固件请使用 aiui set product_id 与 aiui set secret_id 指令。
¶ 通过语音交互验证是否接入
用小聆小聆唤醒，并提问你是谁，语音回复它是Dify即可验证成功。至此，可以确认 Dify 接入成功。
本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。https://docs2.listenai.com/x/nTn9kMMCU
¶ 附：申请 Dify API-KEY
如果您没有 Dify 的 API-KEY 的话，可以按照以下步骤申请：
-
登录注册 Dify 官网
-
安装【OpenAI】插件
如果您没有 OpenAI 的 API-KEY 也可以使用 Deepseek 插件，填入 Deepseek 的 API-KEY
-
插件填写 OpenAI 的 API-KEY
-
创建【聊天助手】应用
-
获取 API 密钥
-
填写API密钥
