¶ 手把手教你用 开发板 接入文心/千帆大模型
¶ 前言
多模态交互离不开硬件载体，近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考chatgpt的方式没有走通，因此本篇以 开发板 接入文心一言为例，分享具体的接入步骤，大家按照文档步骤操作即可。
¶ 云端服务接入文心大模型
¶ 一、 创建应用
登录 LSplatform，创建新应用
创建成功后在弹出的界面进入应用编排服务。
¶ 二、 导入工程
-
下载工程示例：文心大模型 示例.json
-
导入工程示例：选择
文心大模型 示例.json文件导入。
若提示“您要导入的某些节点已经存在于工作空间中。”，则选择“导入副本”即可。
¶ 三、 链路说明
示例中包含3条链路，分别为
- 链路1: 可通过 注入 节点调用文心大模型节点，并将结果输出到 output1。
- 链路2: 可通过 web 对话页调用文心大模型节点，最终将大模型结果输出到对话页面上。
- 链路3: 可通过开发板调用文心大模型节点，最终将大模型输出的结果进行语音合成实现端侧播报。
其中:
【prompt】节点用于添加提示词。
【构造tts输入】节点用于调整音色、语速以及"请稍后"提示语。
【keepalive】节点用于保持端云链路的连接，如果没有该节点您的 第三方大模型 响应时间超过 5s 将会下发音频失败
¶ 四、 配置参数
- 参数说明：
host:qianfan.baidubce.compath:/v2/chat/completionsapikey：调用接口需要的api-key，文末将会给出申请的具体步骤。Model：示例提供了 ENRIE-3.5-8K/ENRIE-4.0-Turbo-8K-Preview / ernie-4.5-turbo-128k 可选择。
若要新增其他模型（可在百度智能云模型广场找到更多模型名称），可按照下列步骤自行添加。Stream：是否流式返回。
¶ 五、 部署应用
在完成参数配置，进入完整体验之前，我们可以简单测试验证，验证是否成功调用文心一言。
- 部署成功后关闭当前编排服务。
- 重启应用。
¶ 六、 测试链路
-
链路1：调用接口。
重启应用后，再次点开编排应用，点击时间戳（注入节点），会触发一次文心一言子流程调用，标记2的红框中输出类似日志即代表成功建立链接。
-
链路2：打开web对话页面。
回到我的应用，双击文心一言应用，在弹出的应用详情页面点击右上角分享按钮打开web验证配置，该配置页包含测试地址和访问密码。
访问web验证页面链接，在打开的web页即可与文心一言对话。
-
链路3：语音交互
在进行语音交互之前，需要将 开发板 接入 文心一言，具体操作步骤如下：
¶ 开发板 接入文心一言
云端接入文心一言成功后，要想在 开发板 上进行语音交互，需要把对接了文心一言的云端服务跟指定开发板绑定。
¶ 一、 开发板 接入您的应用
¶ 1. Arcs-mini 开发板
参考教程《LS26(Arcs-mini开发板) 对接云端应用》 进行接入
¶ 2. CSK6-MIX 开发板
参考教程《CSK6-MIX 开发板对接云端应用》 进行接入
¶ 二、 通过语音交互验证是否接入
最后，用小聆小聆唤醒，并提问 你是谁，语音回复是 文心一言 即可确认接入成功。
本文使用的聆思 开发板 开发板的详细信息可参考线上文档: https://docs2.listenai.com/x/Ml1uU-api
¶ 附: 百度文心/千帆大模型的 API-KEY 申请教程
- 登录 百度智能云平台
- 按照以下步骤操作，申请API-KEY
- 填写 API-KEY