多模态交互离不开硬件载体,近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型,能不能接入文心一言、通义千问、豆包、智谱 glm、kimi 等国内的大模型,这个是必须支持的。但由于各家接口和数据格式不一样,有些朋友直接参考 chatgpt 的方式没有走通,因此本篇以聆思 CSK6 大模型开发板接入 Kimi 为例,分享具体的接入步骤,大家按照文档步骤操作即可。
由上图可见,当前 SDK 方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。
示例中包含 3 条链路,分别为
创建成功后在弹出的界面进入应用编排服务。
kimi 示例 v2.json
文件导入若提示“您要导入的某些节点已经存在于工作空间中。”,则选择“导入副本”即可。
参数说明:
调用其他模型可参考 Moonshot AI 官方文档
Chat - Moonshot AI 开放平台注意:kimi 对免费账户的调用是有速率限制的,根据目前官方提供的信息一分钟内请求限制为 3 次。
部署成功后关闭当前编排服务
重启应用
注入
,会触发一次 Kimi
子流程调用,标记 2 的红框中输出类似日志即代表成功建立链接。聆思 CSK6_Kimi
应用,在弹出的应用详情页面点击右上角分享按钮打开 web 验证配置,该配置页包含测试地址和访问密码。云端接入 Kimi 成功后,要想在聆思 CSK6 大模型开发板上进行语音交互,需要把对接了 Kimi 的云端服务跟指定开发板绑定。
产品管理
模块点击新建产品
按钮,并按要求填写你的产品名称。配置应用
勾对文章第一步创建的应用即可。cskburn desktop
是一款聆思推出的桌面烧录工具,下载地址(cskburn 桌面烧录工具 | 聆思文档中心)打开软件后加入设备列表
聆思平台只会对列表中的设备鉴权提供交互服务,因此需要将前面读取到的设备 ID 在设备管理
页面进行导入才能实现设备正常交互。
DAP_USB
接口后,打开聆思在线串口终端,选择对应的串口设备进行连接,波特率默认 115200,完成配置后点击连接按钮。通过 aiui set product_id
和 aiui set secret_id
指令可以分别配置开发板接入的大模型应用 product ID 及其密钥,示例如下:
aiui set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f
aiui set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218
product_id 和 product_secret
可在对应产品的产品信息中获取,请将指令中的参数替换为产品信息中的 id 与 secret 信息。
用小美小美
唤醒,并提问你是谁
,语音回复它是人工智能助
手即可验证成功。至此,可以确认 Kimi 接入成功。
本文使用的聆思 CSK6 大模型开发板的详细信息可参考线上文档。[https://docs2.listenai.com/x/nTn9kMMCU]