多模态交互离不开硬件载体,近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型,能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型,这个是必须支持的。但由于各家接口和数据格式不一样,有些朋友直接参考chatgpt的方式没有走通,因此本篇以聆思CSK6大模型开发板接入通义千问为例,分享具体的接入步骤,大家按照文档步骤操作即可。
由上图可见,当前SDK方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。
示例中包含3条链路,分别为
●链路1: 可通过注入节点调用通义千问节点,并将结果输出到debug1。
●链路2: 可通过web对话页调用通义千问节点,最终将大模型结果输出到对话页面上。
●链路3: 可通过开发板调用通义千问节点,最终将大模型输出的结果进行语音合成实现端侧播报。
登录LSplatform,创建新应用
创建成功后在弹出的界面进入应用编排服务。
1.下载工程示例:https://docs2.listenai.com/z/209.json
2.导入工程示例:选择json文件导入
若提示“您要导入的某些节点已经存在于工作空间中。”,则选择“导入副本”即可。
参数说明:
●HOST:http://dashscope.aliyuncs.com
●API-KEY:DashScope模型API-KEY获取与配置可参考官方文档 如何获取通义千问API的KEY_模型服务灵积(DashScope)-阿里云帮助中心
●Model:这里提供qwen-long/qwen-turbo可选择,若要更换其他模型,可自行添加。调用其他模型可根据阿里云官方模型广场来调用 灵积模型服务
●Stream:是否流式返回
在完成参数配置,进入完整体验之前,我们可以简单测试验证,验证是否成功调用通义千问。
●部署成功后关闭当前编排服务
●重启应用
●测试接口
重启应用后,再次点开【编排应用】,点击注入,会触发一次通义千问子流程调用,标记2的红框中输出类似日志即代表成功建立链接。
●打开web验证页面
回到【我的应用】,双击聆思CSK6_通义千问应用,在弹出的应用详情页面点击右上角分享按钮打开web验证配置,该配置页包含测试地址和访问密码。
●访问web验证页面链接,在打开的web页即可与通义千问对话
云端接入通义千问成功后,要想在聆思CSK6大模型开发板上进行语音交互,需要把对接了通义千问的云端服务跟指定开发板绑定。
在产品管理模块点击新建产品按钮,并按要求填写你的产品名称。
配置你需要调用的大模型应用,完成配置后,用户即可体验文心一言与开发板交互。在此我们仅需在配置应用勾对文章第一步创建的应用即可。
读取设备id
设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互。
读取方式:
cskburn desktop是一款聆思推出的桌面烧录工具,下载地址(cskburn桌面烧录工具 | 聆思文档中心)打开软件后
1.点击串口下拉框,选择连接开发套件后识别到的串口编号;
2.点击获取信息
3.得到设备ID
加入设备列表
聆思平台只会对列表中的设备鉴权提供交互服务,因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。
云端配置设备id后,还需将产品ID写入开发板固件中,才能让设备在运行时找到正确的云端产品服务完进行鉴权,鉴权完成就可以进行大模型语音交互了。
写入方式:
使用数据线连接开发板 DAP_USB 接口后,打开https://tool.listenai.com/serial-term/ ,选择对应的串口设 备进行连接,波特率默认115200,完成配置后点击连接按钮。
通过 aiui set product_id 和aiui set secret_id指令可以分别配置开发板接入的大模型应用 product ID 及其密钥,示例如下:
aiui set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f
aiui set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218
product_id和 product_secret 可在对应产品的产品信息中获取,请将指令中的参数替换为产品信息中的 id 与 secret 信息。
●语音交互
用小美小美唤醒,并提问你是谁,语音回复它是通义千问即可验证成功。至此,可以确认通义千问接入成功。本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。https://docs2.listenai.com/x/nTn9kMMCU