在前面的章节中,我们已经学习了如何使用默认的示例功能,本章节将讲解如何在 聆思平台(LSPlatform) 创建一个简易配置应用并接入开发套件,实现自己的云端大模型应用定制,如大模型人设定制、说明书挂载、发音人调整等功能。
在参照本章节进行自定义应用接入前,请确保您手头的大模型套件已运行 语音交互+识图应用 并参照 《语音交互+识图:配置网络》完成配网。
完成注册后,访问聆思平台(LSPlatform)平台进行登录,点击应用模板中心
,在简易配置标签下选择大模型语音交互
模板点击添加应用
按钮。给应用命名后点击确认创建应用。
完成创建后,点击应用即可调出快速配置菜单,在配置菜单中,我们可以快速对该应用进行功能配置
进入前面新建的应用的配置页,我们可以在本配置页对大模型功能进行配置。
我们可以通过修改角色描述调整大模型的人设,如:
你可以尝试使用更多个性化的人物设定
通过本模块可以对回复的发音人进行配置,甚至进行声音复刻。
我们可以通过在应用中增加知识库,让大模型优先根据知识库的人设背景内容进行回答。
点击知识库
,在知识库页面中点击右上角+创建知识库
按钮
创建完成后,上传知识库文件,等待片刻后可看到文件处于启用状态。
为提升知识库匹配准确性,我们需要完善以下内容:
1.明确知识库名称:名称需要准确反映知识库主题,避免使用“测试、文件1”等模糊词。
2.补充知识库描述:摘要必须覆盖所有文档的核心内容,不能只描述其中一部分,可使用智能摘要
功能辅助总结。
完成知识库创建后在应用配置中,点击关联知识库
按钮,在弹出的窗口中,选中刚才创建的知识库,最后点击保存。
增强拓展性,让小聆AI从“聊天助手”进化为“全能助手”
支持配置StreamableHTTP / SSE 远程服务
点击“添加服务器”按钮,填写服务名称、服务唯一英文标识基本信息。
以添加高德地图MCP服务为例:
SSE
类型的协议服务https://mcp.amap.com/mcp?key=您在高德官网上申请的key
测试
按钮,通过后我们就可以在语音交互中使用他了,你可以尝试以下语料:请求数据
模块,点击你对话过的语料,并且切换JSON视图,在response
查看到相关的工具调用,即视为工具调用成功。以下章节均以聆思多模态开发套件为示例进行讲解。请参考《语音交互+识图教程》完成固件更新和配网。
完成云端配置后,需将产品ID(product ID)与密钥(secret ID)写入设备,才能让设备连接对应的产品并完成鉴权服务。
若您当前设备上运行的固件不具备扫码接入功能,请参照 《应用合集TF卡》更新 TF 卡中的镜像文件夹。
在应用首页下滑调出菜单,以此点击设置图标
→应用
,进入应用信息查看页:
点击右下角扫码接入
按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处检查product_id
和secret_id
是否已更新:
使用数据线连接开发板 DAP_USB
接口后,打开在线串口终端工具,选择对应的串口设备进行连接,波特率默认115200,完成配置后点击连接按钮。
通过 set product_id
和set secret_id
指令可以分别配置开发板接入的大模型应用 product ID 及其密钥,示例如下:
set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f
set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218
product_id
和 product_secret
可在对应产品的产品信息中获取,请将指令中的参数替换为产品信息中的 id 与 secret 信息。
旧版固件请使用 aiui set product_id 与 aiui set secret_id 指令。
开启长期记忆与声纹识别后,通过小程序绑定设备,即可查看当前设备的记忆数据,以及基于声纹识别生成的用户画像记录。
用微信扫描小程序码或微信搜索小聆助手
,点击添加设备
选择大模型开发套件
完成绑定。
如在接入过程中遇到问题,或有商务合作需求,可添加下方微信联系我们的开发小助手。
项目 | 链接 |
---|---|
接入云端可编排应用 | 可参照《接入云端可编排应用》接入自己创建的云端可编排业务节点大模型应用。 |
了解大模型平台更多使用方法 | 可阅读《LSPlatform 开始使用》。 |
了解设备接入云端的协议 | 可参照《端云交互链路协议》了解开发套件接入 LSPlatform 的协议。 |