当下智能语音产品技术迭代很快,很多开发者朋友更想结合自己的应用服务做出个性化的智能硬件,这篇实操用CSK6大模型开发板零代码接入小聆AI实现大模型情感语音交互,并具备连接小程序和MCP服务扩展功能。
实操+详细讲解篇幅较长,会按以下流程步骤分享:
步骤一:接入聆思平台自建应用,实现小聆AI大模型语音链路接入
步骤二:设置个性化AI机器人的人设和功能
1、直接使用系统模板或通过提示词文字描述自定义名称、性格、爱好、回复风格
2、设置发音人音色,可以直接选择系统提供的20多个发音人,也可以使用【声音克隆】功能克隆真人声音
3、给AI机器人增加专属知识,可以使用【角色知识库】功能,上传文档即可生效
4、配置AI能力,可以直接选择【长期记忆】、【声纹识别】、【联网搜索】、【文字生产图片】、【图片内容理解】
5、扩展功能:填入MCP服务器配置信息,即可接入高德地图、航班信息等公开的互联网服务,同样也可以接入自建的MCP服务。
步骤三:通过小程序配网,然后就可以在小程序端查看开发板交互的记忆数据,也可以在小程序界面进行声音克隆和以及基于声纹识别编辑用户画像。
1、点击应用模板中心,在简易配置标签下选择大模型语音交互模板点击添加应用按钮。给应用命名后点击确认创建应用。

2、输入名称,其他保持默认点击确定,就完成自己的小聆AI应用创建了


点击进入小聆AI的应用配置页,我们可以在本配置页对大模型功能进行配置。

●我们可以通过修改角色描述调整大模型的人设,如:约定AI助手的名称、性格、爱好
●约定AI助手回复风格,这里可以自由配置更多个性化的人物设定
做完【角色设定】就可以进行机器人的音色设定,如下图所示,点击选择想使用的系统发音人。

如果不想用系统提供的声音,也可以参考下图使用【声音复刻】功能录制克隆真人音色作为回复的音色。

克隆完成后,就可以在发音人选择栏选择克隆的真人声音

如果想让AI机器人具备自己的经历认知范围或专业知识,我们可以通过在应用中增加知识库,让大模型优先根据专属知识库的人设背景内容进行回答。
点击知识库,在知识库页面中点击右上角+创建知识库按钮

创建完成后,上传知识库文件,等待系统自动处理,片刻后可看到文件处于启用状态。

要提升知识库匹配准确性,我们操作的时候要注意以下几点:
1.明确知识库名称:名称需要准确反映知识库主题,避免使用“测试、文件1”等模糊词。
2.补充知识库描述:摘要必须覆盖所有文档的核心内容,不能只描述其中一部分,可使用系统提供的【智能摘要】功能辅助总结。


完成知识库创建后在应用配置中,点击关联知识库按钮,在弹出的窗口中,选中刚才创建的知识库,最后点击保存。


●长期记忆:在每次对话中提取记忆点,逐步了解当前对话人的习惯与偏好,越用越懂对话人。所有记忆内容都会根据人物画像存储,可在小程序中随时查看。
●声纹识别:通过录入声纹信息,可以实现在交互中关联指定人物画像,精准识别当前对话人的身份,并记住兴趣爱好。在音乐点播和内容推荐中,将优先匹配对话人的个性偏好。
●联网搜索:选择配置该项后,AI会通过互联网获取最新信息回复
●文字生成图片:选择配置后,用语音交互把想法转为图像,并在开发板的屏幕直接展示出来
●图片内容理解:选择配置该项后,开发板拍照后会自动传给大模型识别分析,然后语音回复
MCP服务可以很方便的让我们拓展加入更多个性服务,让小聆AI从“聊天助手”进化为“全能助手”,这里用接入高德地图实操演示具体接入步骤和效果。
在自建应用的配置页面下方,可以看到MCP服务配置项



●我们访问 高德开发平台-MCP服务,申请api-key,接口调用的费率参考 高德官网
●通过文档我们了解到平台提供的是SSE类型的协议服务
●服务URL为https://mcp.amap.com/sse?key=您在高德官网上申请的key
●在语音场景适用的能力有“地理编码、天气查询、关键词搜索、周边搜索、详情搜索”
●天安门的坐标信息是多少?
●北京今天下雨吗?
●广州塔周边1公里有什么好吃的?
如果能在请求数据模块,点击你对话过的语料,并且切换JSON视图,在response查看到相关的工具调用,即视为工具调用成功。

1、聆思大模型AI开发套件接入步骤参考:https://docs2.listenai.com/x/jSfMqbsH_
2、如您使用的是 ESP32设备,可以通过开发者分享的文章(https://blog.csdn.net/m0_60922331/article/details/149810394)来了解实现步骤。
开启长期记忆与声纹识别后,通过小程序绑定设备,即可查看当前设备的记忆数据,以及基于声纹识别生成的用户画像记录。
用微信扫描小程序码或微信搜索小聆助手,点击添加设备选择大模型开发套件完成绑定。
小聆AI 详细信息: https://docs2.listenai.com/x/S_TEd8h7C