¶ 如何搭建大模型智能硬件
¶ 应用介绍
聆思平台(LSPlatform)提供了应用模块，可以快速在你的智能硬件设备集成先进的大模型交互功能。
- 通过平台你可以在云端灵活定制专属于你的大模型应用，如定制企业专属知识库，实现文生图、图生文功能，接入企业内部服务等。
- 同时我们还提供了常用的量产管理功能，如固件OTA，设备白名单管理等，便于开发者在产品发布上市后实现产品维护和管理。
您可以通过 《开始使用LSPlatform》了解更多关于 LSPlatform 的信息与使用方式。
¶ 创建新应用
¶ 新建应用
完成注册后，访问聆思平台(LSPlatform)平台进行登录，点击应用模板中心，在简易配置标签下选择大模型语音交互模板点击添加应用按钮。给应用命名后点击确认创建应用。
完成创建后，点击应用即可调出快速配置菜单，在配置菜单中，我们可以快速对该应用进行功能配置
“小聆AI | 大模型语音交互应用”是专为智能硬件打造的应用，暂不支持通过创建云端应用来实现应用接入。
¶ 搭建你的专属应用
进入前面新建的应用的配置页，我们可以在本配置页对大模型功能进行配置。
¶ 模型人设自定义
我们可以通过修改角色描述调整大模型的人设，如：
- 约定AI助手的名称、性格、爱好
- 约定AI助手回复风格
你可以尝试使用更多个性化的人物设定
¶ 设置发音人
通过本模块可以对回复的发音人进行配置，甚至进行声音复刻。
¶ 增加知识库
我们可以通过在应用中增加知识库，让大模型优先根据知识库的人设背景内容进行回答。
¶ 创建知识库
点击知识库，在知识库页面中点击右上角+创建知识库按钮
创建完成后，上传知识库文件，等待片刻后可看到文件处于启用状态。
¶ 完善知识库信息
为提升知识库匹配准确性，我们需要完善以下内容：
1.明确知识库名称：名称需要准确反映知识库主题，避免使用“测试、文件1”等模糊词。
2.补充知识库描述：摘要必须覆盖所有文档的核心内容，不能只描述其中一部分，可使用智能摘要功能辅助总结。
¶ 关联知识库
完成知识库创建后在应用配置中，点击关联知识库按钮，在弹出的窗口中，选中刚才创建的知识库，最后点击保存。
¶ AI能力配置
¶ 能力说明
- 长期记忆：AI会在每次对话中提取记忆点，逐步了解你的习惯与偏好，越用越懂你。所有记忆内容都会根据人物画像存储，可在小程序中随时查看。
- 声纹识别：通过录入声纹信息，新建专属人物画像，AI能精准识别你的身份，并记住你的兴趣爱好。在音乐点播和内容推荐中，将优先匹配你的个性偏好。
- 联网搜索：让AI支持获取最新信息
- 文字生成图片：轻松将你的想法转为图像
- 图片内容理解：让AI看懂你拍到的图片
¶ MCP服务配置
增强拓展性，让小聆AI从“聊天助手”进化为“全能助手”
¶ 能力说明
支持配置StreamableHTTP / SSE 远程服务
¶ 配置方式
-
点击“添加服务器”按钮，填写服务名称、服务唯一英文标识基本信息。
-
以添加高德地图MCP服务为例：
- 我们访问 高德开发平台-MCP服务，申请api-key，接口调用的费率参考 高德官网
- 通过文档我们了解到平台提供的是
SSE类型的协议服务 - 服务URL为
https://mcp.amap.com/sse?key=您在高德官网上申请的key - 在语音场景适用的能力有“地理编码、天气查询、关键词搜索、周边搜索、详情搜索”
- 完成URL的填写后点击
测试按钮，通过后我们就可以在语音交互中使用他了，你可以尝试以下语料：
- 天安门的坐标信息是多少？
- 北京今天下雨吗？
- 广州塔周边1公里有什么好吃的？
...
- 效果验证
如果能在请求数据模块，点击你对话过的语料，并且切换JSON视图，在response查看到相关的工具调用，即视为工具调用成功。
¶ 读取设备ID
设备ID是一个产品下的唯一设备标识，我们需要获取当前设备ID方便后续在云端配置，才能让设备鉴权通过实现端云交互。
读取方式：
- 将设备连接时，串口日志会自动打印出设备的device id。如果没有看到对应信息，重启设备后重新打开串口工具即可查看。
¶ 添加设备白名单
聆思平台只会对列表中的设备鉴权提供交互服务，因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。
平台提供10个免费测试ID用于产品验证阶段测试使用，如需新增额度，请在平台联系商务
¶ 设备端写入配置
完成云端配置后，仅需将产品ID写入设备，才能让设备找到对应的产品完成鉴权服务。
写入方式：
使用数据线连接开发板 DAP_USB 接口后，可通过聆思在线串口工具打开该串口，波特率保持默认115200。
通过 product_id set 和secret_id指令可以分别配置开发板接入的大模型应用 productID 及其密钥，示例如下：
flash.set.product_id "你的product_id"
flash.set.secret_id "你的product_secret"
product_id 和 secret_id 可在对应产品的产品信息中获取。
至此，设备端配置完成，断电重启完成配网，即可通过唤醒词进行交互。