我们可以通过在 LSPlatform 上创建大模型应用并进行云端可视化业务编排、轻代码的开发,实现一个具备自己特色的大模型助手,并接入大模型套件进行语音交互。本章节将讲解如何在 LSPlatform 上基于模板快速创建自己的应用并接入大模型开发套件。
在创建自己大模型应用并接入开发套件之前,请先参照快速体验完成固件的下载与烧录,并完成配网。
聆思平台(LSPlatform)提供了产品管理模块,可以快速在你的智能硬件设备集成先进的大模型交互功能。
您可以通过 《开始使用LSPlatform》了解更多关于 LSPlatform 的信息与使用方式。
点击应用模板中心
选择多模态交互
模板点击添加应用
按钮。给应用命名后点击确认创建应用
完成创建后找到刚创建的应用,点击编排应用
进入可视化应用编排界面
即可看到示例工程对应节点
示例工程实现了语音输入输出、大模型多模态应用功能,具体流程如下:
流程解析:首先设备识别语音输入,随后下发垫音如“我知道了”、“好的,请稍等”,然后将识别的内容结合上下文进行语义改写,将改写后的内容就通过大模型进行意图落域,接着根据落域的结果分别进行不同的后续处理,并最后将响应文本合成TTS输出。
你是一个分类专家,你需要将用户的句子归为“画画”、“设置背景”、“闲聊”中的一类,下面是一些例子:
用户:一幅海马进食
助手:画画
用户:今天吃什么
助手:闲聊
用户:把背景设置为蓝色
助手:设置背景
你只需要输出类别,接下来你要分类的输入为:
用户:{{content}}
助手:
你是一个颜色专家,我会给你一个设置背景的要求,请你告诉要设置的颜色是什么,请用十六进制RGB表示该颜色,以下是一些例子:
用户:我想设置背景为青苹果色
助手:#32CD32
用户:我想设置背景为蓝色
助手:#0000FF
你只需要输出颜色的十六进制RGB表示,我的要求是:
用户:{{content}}
助手:
部署
后返回应用
界面,打开刚才创建的应用,点击部署生产
在产品管理
模块点击新建产品
按钮,并按要求填写你的产品名称。
配置你需要调用的大模型应用,完成配置后,用户可通过语音交互实现大模型对话。在此我们仅需在配置应用
勾对第一阶段已经部署的大模型应用即可。
设备ID
是待接入设备的唯一标识,云端应用通过这个ID判断接入的设备是否为合法设备,我们需要获取当前设备的ID并将其添加到云端应用的白名单中,才能让设备鉴权通过实现端云交互。
每块大模型开发板默认都有一个唯一的设备ID,可通过以下方式进行读取。
读取方式:
点击下载 cskburn.exe,在cskburn.exe所在目录通过cmd或powershell命令行执行以下指令:
cskburn -s \\.\COMxx -C 6 -b 748800 --chip-id
聆思平台只会对列表中的设备鉴权提供交互服务,因此需要将前面读取到的设备ID在设备管理
页面进行导入才能实现设备正常交互。
平台提供10个免费测试ID用于产品验证阶段测试使用,如需新增额度,请在平台联系商务
我们在 LSPlatform 上创建产品时,每个产品都有一个产品ID(product_id)和对应的密钥(secret_id),需将产品ID和产品密钥写入设备,才能让设备接入对应的产品完成鉴权和连接服务。
写入方式:
使用数据线连接开发板 DAP_USB
接口后,可通过聆思在线串口工具打开该串口,波特率保持默认115200:
通过 flash.set.product_id
和flash.set.secret_id
指令可以分别配置开发板接入的大模型应用 productID 及其密钥,示例如下:
product_id set "52f634a5-xxxx-xxxx-xxxx-8ece2e4c37a3"
secret_id set "dce09bd6-xxxx-xxxx-xxxx-a82f23459126"
product_id 和 secret_id 可在对应产品的产品信息中获取。
完成以上配置后,可以实现《图片生成与设备控制快速体验》的相关体验语料,实现文生图、设置背景颜色功能。那么恭喜你,你已经顺利完成应用搭建,接下来我们可以通过阅读《通过编排新增意图落域》了解如何基于一个应用,配合云端编排功能实现自己的大模型业务定制。