在前面的章节中,我们已经学习了如何使用默认的示例功能,本章节将讲解如何在 LSPlatform 上基于模板快速创建支持云端节点编排的应用并接入大模型开发套件,并尝试通过节点编排挂载一个知识库,实现知识库问答。
在参照本章节进行自定义应用接入前,请确保您手头的大模型套件已运行 语音交互+识图应用 并参照 《语音交互+识图:配置网络》完成配网。
应用模板中心
,在定制开发标签下选择大模型套件语音交互与识图
模板点击添加应用
按钮。给应用命名后点击确认创建应用。编排应用
进入可视化应用编排界面即可看到示例工程对应节点
示例工程实现了图生文、文生图、知识库问答、兜底闲聊等功能,具体业务流程如下:
流程解析如下:
在产品管理
模块点击新建产品
按钮,并按要求填写你的产品名称。
配置你需要调用的大模型应用,完成配置后,用户可使用大模型套件语音交互与识图。在此我们仅需在配置应用
勾对第一阶段已经创建的大模型应用即可。
设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互。
支持以下几种方式进行 ID 的读取:
在开发套件运行大模型语音交互+识图示例,在应用首页下滑调出菜单,以此点击设置图标
→应用
,进入应用信息查看页,可看到该页面上对本设备的 ID 进行了展示:
cskburn desktop
是一款聆思推出的桌面烧录工具,在下载并安装 cskburn desktop 烧录工具后,双击图标运行软件:
1.点击串口下拉框,选择连接开发套件后识别到的串口编号;
2.点击获取信息
3.得到设备ID
聆思平台只会对列表中的设备鉴权提供交互服务,因此需要将前面读取到的设备ID在设备管理
页面进行导入才能实现设备正常交互。
平台提供10个免费测试ID用于产品验证阶段测试使用,如需新增额度,请在平台联系商务
完成云端配置后,仅需将产品ID与密钥写入设备,才能让设备连接对应的产品并完成鉴权服务。
若您当前设备上运行的固件不具备扫码接入功能,请参照 《应用合集TF卡》更新 TF 卡中的镜像文件夹。
在应用首页下滑调出菜单,以此点击设置图标
→应用
,进入应用信息查看页:
点击右下角扫码接入
按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处检查product_id
和secret_id
是否已更新:
使用数据线连接开发板 DAP_USB
接口后,打开在线串口终端工具,选择对应的串口设备进行连接,波特率默认115200,完成配置后点击连接按钮。
通过 set product_id
和set secret_id
指令可以分别配置开发板接入的大模型应用 product ID 及其密钥,示例如下:
set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f
set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218
product_id
和 product_secret
可在对应产品的产品信息中获取,请将指令中的参数替换为产品信息中的 id 与 secret 信息。
旧版固件请使用 aiui set product_id 与 aiui set secret_id 指令。
为了让应用能满足垂直领域的问答需求,聆思提供了知识库
模块,开发者可以通过外挂知识库的方法让应用学会如何回答垂直领域问题。在上述例子中,在原应用基础上集成空调的知识库,便能实现更有针对行的问答回复:
本节提供可以快速上手的在线编排知识库问答实践流程,如果需要了解更详细的知识库相关内容,可以访问如下页面:
在聆思大模型平台点击侧边栏的知识库
模块,进入知识库页面,点击创建知识库即可进行知识创建流程;
在弹出的窗口输入知识库名称点击确定即可完成知识库创建。
点击对应的知识库应用,点击右侧的“上传文件”按钮,即可进入文档上传流程;
文档支持txt、doc、pdf格式,请将要建立索引的文档转换至上述格式再进行上传。
此处选择默认的智能分片
分片策略,随后点击保存即可。
打开前文创建的应用,点击应用编排
进入在线编排页面
在线编排页面,找到知识点检索
节点,点击节点打开配置界面,选择刚才添加的知识库。
完成配置后,点击右上角部署
后返回应用
界面,打开刚才创建的应用,点击部署生产
完成上述部署后,重启设备,此时自定义应用已经完成修改。
项目 | 链接 |
---|---|
新增AIUI技能调用 | 可参照《通过编排新增AIUI技能调用》在大模型应用中增加一个AIUI技能调用。 |
了解大模型平台更多使用方法 | 可阅读《LSPlatform 开始使用》。 |
了解设备接入云端的协议 | 可参照《端云交互链路协议》了解开发套件接入 LSPlatform 的协议。 |
了解AIFlow调试使用方法 | 可参照《AIFlow调试技巧》了解调试节点的使用。 |
了解如何使用云端编排的节点 | 可参照《教程视频——云端节点编排》了解如何用 LSPlatform 的节点编排编写大模型应用。 |