大模型除了文本交互之外,还支持图像方面的交互,包括对图像的识别以及图片生成,本示例将在大模型套件上展现大模型的多模态能力,用户可以通过语音交互、摄像头拍照作为交互入口,实现与大模型的多模态交互。
应用图标:
本示例主要包含以下功能:
开发套件默认出厂 TF 卡中已包含本应用,可直接进行功能体验。
若您需要下载单独的应用示例固件,请参照本示例的 《固件下载与烧录》进行操作。
在运行本应用前,进行以下硬件准备:
部分电脑 USB 接口可能供电不足,若上电后运行异常,请尝试使用单独的电源适配器进行供电或同时使用开发套件上两个 USB 接口进行供电。
打开电源开关,点击待机页面上的 设备未联网
蓝色字体,直接跳转到交互模式设置页:
或程序首页下滑进入菜单,点击设置
按钮跳转到交互模式设置页
选择以下其中一种方式完成配网:
使用手机扫描屏幕上的二维码,进入WIFI 账号密码配置生成页:
在弹出的网页中填写 WIFI 的账号与密码,并点击生成按钮,生成二维码:
生成二维码后,点击开发套件触摸屏上的已扫描二维码
按钮,将摄像头对准手机屏幕上的 WIFI 二维码,完成配网:
配网完成后,点击左上角 Home
按键即可回到待机页面,此时右上角 WIFI 图标已正常,桌面时间已更新到当前北京时间,表示当前设备已处于联网状态。
注意:目前仅支持 2.4G 频段的 WIFI 网络接入,请选择 2.4G网络
注意:使用 iPhone 的个人热点
为开发板提供网络时,请启用手机配置中的【最大兼容性】
注意:部分路由器网络存在安全策略限制、不稳定等因素,出现联网故障时建议改用 2.4G 频段的手机热点进行尝试
最新版固件支持UI配网,如果您通过 TF 卡加载本应用,可参照《应用合集TF卡》更新 TF 卡内的应用镜像,以获取本应用的最新版本。
如果您不是通过 TF 卡加载本应用,请参照本示例的 《固件下载与烧录》进行最新固件的下载烧录。
点击网络
标签,滑动WiFi列表,选择想要连接的wifi,输入密码:
点击右下角 √
按键即可回到待机页面,此时右上角 WIFI 图标已正常,桌面时间已更新到当前北京时间,表示当前设备已处于联网状态。
注意:目前仅支持 2.4G 频段的 WIFI 网络接入,请选择 2.4G网络
注意:使用 iPhone 的个人热点
为开发板提供网络时,请启用手机配置中的【最大兼容性】
注意:部分路由器网络存在安全策略限制、不稳定等因素,出现联网故障时建议改用 2.4G 频段的手机热点进行尝试
本示例支持三种交互方式,其特点如下:
模式 | 唤醒方式 | 交互方式 |
---|---|---|
按键交互 | 按下屏幕麦克风图标或开发板K3按键 | 按住按键说话,松开提交 |
语音唤醒(单轮) | 唤醒词 “小美小美” |
听到提示音 “在呢” 后进行提问,每次提问均需要唤醒 |
语音唤醒(多轮) | 唤醒词 “小美小美” |
听到提示音 “在呢” 后进行提问,可持续对话,当超过20秒无语音输入时自动结束本次交互 |
本示例的唤醒词 (小美小美) 暂不支持用户自定义替换,若有具体业务项目的定制需求,请扫描开发套件背面二维码联系小助手。
在待机页面,下滑可调出下滑菜单,点击下滑菜单中的 设置
图标,可进行配置页面:
选中对应的模式后,点击左上角即可回到待机页面并生效。
设置成按键交互(按键唤醒)
模式下,按住屏幕上的麦克风按钮
或开发板上的K3
按键,即进入录音状态,松开按键则结束录音并提交。
当设置为语音唤醒(单轮)
或语音唤醒(多轮)
时,可通过唤醒词 —— “小美小美” 对设备进行唤醒,当听到 “在呢” 的提示音后,即可正常进行语音输入。
在使用过程中,点击左上角即可结束本轮对话回到待机页面,此操作会同步清除本次对话的上下文信息。
在待机页,点击拍照按钮即可进入取景页面,对准要拍照的物体,点击右侧中间的拍照键完成抓拍,确认画面抓拍正常后(无晃动模糊的情况),点击右侧的 √ 进行提交识别:
输出识别结果:
在设备进入语音交互状态后,可以通过带有绘画意图的提示词让大模型进行作画,比如:
本应用出厂时默认接入了聆思提供的云端大模型应用,用户可直接体验大模型语音交互。
当您需要将套件接入自己在 聆思平台(LSPlatform) 上自主创建的产品,可使用本应用中的扫码快速接入功能,方法如下:
在应用首页下滑调出菜单,以此点击设置图标
→应用
,进入应用信息查看页:
点击右下角扫码接入
按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处检查product_id
和secret_id
是否已更新:
要使设备接入自主创建的应用,还需将开发板的设备ID添加至产品的设备白名单中,详见云端应用接入文档说明。
按动RST按键
或拨动电源开关,使开发板重启并重新加载运行本应用,使其自动接入新配置的应用:
关于如何在 聆思平台(LSPlatform)创建自己的产品与应用,可参照 《接入云端简易配置应用》。
★ 若您需要使开发套件恢复接入出厂时默认的大模型应用,可点击应用配置页的
恢复默认
按钮。
★ 若您当前开发板上的固件因为版本较久而缺少部分功能,请参照《应用合集TF卡》更新TF卡镜像或参照《本地SDK更新》更新SDK后重新编译烧录本固件。
项目 | 链接 |
---|---|
更新应用 | 如果您通过 TF 卡加载本应用,可参照《应用合集TF卡》更新 TF 卡内的应用镜像,以获取本应用的最新版本。 |
单独下载固件与烧录 | 可参照《固件下载与烧录》单独下载本应用的固件并完成烧录。 |
源码编译和开发指南 | 可参照《开发指南》了解本应用源码的编译以及 API 接口信息。 |
接入云端简易配置应用 | 可参照《接入云端简易配置应用》接入自己创建的云端大模型应用。 |
接入云端可编排应用 | 可参照《接入云端可编排应用》接入自己创建的云端可编排业务节点的大模型应用。 |
新增AIUI技能调用 | 可参照《通过编排新增AIUI技能调用》在大模型应用中增加一个AIUI技能调用。 |
了解设备接入云端的协议 | 可参照《端云交互链路协议》了解开发套件接入 LSPlatform 的协议。 |
了解如何使用 LSPlatform | 可参照《教程视频——云端节点编排》了解如何用 LSPlatform 的节点编排编写大模型应用。 |