¶ 功能体验
¶ 示例简介
大模型除了文本交互之外，还支持图像方面的交互，包括对图像的识别以及图片生成，本示例将在大模型套件上展现大模型的多模态能力，用户可以通过语音交互、摄像头拍照作为交互入口，实现与大模型的多模态交互。
应用图标：
本示例主要包含以下功能：
- 语音交互：支持按键录音或唤醒后通过语音与大模型进行对话
- 拍照识图：支持通过摄像头拍摄图像并上传给大模型进行识别，支持依据识图内容进行提问
- 图片生成：支持通过语音交互描述画面内容，令大模型生成图片并显示至套件屏幕上
开发套件默认出厂 TF 卡中已包含本应用，可直接进行功能体验。
若您需要下载单独的应用示例固件，请参照本示例的 《固件下载与烧录》进行操作。
¶ 功能展示
¶ 硬件准备
在运行本应用前，进行以下硬件准备:
- 1.连接任一 USB 口进行供电
- 2.将摄像头粘贴至开发板背面
- 3.点击应用图标加载固件或通过烧录工具完成固件烧录后，运行语音交互与识图示例，进入以下界面：
部分电脑 USB 接口可能供电不足，若上电后运行异常，请尝试使用单独的电源适配器进行供电或同时使用开发套件上两个 USB 接口进行供电。
¶ 配置网络
打开电源开关,点击待机页面上的 设备未联网 蓝色字体，直接跳转到交互模式设置页：
或程序首页下滑进入菜单，点击设置按钮跳转到交互模式设置页
选择以下其中一种方式完成配网：
使用手机扫描屏幕上的二维码，进入WIFI 账号密码配置生成页：
在弹出的网页中填写 WIFI 的账号与密码，并点击生成按钮，生成二维码:
生成二维码后，点击开发套件触摸屏上的已扫描二维码按钮，将摄像头对准手机屏幕上的 WIFI 二维码，完成配网：
配网完成后，点击左上角 Home 按键即可回到待机页面，此时右上角 WIFI 图标已正常，桌面时间已更新到当前北京时间，表示当前设备已处于联网状态。
若你配置网络遇到异常，可参照以下指引进行排查：
1.目前仅支持 2.4G 频段的 WIFI 网络接入，请选择 2.4G网络
2.使用 iPhone 的个人热点为开发板提供网络时，请启用手机配置中的【最大兼容性】
3.部分路由器网络存在安全策略限制、不稳定等因素，出现联网故障时建议改用 2.4G 频段的手机热点进行尝试
最新版固件支持UI配网，如果您通过 TF 卡加载本应用，可参照《应用合集TF卡》更新 TF 卡内的应用镜像，以获取本应用的最新版本。
如果您不是通过 TF 卡加载本应用，请参照本示例的 《固件下载与烧录》进行最新固件的下载烧录。
点击网络标签，滑动WiFi列表，选择想要连接的wifi，输入密码：
点击右下角 √ 按键即可回到待机页面，此时右上角 WIFI 图标已正常，桌面时间已更新到当前北京时间，表示当前设备已处于联网状态。
注意：目前仅支持 2.4G 频段的 WIFI 网络接入，请选择 2.4G网络
注意：使用 iPhone 的个人热点为开发板提供网络时，请启用手机配置中的【最大兼容性】
注意：部分路由器网络存在安全策略限制、不稳定等因素，出现联网故障时建议改用 2.4G 频段的手机热点进行尝试
¶ 交互模式
¶ 支持的交互模式
本示例支持三种交互方式，其特点如下：
| 模式 | 唤醒方式 | 交互方式 |
|---|---|---|
| 按键交互 | 按下屏幕麦克风图标或开发板K3按键 | 按住按键说话，松开提交 |
| 语音唤醒(单轮) | 唤醒词 “小美小美” |
听到提示音 “在呢” 后进行提问，每次提问均需要唤醒 |
| 语音唤醒(多轮) | 唤醒词 “小美小美” |
听到提示音 “在呢” 后进行提问，可持续对话，当超过20秒无语音输入时自动结束本次交互 |
本示例的唤醒词 (小美小美) 暂不支持用户自定义替换，若有具体业务项目的定制需求，请扫描开发套件背面二维码联系小助手。
¶ 交互模式的切换
在待机页面，下滑可调出下滑菜单，点击下滑菜单中的 设置图标，可进行配置页面：
选中对应的模式后，点击左上角
即可回到待机页面并生效。
¶ 语音交互
¶ 按键交互模式
设置成按键交互(按键唤醒)模式下，按住屏幕上的麦克风按钮或开发板上的K3按键，即进入录音状态，松开按键则结束录音并提交。
¶ 语音唤醒模式
当设置为语音唤醒(单轮)或语音唤醒(多轮)时，可通过唤醒词 —— “小美小美” 对设备进行唤醒，当听到 “在呢” 的提示音后，即可正常进行语音输入。
¶ 退出对话
在使用过程中，点击左上角即可结束本轮对话回到待机页面，此操作会同步清除本次对话的上下文信息。
¶ 调整音量
在应用首页下滑可调出设置菜单，通过滑动音量条可进行回复音量的调整。
¶ 拍照识图
在待机页，点击拍照按钮即可进入取景页面，对准要拍照的物体，点击右侧中间的拍照键完成抓拍，确认画面抓拍正常后（无晃动模糊的情况），点击右侧的 √ 进行提交识别：
输出识别结果：
¶ 文生图
在设备进入语音交互状态后，可以通过带有绘画意图的提示词让大模型进行作画，比如：
- “画一只熊猫”
- “画一个人正在使用电脑”
¶ 云端自主应用快速接入
本应用出厂时默认接入了聆思提供的云端大模型应用，用户可直接体验大模型语音交互。
当您需要将套件接入自己在 聆思平台(LSPlatform) 上自主创建的产品，可使用本应用中的扫码快速接入功能，方法如下：
¶ 1.通过下滑菜单进入应用配置页
在应用首页下滑调出菜单，以此点击设置图标 →应用，进入应用信息查看页：
¶ 2.点击扫码按钮，扫描云端产品接入二维码
点击右下角扫码接入按钮调出相机，将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内，完成扫描后，请在应用配置信息处检查product_id和secret_id是否已更新：
要使设备接入自主创建的应用，还需将开发板的设备ID添加至产品的设备白名单中，详见云端应用接入文档说明。
¶ 3.重启开发板，使其接入新配置的应用
按动RST按键或拨动电源开关，使开发板重启并重新加载运行本应用，使其自动接入新配置的应用：
关于如何在 聆思平台(LSPlatform)创建自己的产品与应用，可参照 《接入云端简易配置应用》。
★ 若您需要使开发套件恢复接入出厂时默认的大模型应用，可点击应用配置页的
恢复默认按钮。
★ 若您当前开发板上的固件因为版本较久而缺少部分功能，请参照《应用合集TF卡》更新TF卡镜像或参照《本地SDK更新》更新SDK后重新编译烧录本固件。
¶ 相关内容与链接
| 项目 | 链接 |
|---|---|
| 更新应用 | 如果您通过 TF 卡加载本应用，可参照《应用合集TF卡》更新 TF 卡内的应用镜像，以获取本应用的最新版本。 |
| 单独下载固件与烧录 | 可参照《固件下载与烧录》单独下载本应用的固件并完成烧录。 |
| 源码编译和开发指南 | 可参照《开发指南》了解本应用源码的编译以及 API 接口信息。 |
| 接入云端简易配置应用 | 可参照《接入云端简易配置应用》接入自己创建的云端大模型应用。 |
| 接入云端可编排应用 | 可参照《接入云端可编排应用》接入自己创建的云端可编排业务节点的大模型应用。 |
| 新增AIUI技能调用 | 可参照《通过编排新增AIUI技能调用》在大模型应用中增加一个AIUI技能调用。 |
| 了解设备接入云端的协议 | 可参照《端云交互链路协议》了解开发套件接入 LSPlatform 的协议。 |
| 了解如何使用 LSPlatform | 可参照《教程视频——云端节点编排》了解如何用 LSPlatform 的节点编排编写大模型应用。 |