¶ 扩展：接入串口屏
¶ 前言
本文以CSK6 大模型开发板+串口触摸屏为例，实操讲解触摸一体机怎样快速增加大模型语音交互功能，使用户能够通过语音在一体机上查询信息、获取智能回答及实现更多互动功能等。
在本文方案中通过CSK6大模型语音开发板采集用户语音，将语音数据传输到大模型进行处理，再将大模型生成的回答转换为语音输出和在触摸一体机屏幕上显示文字结果。
9a3142e4f8d9baa14db10a6035d6793e.mp4
¶ 一、硬件准备
¶ 1.语音交互模块：
CSK6-MIX2 大模型语音开发板
¶ 2.触摸一体机
用淘晶驰X2七寸串口触摸屏模块
型号：淘晶驰x2 (TJC8048X270_011R)
参数： 7.0寸，电阻触摸，分辨率：800 * 480
官方介绍：http://wiki.tjc1688.com/product/new_datasheet/X2/TJC8048X270_011R.html
产品开发文档：http://wiki2.tjc1688.com
¶ 二、硬件连接
1.串口触摸屏模块和CSK6大模型开发板各自使用5V2A独立供电。
CSK6大模型开发板使用 CSK_USB 接口进行供电。
【重点提醒】CSK6开发板接串口屏后，只能使用csk_usb口供电，且dap_usb口不能接电脑，否则串口屏不会显示聊天文字
2.将 CSK6 大模型开发板引脚与触摸一体机模块的串口接口进行连接。
确保连接线路稳定且正确:
开发板 PA00 -> RX （黄色线）
开发板 PA01 -> TX （橙色线）
开发板 GND -> GND （红色线）
¶ 三、固件下载
¶ CSK6 大模型开发板
-
参考文档《大模型多模态(识图 + 语音识别) 固件下载与烧录》烧录固件
¶ 串口屏固件
-
工程下载：TJC8048X270_csk6.HMI
-
参考文档《下载和安装上位机软件》 和 《上位机软件介绍》编译烧录固件
烧录固件后即可实现文档开头视频的功能，如果您需要二次开发可以继续阅读下文
¶ 四、触摸一体机（串口触摸屏模块）设置
串口触摸屏官方提供有可视化编辑工具， 可以联系串口屏提供方要下载程序，安装好后参考以下步骤实现语音交互文字和指令的接入。
1、在官方出厂示例下方增加【文本】模块，w设置为600、h设置为50，文本框、文字颜色、排版特效和互动方式都可以自定义配置，详情参考控件说明。
【重要提醒】不要修改 objname 的值，该值被 CSK6 大模型开发板关联，修改会导致文字不能显示。
2、配置utf-8支持，由于开发板输出的中文是utf-8格式，需要手动增加到串口屏的支持字库。
a)下载utf-8中文字库文件:utf-8中文.zi
如需自定义字库可以参考文档《utf8字库下如何只选择汉字》
b)点+导入utf-8字库，可以看到导入后的字库ID为：6
c)更改【文本】模块使用 ID为 6 的 utf-8 字库，然后保存。
d)修改 工程的字符编码为 utf-8
3、完成以上配置后，点击输出生产文件，然后通过串口更新串口屏幕程序，重启即可。
¶ 五、CSK6大模型开发板SDK的串口屏相关代码
- 下载聆思官方开放的SDK后做完初始化和更新，在 LLM_pic 目录下打开 prj.conf，增加以下配置项并保存：
CONFIG_UART_DISP_EN=y
可以在下载的大模型语音交互SDK中查看修改串口屏相关的代码以实现不同的串口交互功能，串口屏代码文件路径：\duomotai_ap\apps\LLM_pic\src\app_ui\uart_disp_ui\uart_disp.c
-
参考文档 《获取&编译SDK》 编译固件
-
参考文档《大模型多模态(识图 + 语音识别) 固件下载与烧录》烧录固件