在人工智能大模型重塑教育与社会发展的当下,无论是探索未来职业方向,还是更新技术储备,掌握大模型知识都已成为新时代的必修课。从职场上辅助工作的智能助手,到课堂用于学术研究的智能工具,大模型正在工作生活教育等领域发挥着越来越重要的作用。 针对日前前来咨询的广大客户对面向大模型智能硬件的学习需求,我们根据CSK6大模型语音视觉开发板已有功能,整理了一份适合基于本开发板进行教学活动的学习课程参考给大家备用,其中基础概念大家可以通过大模型问答或互联网搜索获得。
内容以联网和离线两种场景分为两部分,详情可以参考下文:
初次接触大模型硬件的学习需求,我们建议从大模型交互链路、语音处理、硬件功能等基础概念入手,可以以CSK6大模型语音视觉开发板为例,帮助大家理解大模型+智能硬件的运作逻辑。
如上图所示,CSK6大模型语音交互架构可以切分为三大部分来了解,分别为:大模型集群、云服务集群、硬件交互端。在掌握大模型相关的知识和用法后,建议再学习云服务和硬件端的语音处理相关基础知识内容。只有理解了降噪、回声消除、唤醒模型、ASR、TTS等功能后,才能正确理解人机交互的整个处理流程。
使用模板创建云服务,并在云端界面与大模型交互,对比云与硬件端的差异,了解各自的使用场景。
端云链路交互协议:https://docs2.listenai.com/x/I7T_gajht
当对整体交互流程有了基础认知后,基于平台提供的零代码模板,就能够快速掌握提示工程基础,学会与大模型高效 “对话”,轻松完成从 0 到 1 的知识积累。 同时,也可以通过零代码模板实现个性化AI人设定制,在实操过程种学习机器人配置类型。
这部分需要先了解不同大模型的特点,例如长文本处理、短文本处理、深度思考等模型的优劣势;然后掌握大模型提示词的作用、通过实操认识语音技能存在的必要性和机器人人设配置的作用
1、切换不同的大模型,对比交互结果差异
2、更改大模型提示词,对比体验差异
3、添加/减少语音技能,思考语音技能对产品体验的影响
4、修改机器人人设,体验配置对交互体验的影响
接入简易配置:https://docs2.listenai.com/x/jSfMqbsH_
修改机器人人设:https://docs2.listenai.com/x/ei_nKGl2F
当入门部分完成后可以开始学习 RAG(检索增强生成)技术和智能体(Agent)应用。可以利用知识库模板搭建学科专属知识库;有研发能力还可以尝试自定义编排智能体完成更复杂的任务,比如接入第三方应用等。通过实操训练,把理论知识转化为实实在在的应用能力。
这部分需要先了解RAG知识库出现的背景、掌握在语音交互中的调用逻辑和调优方式;然后是自定义智能体的业务处理流程和使用方法。有JSON开发基础可以理解大模型常用接口类型、学习第三方应用接入语音交互的方式。有硬件开发基础的同学可以通过实操掌握大模型语音控制流程。
1、在云端创建学科或班级档案知识库,并对接到大模型开发板上通过语音交互调用
2、用编排模板创建智能体,并对接到大模型开发板上通过语音交互调用
3、接入第三方应用,对接到大模型开发板上通过语音交互调用
4、大模型语音控制灯
接入知识库:https://docs2.listenai.com/x/lkbV6r4m-
创建&接入智能体:https://docs2.listenai.com/x/RtdU8yrbO
接入扣子智能体:https://docs2.listenai.com/x/uoR2tYovA
接入第三方大模型:https://docs2.listenai.com/x/s7TqUrMjl
通过以上系统学习,不仅能构建起全面深入的大模型知识体系,还能具备独立开发大模型应用的能力。在工作学习中可以开发出更方便的学习辅助系统,也能打造出解决实际问题的创新工具,为大家在未来的学习、工作中增添强大竞争力。
了解CSK6 大模型开发板的核心组件,如处理器、传感器、存储器等。通过拆解 AI 硬件设备,分析各组件的功能与相互协作方式,理解硬件如何为 AI 功能提供运行基础。参考文档如下:
开发板介绍与资料下载:https://docs2.listenai.com/x/nTn9kMMCU
开发板拆解视频: https://b23.tv/tePplmZ
最小电路设计参考: https://b23.tv/0aXPsOI
参考智能音箱、跟拍云台、扫描笔等典型 AI 硬件,了解离线AI在智能家居、安防监控、办公学习等场景中的具体应用,建立硬件与实际生活的联系。参考文档如下:
跟拍云台:https://docs2.listenai.com/x/NpiUTBipB
坐姿检测提醒:https://docs2.listenai.com/x/RIRlub2nv
英语单词卡:https://docs2.listenai.com/x/PQNKoD3Zh
英语随身字典:https://docs2.listenai.com/x/eFbHdN_HF
扫描笔:https://docs2.listenai.com/x/5dda3I4qDP9
了解硬件基础指令集,包括设备控制、数据读取、功能调用等。通过实践操作,学会部署环境和使用基础指令实现对硬件的简单操作。参考文档如下:
聆思在线串口终端:https://tool.listenai.com/serial-term/
环境搭建:https://docs2.listenai.com/x/ZgVUIzY6M
下载SDK:https://docs2.listenai.com/x/GvIW8tsaE
烧录工具和使用方法:https://docs2.listenai.com/x/oo2_KzYFd
工具上手使用视频: https://b23.tv/aFZ2ymu
了解人脸识别的核心技术,如特征点检测、头部姿态角度检测、特征向量提取与比对。利用开发板和摄像头搭建人脸识别系统,实现人员身份验证、考勤打卡等功能。
功能介绍:https://docs2.listenai.com/x/XuPPPS80c
开发参考:https://docs2.listenai.com/x/83Lrta8qh
通过摄像头捕捉人体姿态,运用姿态估计算法判断坐姿是否正确。了解该技术的实现方式,分析在智能学习桌椅、办公健康监测等场景的应用价值与开发要点。
功能介绍:https://docs2.listenai.com/x/e16RmshY3
开发参考:https://docs2.listenai.com/x/5-yoRhvrM
了解头肩跟拍技术的工作流程,从目标检测到跟踪算法的运用。实践开发头肩跟拍功能,掌握在机器人跟随、运动相机、直播设备等场景中的应用技巧。
功能介绍:https://docs2.listenai.com/x/eiRAtqX7_
开发参考:https://docs2.listenai.com/x/hIiI9-a-w
了解手势识别的技术原理,包括手势特征提取、动作分类等。基于实时识别结果设计手势交互逻辑,实现通过手势控制设备、操作界面等功能。
功能介绍:https://docs2.listenai.com/x/eiRAtqX7_
开发参考:https://docs2.listenai.com/x/hIiI9-a-w
介绍物体分类的算法模型,如卷积神经网络(CNN)在物体识别中的应用。通过实际项目,让学员学会训练模型、部署到硬件设备,实现对不同物体的快速准确分类。
功能介绍:https://docs2.listenai.com/x/AyRl56jpS
开发参考:https://docs2.listenai.com/x/4vgeKMRNi
讲解字母拼读的语音合成技术,如何将字母转化为标准发音。指导学员开发字母拼读硬件应用,实现字母发音教学、跟读练习等功能。
功能介绍:https://docs2.listenai.com/x/LaKkX0b8V
开发参考:https://docs2.listenai.com/x/B58_OnaRC
介绍英文发音评测的原理,利用声学模型与语音识别技术分析发音准确性。带领学员搭建英文评测系统,实现对用户发音的评分与错误反馈。
功能介绍:https://docs2.listenai.com/x/hZ6NT04Kk
开发参考:https://docs2.listenai.com/x/uQ6yNsrBs
解析英译中语音翻译的技术流程,包括语音识别、机器翻译、语音合成。指导学员开发实时语音翻译硬件设备,满足跨国交流、语言学习等场景需求。
功能介绍:https://docs2.listenai.com/x/GxlJsvPfc
开发参考:https://docs2.listenai.com/x/Cd9jrAVVD
深入讲解语音合成的方法,如基于深度学习的端到端语音合成模型。让学员掌握将文本转化为自然流畅语音的技术,应用于有声读物、智能客服等场景。
功能介绍:https://docs2.listenai.com/x/ff3F2nK3w
开发参考:https://docs2.listenai.com/x/dYSX5kz1q
介绍鼾声检测的音频信号处理方法,通过特征提取与分类算法判断鼾声。指导学员开发鼾声检测硬件设备,用于睡眠健康监测与分析。
功能介绍:https://docs2.listenai.com/x/tD4HR_HpM
开发参考:https://docs2.listenai.com/x/bY6kbqmaY
参考开发板文档、结合大模型和搜索工具了解 AI 算法模型,如神经网络、决策树等。参考pytorch-cifar100 等实际案例,剖析算法模型如何处理数据、进行特征提取与分类决策,为后续学习奠定理论基础。 参考文档如下:
模型量化移植工具:https://docs2.listenai.com/x/0m4Dxp7Ag
模型选择:https://docs2.listenai.com/x/VphF2kyJ3
常见CV模型性能表:https://docs2.listenai.com/x/wrosPYumN
实操流程讲解:https://docs2.listenai.com/x/8QdQMCwEP
示例:pytorch-cifar100 训练部署:https://docs2.listenai.com/x/Lthla0j-_
讲解视频: https://b23.tv/T9wCw59
在掌握以上离线AI 知识后,还想更进一步学习智能硬件开发,可以参考以下资料上手学习大模型多模态智能硬件开发:
上手资料汇总:https://docs2.listenai.com/x/Bt46JnBA0
智能体编排技巧:https://docs2.listenai.com/x/el13_Cfrg
讯飞AIUI 对接:https://docs2.listenai.com/x/el13_Cfrg
Zephyr 系统开发资料汇总:https://docs2.listenai.com/x/8dTFhn8-w