¶ 工具链简介
ListenAI Neural Network
LNN 是聆思科技自主研发的端到端 AI 开发闭环系统。它通过深度融合量化训练与推理部署技术，实现了从算法原型到芯片仿真平台落地的无缝衔接。系统核心由两大组件构成：
- linger：一个轻量化的量化训练插件（基于 PyTorch 框架）。它通过最小化代码侵入实现量化感知训练（QAT），在多数场景下可将 float32 精度的模型无损压缩至 int8 精度，同时也支持 int4/int16/int32 的混合量化。
- thinker：量化模型的推理部署工具及轻量化引擎。它能自动将量化计算图转换为推理优化的结构，并利用硬件友好的算子融合技术，在满足内存约束的条件下最大化推理性能。通过跨平台兼容的推理框架，在仿真平台对算法进行快速验证，在芯片平台实现快速部署。
LNN已成功支撑计算机视觉、语音唤醒、离线翻译等 20 余个 AI 场景在聆思 Venus、Arcs、VenusA 三个系列芯片上的落地应用，覆盖 DNN/CNN/RNN 等经典网络结构，并深度适配流式Encoder-Decoder架构，尤其擅长优化裁剪版Transformer及其衍生注意力模型。
LNN工具链支持聆思科技旗下的VENUS、ARCS和VENUSA三个系列芯片平台。由于各芯片平台的底层架构不同，对模型规模与网络拓扑存在差异化约束，但开发者无需关注底层适配规则。LNN 工具链已内置自动化校验机制：当模型通过 thinker 组件的 tpacker 打包流程时，即代表其已满足所有平台兼容性要求，可无缝部署至目标设备运行。有兴趣可查看各平台的约束细节模型选择须知。
为简化操作流程、降低使用门槛，我们提供了三个 Skill：
- 模型结构辅助设计 Skill：针对受限于规约性检查的模型结构，提供自动调整方案。
- 量化训练调参 Skill：针对量化效果不理想的问题，自动调整量化参数。
- 推理部署辅助 Skill：针对推理部署过程中的内存需求问题，自动设置拆分阈值。
¶ 聆思AI生态构建图
¶ 
当前版本linger支持以下特性：
- 训练量化(QAT)技术方案
- 采用对称量化策略与Q参数量化模式
- 支持per-tensor逐张量量化方式
¶ 技术原理
linger 采用基于 PyTorch 的混合精度训练框架，通过对已收敛的浮点模型实施量化感知训练（QAT）。其核心机制是在前向传播中插入量化-反量化操作层，实时模拟量化误差，并通过反向传播将梯度差异反馈至网络参数，驱动模型自适应修正权重以补偿量化损失。经过少量迭代周期后，即可获得高精度的量化模型。特别地，针对聆思 LUNA 系列芯片的整数运算特性，linger 深度定制了取整策略与算子实现，保证了训练环境与芯片推理结果的严格一致性。
¶ 技术亮点
¶ 1.极简开发体验
- 无侵入式集成：仅需在现有PyTorch训练脚本中导入Linger库，通过数行API调用即可完成量化算子替换，沿用原始训练流程即可启动QAT；
- 弹性训练配置：支持动态缩减训练轮次与数据量，兼顾效率与效果，显著降低量化适配成本
¶ 2. 开放式扩展架构
- PyTorch生态兼容：基于PyTorch原生算子扩展规范构建，开发者可自由扩展新型量化算子，灵活适配各类定制化量化需求；
- 模块化设计：提供标准化接口与开发模板，便于快速集成第三方量化算法。
¶ 3. 工具链完整
- 训推一体闭环：量化训练完成导出的量化图作为 thinker 打包工具的输入，无缝衔接，自动将训练模型转换为推理友好结构，同时确保效果零损耗；
- 自动化部署套件：配套可视化工具链支持模型校验、编译优化与跨平台打包，达成“零代码”AI应用落地，确保端侧推理性能与训练指标高度一致。
¶ 
thinker 是 LNN 的通用推理引擎及配套工具集，通过模块化设计实现从计算图到芯片部署的全链路自动化处理。
¶ 引擎框架
thinker包括以下组件：
- 离线工具包：
- tpacker ：对量化计算图进行精简优化、权重转换、内存预分配等预处理任务，形成标准化中间表示
- tvalidator ：训练和仿真推理一致性比对工具，精准定位差异点
- tprofile ：性能仿真工具，给定onnx计算图，统计推理理论效率
- 轻量级运行时引擎：专注高性能推理执行，通过静态内存管理与硬件抽象层实现跨平台部署
功能模块示意图
¶ 核心技术优势
¶ 极简开发体验
- 离线工具包丰富，自动化程度高，支持各种一键式操作，正常情况下只需指定待处理计算图路径即可
- 零代码集成方案：引擎封装标准API接口，提供典型调用范例，典型场景仅需3步调用即可完成模型加载-推理-结果输出全流程
- 提供专业结果对比工具，轻松实现模型训练效果与芯片落地效果对齐
¶ 极致轻量化部署
- 双引擎协同机制：图优化器生成紧凑IR中间层，执行器仅保留最小必要运算单元，有效降低运行时负载
- 硬件亲和设计：执行器采用ANSI C编写，通过编译期链接选择适配目标平台，实现二进制级硬件优化
- 内存确定性保障：离线阶段完成全图内存拓扑分析，运行时采用静态内存池管理，消除动态分配开销
- 调试友好架构：单文件交付模式支持仿真/真实硬件环境秒级切换，异常定位效率提升80%
¶ 多模态兼容能力
- 异构模型支持：完整覆盖 CV/NLP/ASR 领域主流网络，原生兼容 ResNet/Transformer/LSTM 等 50+ 经典架构
- 动态计算图处理：支持多分支输入/变长序列/实时流式数据，具备自动Batch合并与算子重排能力
- 开放扩展接口：提供ONNX标准算子库（含32+量化类型），支持用户自定义算子注册与热插拔加载
- 跨平台统一性：源码级平台无关设计，通过编译脚本宏配置即可生成Linux/VENUS/ARCS/VENUA平台版本
¶ 大模型skill
- 模型辅助设计 Skill：用户给定 backbone 或基于特定模型结构，大模型结合内置硬件约束条件及工具链支持情况，对模型结构进行微调以规避芯片限制。
- 量化训练调参 Skill：自动进行量化模式选择、约束范围调整等，自动迭代直至量化效果相对浮点损失较小，Loss 收敛。
- 模型适配落地 Skill：自动进行离线打包，调整拆分阈值以解决内存超限问题。自动进行量化与仿真结果一致性比对。如果连接可用硬件，可自动比对仿真与芯片结果一致性。
¶ 交流与反馈
- 欢迎您通过 Github Issues 来提交 BUG 与建议
- 欢迎扫描以下二维码添加聆思助手进LNN交流群：
