范兴刚, 时雪刚, 廖思腾, 赵依依, 梁玉珠, 王田
大语言模型(LLM)参数规模的激增与边缘终端受限的物理资源间存在结构性矛盾,制约了其规模化落地。传统的云端集中式推理高度依赖网络传输,面临较高的通信延迟,难以满足自动驾驶、智能医疗等场景对极低延迟与严格数据隐私保护的双重诉求。然而,边缘物理硬件从微控制器到边缘网关,具有极大的异构性,云侧通用压缩方案难以直接平移。为此,本文立足于边缘设备的异构物理约束,系统性地综述了面向边缘侧的大模型高效压缩与软硬件协同部署技术体系。首先,本文剖析了模型量化、参数剪枝与知识蒸馏(KD)三大核心压缩技术在边缘场景下的底层机制。在量化方面,训练后量化(PTQ)虽具备部署敏捷性,但面临LLM长尾激活异常导致的表征坍塌难题;量化感知训练(QAT)虽具有一定鲁棒性,却受制于边缘重训算力匮乏的瓶颈。在剪枝方面,本文论证了结构化剪枝在受限访存带宽硬件上的实际能效优势,指出非结构化剪枝的高理论压缩率易被通用边缘芯片的索引寻址开销所抵消。在蒸馏方面,传统浅层参数对齐在跨越教师与边缘学生模型间的容量鸿沟时,存在特征丢失与偏见放大风险。综合来看,单一压缩技术在极端约束下已呈现出明显的边际收益递减效应。其次,为缓解单一技术的性能瓶颈,本文归纳了受模型架构与物理场景双重驱动的多级混合压缩范式。系统梳理了3类核心优化链路:追求较高物理压缩率的串行流水线策略,适配边缘网关的实时推理;面向能效与精度严格折中的深度耦合联合优化流程,将量化、剪枝与低秩分解置于同一框架内同步更新,适配功耗受限的移动终端;面向大参数模型部署的蒸馏驱动机制,利用教师先验引导结构重塑与量化。该多级范式有效拓展了模型规模、计算功耗与保真度之间的多维权衡空间。进一步地,面对跨度极大的算力与能耗阶梯,本文构建了"系统-模型-算子-指令"4层软硬件协同设计机制。明确指出协同优化重心需依据物理基座约束进行动态转移:系统级侧重云边环境的资源感知调度与任务分发;模型级依赖硬件感知架构搜索实现结构自适应;算子级推进跨层融合与访存局部性重构;指令级则聚焦特定微架构(如RISC-V)的定制扩展指令,以精准控制底层能耗。结合模型转换、编译重构与内存管理(如SwapNet)的全链条部署流程,该机制实现了压缩算法向底层物理执行的有效映射,提升了异构算力的综合利用效率。最后,本文前瞻性地指出了边缘智能轻量化领域的未来研究挑战。强调超低位宽(≤4 bit)的鲁棒性补偿机制、硬件自适应动态半结构化剪枝,以及对大模型深层逻辑推理的有效知识转移,是克服当前轻量化瓶颈的核心方向。同时,亟需依托深度学习编译器构建硬件无感的统一工具链,消除碎片化异构设备的部署壁垒。本文通过体系化的技术梳理,为发展低延迟且强隐私保护的边缘智能生态提供了坚实的理论支撑与参考指南。