大语言模型(LLM)参数规模的激增与边缘终端受限的物理资源间存在结构性矛盾, 制约了其规模化落地。传统的云端集中式推理高度依赖网络传输, 面临较高的通信延迟, 难以满足自动驾驶、智能医疗等场景对极低延迟与严格数据隐私保护的双重诉求。然而, 边缘物理硬件从微控制器到边缘网关, 具有极大的异构性, 云侧通用压缩方案难以直接平移。为此, 本文立足于边缘设备的异构物理约束, 系统性地综述了面向边缘侧的大模型高效压缩与软硬件协同部署技术体系。首先, 本文剖析了模型量化、参数剪枝与知识蒸馏(KD)三大核心压缩技术在边缘场景下的底层机制。在量化方面, 训练后量化(PTQ)虽具备部署敏捷性, 但面临LLM长尾激活异常导致的表征坍塌难题; 量化感知训练(QAT)虽具有一定鲁棒性, 却受制于边缘重训算力匮乏的瓶颈。在剪枝方面, 本文论证了结构化剪枝在受限访存带宽硬件上的实际能效优势, 指出非结构化剪枝的高理论压缩率易被通用边缘芯片的索引寻址开销所抵消。在蒸馏方面, 传统浅层参数对齐在跨越教师与边缘学生模型间的容量鸿沟时, 存在特征丢失与偏见放大风险。综合来看, 单一压缩技术在极端约束下已呈现出明显的边际收益递减效应。其次, 为缓解单一技术的性能瓶颈, 本文归纳了受模型架构与物理场景双重驱动的多级混合压缩范式。系统梳理了3类核心优化链路: 追求较高物理压缩率的串行流水线策略, 适配边缘网关的实时推理; 面向能效与精度严格折中的深度耦合联合优化流程, 将量化、剪枝与低秩分解置于同一框架内同步更新, 适配功耗受限的移动终端; 面向大参数模型部署的蒸馏驱动机制, 利用教师先验引导结构重塑与量化。该多级范式有效拓展了模型规模、计算功耗与保真度之间的多维权衡空间。进一步地, 面对跨度极大的算力与能耗阶梯, 本文构建了"系统-模型-算子-指令"4层软硬件协同设计机制。明确指出协同优化重心需依据物理基座约束进行动态转移: 系统级侧重云边环境的资源感知调度与任务分发; 模型级依赖硬件感知架构搜索实现结构自适应; 算子级推进跨层融合与访存局部性重构; 指令级则聚焦特定微架构(如RISC-V)的定制扩展指令, 以精准控制底层能耗。结合模型转换、编译重构与内存管理(如SwapNet)的全链条部署流程, 该机制实现了压缩算法向底层物理执行的有效映射, 提升了异构算力的综合利用效率。最后, 本文前瞻性地指出了边缘智能轻量化领域的未来研究挑战。强调超低位宽(≤4 bit)的鲁棒性补偿机制、硬件自适应动态半结构化剪枝, 以及对大模型深层逻辑推理的有效知识转移, 是克服当前轻量化瓶颈的核心方向。同时, 亟需依托深度学习编译器构建硬件无感的统一工具链, 消除碎片化异构设备的部署壁垒。本文通过体系化的技术梳理, 为发展低延迟且强隐私保护的边缘智能生态提供了坚实的理论支撑与参考指南。
区块链技术的迅速发展与加密货币的兴起不仅挑战了传统的金融和资产管理观念, 也带来了一系列隐私与安全方面的问题。加密货币混币技术作为区块链隐私保护的主要手段, 旨在提升交易的匿名性并保障用户身份的隐私。然而, 这种增强的匿名性也使得加密货币成为洗钱、盗窃、欺诈等犯罪活动的工具。因此, 亟须全面审视加密货币混币服务的识别、检测与监管技术的研究, 以支持执法机构并促进加密货币的安全合规。首先系统梳理了混币服务的技术原理与机制分类, 设计了一套通用的混币工具分类体系, 详细探讨了混币服务可能引发的犯罪活动; 接着重点讨论了基于人工规则、地址聚类、实体分类、异常交易检测和混币服务追溯5种混币监管技术的最新学术研究进展, 并总结了现有工业界中与混币监管相关的工具和平台; 最后提出了混币监管目前所面临的挑战, 为未来的研究方向提供展望。
近年来, 深度学习在计算机视觉以及语音信号处理等领域取得了重大成功。然而, 深度学习的飞速发展也带来了负面影响, 各类伪造视频、语音在网络上泛滥成灾, 一些不法分子利用深度学习技术替换原始视频的人脸、编辑面部属性、合成说话人语音、克隆语音, 通过制作色情视频、虚假新闻、政治谣言等造成社会动荡、混乱, 威胁个人利益、国家安全。为了消除这些负面影响, 众多学者从不同的角度提出解决方案。早期伪造主要集中于单模态伪造, 因此目前大多数解决方案侧重于单模态的伪造识别问题, 未能充分考虑音频和视频之间的内在联系, 然而现有的单模态鉴伪方式在处理音频与视频均被伪造的情况时常常表现出次优的识别性能。近期, 随着研究的深入, 部分学者开始探索使用多模态模型鉴伪, 取得了显著的成果。本综述首先回顾了视频、语音伪造及鉴伪技术, 收集整理了视频、语音、音视频伪造数据集, 然后总结归纳了多模态鉴伪方法, 最后对如今检测技术存在的问题和研究方向进行了分析并给出建议。
网络威胁情报(CTI)通过分析和预测网络威胁, 为网络安全防护体系的建设提供重要支持。信息抽取(IE)技术作为CTI领域的核心基础, 近年来在学术界和工业界受到了广泛关注, 尤其在威胁情报知识图谱的构建中, 其应用至关重要。面对不断演变的威胁类型和攻击手段, 精确的信息抽取能力对于提升网络安全防御水平具有决定性的影响。本研究首先系统性地回顾了CTI领域信息抽取技术的发展, 详细梳理并总结了信息抽取框架的关键构成要素; 然后将信息抽取方法归类为基于传统机器学习的方法、基于深度学习的方法以及基于大语言模型(LLM)的方法三大类别, 并对每类方法的特点、适用场景及研究进展进行了详尽的阐述; 最后对现有技术进行了定量分析和理论总结, 深入探讨了其在实际应用中的创新点和局限性, 同时梳理了当前领域面临的挑战, 并针对这些挑战提出了潜在的研究方向。通过对CTI信息抽取技术的全面综述, 本研究为该领域研究提供了一个全面的学术视角, 并为促进更高效、更智能的网络安全防护体系的发展提供了重要的理论基础。
对手建模作为多智能体博弈对抗的关键技术, 其目的为学习对手的行为以减少环境的不确定性并帮助决策。然而, 现有的对手建模方法大多采用离线训练加在线适应的结构, 在离线训练中采用传统神经动力学模型一步步预测受控智能体的行为, 容易形成单步误差进而形成累积误差, 且在在线适应中面对未知对手时, 亦会导致受控智能体计划状态偏离数据集分布。为解决上述问题, 提出基于扩散模型并利用交叉注意力和对手建立关联的方法。该方法利用扩散模型可以同时生成多步规划序列这一特点解决了累积偏差问题, 同时提出策略集的概念, 通过在线微调的方式不仅解决了计划偏离问题, 而且也解决了在线训练初始阶段会破坏离线策略的问题。在开放的密集奖励和稀疏奖励的竞争环境中的实验结果均充分证明了该方法卓越的性能。
近年来, 众多研究工作聚焦于类增量学习(CIL)领域, 其中一种常见的策略是在模型的初始化训练阶段结束后, 对特征提取器的参数进行冻结处理, 以此来维持已习得知识的稳定性。这种策略依赖于在初始训练阶段构建一个鲁棒的特征提取器, 然而在面对初始阶段数据量有限的场景时, 这种方法可能无法充分发挥其潜力, 导致增量学习效果欠佳。为了优化增量学习的初始训练环节, 应对初始阶段数据量有限的挑战, 设计了一套两步骤训练方法用于初始阶段的特征提取器训练, 称为基于类边界样本生成与微调的类增量学习初始阶段训练方法。该方法包括生成对抗训练和微调训练两个步骤。生成对抗训练采用生成对抗网络(GAN)来生成类边界附近的样本, 使用对比学习迫使类中心远离这些生成样本, 从而增强不同类别间的特征的区分度并提升模型的泛化表现。微调训练阶段结合交叉熵损失和自监督损失微调模型, 提升对初始任务基类的分类准确率。经过训练后的特征提取器用作其他增量学习方法的起点, 该方法在CIFAR-100数据集上50个基类5个增量任务设置下将FeCAM的平均准确率提升了3.8百分点, 将FeTrIL的平均准确率提升了2.2百分点。
在推荐系统中, 序列推荐旨在通过用户的历史交互序列来预测其未来兴趣。然而, 现有深度学习模型通常侧重于捕捉用户的长期行为模式, 而对时间信息的细粒度建模有所忽视, 从而限制了推荐效果的提升。为了解决这一问题, 提出一种结合全局与局部自注意力机制的方法, 通过分块处理用户交互序列并引入权重衰减机制, 根据时序距离为不同序列块分配差异化权重, 从而更精确地捕捉用户长短期兴趣的变化。然而, 这种方法会引入更多的参数, 增加模型的复杂度。虽然随机共享嵌入(SSE)技术能够减少参数量并缓解过拟合, 但其随机嵌入方式可能会引入噪声数据, 影响推荐结果的准确性。针对此问题, 提出一种结合生成对抗网络(GAN)与SSE技术的策略, 通过GAN生成符合用户兴趣分布的高质量交互数据, 并结合SSE中的随机替换机制进行数据增强, 在随机选择生成的数据时, 增加由GAN生成的高质量数据, 从而降低噪声引入的风险, 同时保留SSE技术在降低过拟合方面的优势。在MovieLens-1M、Amazon Beauty和Yahoo Music 3个公开数据集上进行实验, 结果表明, 所提出的方法在归一化折损累计增益(NDCG)、命中率(HR)以及平均倒数排名(MRR)指标上表现优异。
半监督文本分类使用少量标注数据和大量未标注数据训练文本分类模型。然而, 现有基于伪标签的方法存在由于决策边界欠拟合和伪标签偏差导致的误差累积问题。为此, 本文提出一个基于多粒度语义间隔损失的交叉标注模型。首先通过基于Transformer的双向编码器表示(BERT)预训练模型提取包含上下文信息的向量序列, 然后利用注意力网络和文本卷积神经网络(TextCNN)分别捕获全局语义特征和局部语义特征, 并将这两部分特征融合形成新的语义特征, 同时考虑不同类别之间的语义相似性, 以在特征嵌入空间中将相似类别的样本分开, 从而减轻误差累积的影响。最后, 增加一个与类别相关的间隔, 通过自适应局部阈值学习得到的伪标签样本与间隔进行正负样本损失计算, 使每个类别样本在嵌入空间形成高密度分布, 从而缓解决策边界的欠拟合。实验结果表明, 该模型能够有效融合多粒度语义信息, 生成高内聚伪标签样本, 提升半监督文本分类的性能。
事件抽取是信息抽取领域中的一项重要任务, 其目标是从自然语言文本中识别并提取出特定的事件或事实信息。事件重叠是事件抽取任务的一个关键问题, 即同一个词语可能充当不同事件类型的触发词或者在不同事件中扮演不同的角色。目前的重叠事件抽取方法往往未能充分考虑论元角色之间的关联关系, 这在一定程度上影响了事件抽取的效果。针对事件抽取领域的事件嵌套挑战, 提出一种基于论元关联图(AAG)的级联类型事件抽取模型(AAGCTEE)。AAGCTEE依托XLM-roberta-base实现深度编码, 并通过条件层归一化及空洞卷积技术优化词对间的表征。在触发词识别模块中, AAGCTEE的级联类型预测器(CTP)能够精准辨识多类事件相关的触发词, 有效解决了传统事件抽取中常见的触发词嵌套难题。在论元识别分类模块中, AAGCTEE借助AAG和全局归一化解码(GND)策略, 高效处理了复杂的嵌套论元结构。AAGCTEE的触发词识别(TI)、触发词分类(TC)、论元识别(AI)、论元分类(AC)的平均F1值在中文数据集DuEE、FewFC与英文数据集PHEE、CASIE上均表现出色, 分别比表现最佳的对比模型平均高4.12、0.17、13.66和0.98百分点。相较于去除CTP、AAG和GND的消融实验, AAGCTEE在上述4个任务的平均F1值上平均提高了5.56、5.31和5.08百分点, 验证了AAGCTEE在提取复杂事件方面的有效性。
时序数据异常检测在金融、医疗、工业监控等领域具有重要意义, 然而, 传统方法在处理时序数据时常常面临特征提取能力有限、泛化能力差且实时性不佳等挑战, 甚至忽视了数据之间的时序关系。为充分考虑数据的时间依赖性, 进一步提高时序数据异常检测能力, 提出了一种无监督时序数据异常检测方法β-VAE-BiLSTM。首先, 在重新设计变分自编码器(VAE)模块网络结构以使其更适用于数据重构异常检测任务的基础上, 通过引入超参数β控制证据下界中KL(Kullback-Leibler)散度项的权重, 从而增强编码器模块对于潜在空间的解耦性和表达能力, 获取更有力的数据潜在表示。然后, 采用双向长短期记忆网络(BiLSTM)模块估计潜在表示的长期相关性, 捕捉其前向和后向的依赖关系, 并对其进行时序预测。最后, 对预测结果进行平均融合并重构解码器, 从而计算重构误差, 通过网格搜索最优阈值来检测时序异常。实验结果表明, 该方法在多个公开时序数据集上具有优越的异常检测性能, 能够有效提取时间相关的复杂数据特征, 实现高效计算和实时异常检测, 识别异常点和异常区域, 提高了检测精确率和鲁棒性, 减少了误报和漏报。
多行为推荐已经成为个性化推荐任务的研究热点。针对现有多行为推荐模型存在前后行为信息传递偏移, 以及样本间区分度较低的问题, 提出了一种基于跨行为特征正则化和交互对比学习的多行为推荐模型(CBFRICL)。根据前后行为特点差异, 采用跨行为特征正则化, 改进行为间特征传递机制, 过滤前一行为传递的冗余信息, 降低前后行为的强制依赖性, 保持行为间信息的多样性与相对独立性, 利用正则项约束模型的学习过程, 防止传递过程中特征相互干扰导致信息失真, 进而缓解级联图卷积神经网络(GCN)结构中的误差累积。根据用户-项目交互的空间分布规则, 提出交互对比学习方法, 利用用户交互历史信息生成正负样本对, 在特征空间中拉近正样本距离, 推开负样本, 辅助模型界定样本边界, 同时增强特征空间的样本聚类效应, 捕捉每个用户的个性化偏好, 提升项目推荐的准确性。实验结果表明, 在公开数据集Tmall、Beibei和Jdata上, CBFRICL相较于CRGCN模型, HR@K和NDCG@K指标最低提升了4.88%、1.58%。
为了解决众包任务推荐存在的数据稀疏问题和提高众包任务推荐的准确性, 本文提出了一种基于协同知识图谱与混合神经网络的众包任务推荐方法。首先, 利用任务实体对齐融合工人-任务二分图与众包任务知识图谱, 形成工人-任务协同知识图谱, 以缓解数据稀疏性的问题; 其次, 采用双向门控循环单元(BiGRU)编码工人和任务之间的多条路径, 在考虑路径之间关联性的情况下利用注意力机制将编码多条路径得到的信息加权聚合, 以更准确地学习工人的偏好, 从而更加准确地推荐众包任务; 同时, 采用图卷积网络捕捉众包任务间的高相关性来充分考虑实体复杂的语义信息; 最后, 根据得到的工人和任务的嵌入表示向工人综合推荐。在MovieLens-1M、Yelp、Book-Crossing、Music、Zhu-Bajie和CHI 6个公开数据集上的实验结果显示, 与基准模型相比, 本文所提方法在ROC曲线下面积(AUC)指标方面平均提升了5.8%、7.85%、5.75%、6.3%、5.47%和4.58%, 在其他指标方面本文模型也均有提高。实验结果证明了本文方法的有效性与稳定性, 可以为众包任务推荐领域提供一个研究思路。
准确的交通流预测对城市交通至关重要, 而交通流中的异常事件(如恶劣天气、紧急道路状况等)导致的异常交通流, 对现阶段交通流模型预测的准确性提出严峻挑战。现有的交通流预测模型大多难以有效捕捉交通流数据的复杂动态模式, 且计算资源开销较大。为了解决这些问题, 本文提出一种用于异常交通流预测的时空生成对抗聚类图卷积网络(CG-STGAN)。构建一个基于时空生成对抗网络的模型, 其中, 生成器用于捕捉并模拟正常交通流数据, 鉴别器则对比生成数据与原始数据, 判断其是否异常。通过对抗训练, 生成器和鉴别器协同提升了异常交通流的检测能力。此外, 提出聚类图卷积网络, 将交通图分解为多个子图, 以限制图卷积的邻域扩张, 从而降低内存使用并提高预测准确性。最后, 结合图卷积门控循环单元挖掘交通流的短期时空特征, 并通过长短期记忆(LSTM)模块学习交通流的长期依赖。实验结果表明, 与基线模型相比, CG-STGAN在异常交通流预测方面表现出最佳性能。
目前, 关于降水空间插值的深度学习方法仅依赖站点之间的位置关系, 忽略了区域内特征的有效表示以及复杂特征依赖关系, 尤其对降水与高程之间的关系考虑不足。为此, 提出地理先验嵌入的降水空间插值方法GeoPriFormer。该方法以Transformer作为主干网络, 通过引入地理先验数据来增强特征表示能力, 从而提高降雨空间插值的精度和可靠性。一方面, 引入高程-多头注意力子模块以提高模型对复杂地形影响的理解和适应能力; 另一方面, 使用拉普拉斯方法来学习地理坐标的上下文感知向量编码, 以增强模型对地点关系和区域特性的理解, 最终形成一个嵌入地理先验的特征表示。在河南、京津冀和德国的巴登-符腾堡州(BW)数据集上进行对比实验, 结果表明, GeoPriFormer均优于基线模型。以京津冀数据集为例, 均方根误差(RMSE)降低1.6%, 平均绝对误差(MAE)降低5.1%, 纳什效率系数(NSE)提升1.56%, 优于当前主流方法。
在临床医学领域, 患者组织切片的病理学分析是评估复杂疾病的金标准。传统的超分辨率(SR)方法在处理病理图像时, 常因无法有效捕捉图像中的细微结构和纹理导致重建效果不佳。为解决这一问题, 提出一种基于并联注意力机制的超分辨率生成式对抗网络算法(PASRGAN)。该算法通过通道和空间注意力机制的并联运行, 有效解决了传统注意力机制的信息分散问题。此外, 引入特征分组和通道混洗(shuffle)策略, 在保持低计算开销的前提下提升特征多样性, 从而显著提升病理图像的重建性能。鉴于现有的病理图像超分辨率研究大多是在模拟数据集上进行的, 无法完全揭示现实图像超分辨率的挑战, 因此基于Camelyon16数据集构建真实低分辨率(LR)与高分辨率(HR)图像对, 验证算法在病理图像超分辨率任务中的优越性。实验结果表明, 与当前超分辨率算法(如ESRGAN、CWT-Net、Histo-Diffusion和URCDM)相比, PASRGAN的峰值信噪比(PSNR)、结构相似性系数(SSIM)和感知指标(PI)分别达到25.33 dB、0.665 9和5.14, 均优于对比算法。同时, PASRGAN的参数量和浮点运算次数(FLOPs)分别为1.08×107和4.89×109, 显著低于传统方法, 验证了其在计算效率上的优势。消融实验进一步验证了并联注意力机制、shuffle操作以及生成器和判别器结构的有效性。
Transformer模型凭借其出色的全局信息捕获能力和强大的表示能力, 被广泛应用于医学图像分割领域, 并取得了显著成效。然而, 这些方法在对图像进行序列化时, 会将图像分割成固定大小的块, 仅提取单一尺度的全局特征, 在一定程度上割裂了图像的语义特征, 最终导致分割精度不佳。为此, 提出一种多尺度自注意力Transformer架构(MultiFormer)。首先, 采用连续卷积和下采样模块对图像进行处理; 然后, 使用多尺度卷积投影模块来替换原来的1×1投影模块; 最后, 在自注意力模块生成的特征图中引入可变形卷积。与传统Transformer图像序列化过程相比, 这种连续卷积在产生相同分辨率的特征时, 有效增大了感受野, 保留了二维(2D)图像的空间相关性, 避免固定位置和大小的图像块带来的语义信息损失。同时, 多尺度卷积投影模块利用4种不同大小的卷积核捕捉图像中的上下文信息, 并通过通道拼接实现多尺度特征融合, 反映了不同尺度下局部与局部间的注意力, 而不仅限于单一尺度, 实现了模型对不同尺度语义信息的聚合能力, 进一步减轻了语义割裂问题。此外, 可变形卷积通过引入一个额外的卷积层来学习并生成偏移场, 使得卷积核能够灵活调整其形状, 以适应图像中形态多变的病变或器官, 提升模型对复杂医学图像的处理能力。将该模块分别插入到SETR、TransUNet、TransFuse这3个网络结构中, 并在ACDC心脏数据集和ISIC 2018皮肤病变数据集上进行实验, 结果表明, Dice系数分别提升了3.63、1.06、2.30百分点和1.22、2.31、3.01百分点。MultiFormer具有即插即用性, 能够方便地集成到各种下游医学图像分析任务中。
实时语义分割作为计算机视觉领域的核心任务之一, 在无人驾驶、交通管控等诸多方面均发挥着极为关键的作用。现有基于编码器-解码器结构的实时语义分割算法通常通过牺牲分割精度来达到实时效果, 然而, 这类算法为了保证实时性, 其感受野通常较小, 从而导致对道路场景中的大尺度物体分割效果较差。为此, 基于编码器-解码器结构, 提出一种针对道路场景的实时语义分割算法。首先, 在特征提取阶段设计一个多尺度特征融合(MFF)机制, 对较大尺度内的感受野特征进行有效融合, 提升对大尺度物体的分割效果; 然后, 在编码器末端融入一个极化自注意力(PSA)机制, 增强大尺度感受野中的局部感知, 进一步提升对大尺度物体的分割效果。在数据集Cityscapes与Camvid上进行测试, 实验结果表明, 采用单个NVIDIA RTX 3090 GPU时, 该算法在43.5帧/s和91.2帧/s的帧率下分别取得了80.6%和81.1%的平均交并比(MIoU), 相较对比算法获得了更高的分割精度。
密集行人检测是大型公共场所人流监控系统发展的关键问题之一。针对密集行人检测场景中由于人群遮挡导致的小目标检测困难以及模型轻量化的部署需求, 提出一种改进YOLOv8-n的密集行人检测模型CAD-YOLO。嵌入CGDown下采样模块, 通过高效的上下文信息提取机制, 有效缓解传统目标检测器在处理密集场景时上下文特征易丢失的问题, 显著增强模型对密集行人特征的捕获能力以及对小目标的聚焦性能。设计一种BiFPN-Adaptive结构并重构颈部网络, 通过自适应融合不同尺度的特征信息, 使模型在提取被遮挡行人及中小型目标行人特征时更加精准, 同时大幅减少模型的参数量与计算成本。引入动态检测头Dyhead, 结合新增的160×160尺度的小目标检测层, 使模型能够更加精确地捕获密集小目标区域的细微特征, 从而有效缓解遮挡场景中的漏检问题。实验结果显示, 相较于YOLOv8-n, CAD-YOLO在Crowd Human和WiderPerson数据集上检测精度分别提升5.1和2.1百分点。同时, CAD-YOLO的参数量为2.9×106, 模型计算量为12.3×109, 能够满足在边缘设备或移动设备上部署时对低功耗、高精度的要求。
基于融合的RGB-D显著性物体检测(RGB-D SOD)方法通常采用双流结构在RGB和深度图之间进行权衡, 目的是使得SOD性能优于单独使用RGB图时的性能。然而, 深度图因场景、拍摄设备等因素的影响而存在质量差异, 低质量的深度图无法有效辅助RGB图像进行显著性检测, 甚至可能产生负面影响。现有方法很少考虑深度通道的质量差异, 导致低质量深度区域的干扰信息被不合理地融合, 从而影响结果的准确性。为解决以上问题, 提出一种基于细粒度深度质量感知的RGB-D SOD方法, 该方法主要分为2个阶段, 即细粒度深度质量感知和双线性路由融合。在第一阶段, 通过细粒度地比较RGB和D分支的显著性结果与伪标签(PGT)的相似性差异, 对深度通道进行质量感知; 在第二阶段, 基于不同深度区域的质量感知结果, 设计一种新的双线性路由融合策略, 路由方向由深度通道质量感知结果驱动, 以实现比现有融合方案更有效的多模态互补结果。在NJU2K、NLPR、SIP和STERE数据集上, 将所提方法与9种SOTA方法进行比较, 结果表明, 所提方法在评价指标上都优于当前最先进的模型。相比于性能次优的模型, 该方法的S-measure指标平均提升0.6%, F-measure指标平均提升0.7%, 平均绝对误差(MAE)平均降低0.4%。所提方法显著减少了低质量、无贡献甚至负影响的深度区域对结果的影响, 实现了更优的多模态融合, 提升了显著性检测的效果。
皮肤病变图像因病变区域边界模糊、尺寸变化大、形状不规则等特性, 显著影响分割算法的准确性。针对该问题, 提出一种结合特征学习和边界引导的皮肤病变图像分割网络。首先, 构建基于卷积神经网络(CNN)和Transformer的双重特征编码模块, 学习皮肤病变图像的全局-局部特征; 然后, 采用专家标注的真值监督学习指导生成皮肤病变边界窗口, 对病变区域进行边界特征增强; 最后, 通过引入边界引导解码机制, 融合学习到的全局-局部特征和边界增强特征, 进行皮肤病变图像分割, 优化分割结果的边界清晰度和整体精度。在ISIC 2018和ISIC 2016数据集上的实验结果表明, 该方法在ISIC 2018数据集上的交并比(IoU)、特异性和准确率相比CTO分别提高2.88、1.25和0.27百分点, 在ISIC 2016数据集上, Dice系数和IoU分别提高1.66和6.02百分点, 并在所有评估指标上均取得最优结果。所提分割网络在复杂背景及模糊边界病变的分割任务中表现出卓越性能, 不仅能够精准分割病变区域, 还能有效处理复杂背景下的边界模糊问题, 为皮肤病变图像分割提供了一种高精度的解决方案。
现有的数字签名方案在电子商务、金融交易、医疗系统等场景中广泛应用, 但无法在保持签名不变时对已签名的消息内容进行修改, 而重复进行签名操作会提高复杂性和延迟。对此, 提出一种基于SM2算法并支持门限修改的数字签名方案SM2-TM。该方案支持以门限的方式协同修改已签名的消息内容, 并通过参数控制与构造哈希碰撞来实现签名的不变性。此外, 它有效解决了复杂的证书存储和管理以及密钥托管问题。隐私与安全性分析结果表明, SM2-TM方案具有不可伪造性、不变性、可追踪性等。性能分析结果表明, SM2-TM方案在计算开销上具有一定优势, 在公/私钥及签名的存储开销上也有显著优势, 存储开销分别仅为64、32和64 Byte。
为解决人脸识别技术中隐私保护与识别性能间的矛盾, 提出一种结合生成和嵌入网络的人脸隐私保护识别方法。首先利用卷积神经网络(CNN)生成模型对人脸图像像素值进行随机扰动, 生成无法被人类视觉识别但可由特定深度神经网络识别的失真人脸图像, 形成可撤销人脸模板; 随后通过预训练的FaceNet嵌入网络模型提取特征进行识别。在训练过程中, 为保证人脸模板的可识别性, 在生成网络模型中利用残差结构, 从原始图像中有效地提取关键特征, 增强图像的表现力, 并在一定程度上减少信息丢失。为增大原始图像和生成图像之间的差异并提高生成图像的多样性, 引入生成混合损失函数和多样性损失函数。为提高识别准确率, 利用改进的三元损失函数来优化模型。研究结果显示, 该方法不仅提升了人脸模板的隐私安全性, 还通过多样性损失函数增强了生成图像间的差异性, 提高了模型鲁棒性。在Aberdeen、GT和LFW数据集上的实验结果表明, 改进的三元损失函数在余弦嵌入空间中获得了更具代表性的特征表示, 识别准确率分别达到了99.87%、99.29%和98.59%。
量子计算机的发展威胁到了现有公钥密码系统的安全性, 为防止"先存储后解密"的攻击, 现有公钥密码系统向后量子密码系统迁移迫在眉睫。基于理想格构造的Aigis-sig数字签名方案和Aigis-enc密钥封装方案是我国密码算法设计竞赛一等奖作品, 具有抗量子攻击的优势。为了使Aigis-sig和Aigis-enc能够在有限的硬件资源中高效应用, 对两个系统的代码进行整合, 提高资源利用率。在硬件模块上设计两组蝶形运算器, 通过流水线操作大幅提升快速数论变换(NTT)的计算效率。在此基础上, 提出Aigis-sig方案和Aigis-enc方案的软硬件协同实现方法。经实验测试, 该方案相较于纯软件实现有可观的性能提升, 其中, ROM空间占用降低65%, 数字签名和验签的平均运行时间分别缩短29%和11%, 密钥封装和解封装的平均运行时间分别缩短13%和21%。
深度神经网络语言模型在应用过程中容易受到对抗样本攻击, 对此, 通常在原始样本中添加微小扰动生成对抗样本, 以误导模型做出错误决策。通过研究对抗样本的生成方法, 可以发现并评估模型的鲁棒性缺陷。现有的中文对抗样本生成方法大多关注如何提升对抗样本的攻击成功率, 而忽略了对抗样本的隐蔽性等质量指标。为此, 关注中文文本对抗样本生成技术, 结合中文在字形结构和语义特征方面的独特性, 提出一种结合汉字字形和语义信息的多级对抗样本生成方法CMSPSO。CMSPSO通过利用粒子群优化(PSO)算法, 在预先设计的替换知识库中搜索合适的替换组合以生成对抗样本。其中, CMSPSO-M结合汉字的多语言形近字特征, 通过训练的孪生神经网络(SNN)计算形近字相似度, 构建高质量的视觉替换字知识库, 以生成字符级对抗样本; CMSPSO-S基于HowNet和WordNet构建语义替换词知识库, 以生成词级对抗样本, 并通过攻击效果和攻击代价指标进行评估。实验结果表明, CMSPSO在多个模型和数据集上均展现出显著的攻击效果, 尤其在XNLI数据集上, CMSPSO-M对RoBERTa模型的攻击成功率达到84.22%。此外, 在攻击代价指标方面, CMSPSO也表现出明显优势, 整体性能优于基线方法。
随着互联网平台的快速发展, 推荐系统在提供个性化服务的同时, 依旧存在由托攻击行为产生的推荐准确度下降问题。现有的托攻击检测算法大多以一个或几个评价指标从用户评分差异的视角进行评估, 且较少考虑用户选择项目的偏好相关性, 导致对用户行为特征建模不够全面, 易造成检测误判率较高或适用攻击模式较少。针对这一问题, 提出一种多视角特征融合的托攻击检测(MVFF-SAD)算法。根据变分自编码器(VAE)在获取用户评分潜在特征与分布特征的基础上, 从评分长短期依赖、概率密度分布的视角学习用户概貌的时空分布特征, 结合用户历史偏好相关性, 利用神经网络模型进行多视角特征融合, 形成具有综合检测能力的用户概貌表示, 以提升托攻击检测精度。实验结果表明, 所提算法对虚假用户的检测精度有较大提升, 在大多数情况下均能达到95%以上。在不同填充率和不同攻击规模下, 该算法对托攻击行为均具有较好的检测效果, 且具有较好的鲁棒性。
深度神经网络(DNN)容易受到对抗样本的攻击, 在干净图像中添加微小扰动就使分类器产生错误分类。基于决策的攻击是一类只依赖目标模型预测硬标签输出的黑盒攻击, 将目标模型视为黑匣子, 攻击时只需对目标模型结果进行查询, 而无需了解模型内部结构和参数信息, 这种特性对现实世界的应用程序构成了严重的威胁。目前, 基于决策的攻击方法通常利用梯度估计在目标模型决策边界附近发动攻击, 但需要高昂的查询代价且生成的对抗样本质量效果不佳, 失真较为严重。由于图像在频率空间中的低频信息能够有效表征其重要特征, 在低频空间执行决策攻击, 不仅有助于降低查询次数, 还能生成高质量的对抗样本, 因此提出一种基于圆几何性质的黑盒攻击方法CBA。该方法利用离散余弦变换(DCT), 选择在频率空间中进行攻击, 低频信息在其决策边界附近根据圆的几何性质不断迭代得到低频空间中的对抗样本。最后, 逆离散余弦变换将其变换回输入空间, 可以避免梯度估计, 在保证攻击成功率的同时显著减少查询次数。在ImageNet数据集上的实验结果表明, CBA在查询量分别为500、1 000、2 000次的情况下, 生成对抗样本的攻击成功率均比最新利用决策边界的几何性质的黑盒攻击方法高。同时, CBA在相同查询量不同约束条件下, 也具有更高的攻击成功率。因此, CBA减少了生成对抗样本所需的查询量, 生成的对抗样本失真更小, 图像质量更佳, 除此之外, 还在现实世界模型中测试了CBA的有效性。
场景要素是理解城市地理信息的核心, 准确提取场景要素对于智慧城市建设和地理信息系统发展至关重要。为应对街景图像场景的复杂性、现有视觉深度学习模型在理解复杂场景和要素方面的局限性, 以及视觉信息与上下文关联的挑战, 提出了一种基于大型多模态模型(LMM)的典型街景场景要素提取方法。首先, 基于LLaVA(Large Language and Vision Assistant)模型引入多层感知机(MLP)和高分辨率视觉编码器, 构建GeoLLaVA模型; 其次, 针对街景场景要素提取任务构建街景视觉-指令跟随数据集, 提供多维度指令, 通过视觉指令微调模型, 增强其对复杂街景场景的上下文理解, 同时, 引入低秩自适应(LoRA)技术降低计算资源需求; 最后, 通过GeoLLaVA模型生成街景图像的多维度场景描述, 并提取关键词以获得典型场景要素。在与语义分割、目标检测及其他多模态模型的对比实验中, GeoLLaVA表现出了显著优势, 在交通信号灯、交叉路口和停车场要素提取任务中分别取得了0.938、0.842和0.829的F1值。模型微调前后的对比展现了微调的有效性。消融实验进一步验证了GeoLLaVA改进结构对性能提升的贡献以及LoRA在降低计算资源消耗方面的有效性。区域应用实验通过批量推理特定区域的街景图像, 提取要素并结合地理位置进行可视化展示, 与开放街景地图(OSM)数据对比, 验证了模型的准确性并揭示了OSM在提供要素信息方面的不足。
针对传统单模态命名实体识别(NER)方法在处理多模态信息时的局限性, 提出一种基于语义联合的跨模态NER方法。不同于传统的预训练语言模型加条件随机场(CRF)的方法, 提出方法将图片信息引入NER任务, 并结合了图片所表达的语义。首先介绍了NER任务的研究现状; 然后详细说明了提出框架的图像文本语义联合模块和双向跨模态匹配模块, 其中, 图像文本语义联合模块根据文本对应图像所体现的语义生成文字表达, 并与原有的文本信息联合形成新的文本序列, 双向跨模态匹配模块利用新生成的文本序列与图像进行跨模态匹配, 这种联合图像语义和文本后进行跨模态匹配的方法不仅可以提高NER的准确性, 还能够丰富命名实体的语义表示; 最后在标准数据集(Twitter-2015、Twitter-2017)上进行对比实验和消融实验验证, 结果证明了提出方法在NER任务中的有效性和优越性, 为多模态数据中的NER任务提供了新的思路和方法。
针对现有弱监督时序动作定位(WTAL)研究存在的未充分利用动作的时序特性、全局特性和动作语义一致性等问题, 提出视频文本语义对齐与全视频依赖的方法(FVD-ALM), 充分利用多源信息以提升动作定位的准确性和鲁棒性。首先, 依托膨胀卷积扩大模型的感受野, 结合注意力机制对视频内动作的变化实施精确的特征强化, 确保获得准确的时序特征, 捕捉动作的动态变化。随后, 采用基于高斯混合模型(GMM)的期望最大化(EM)算法提取并强化视频中的全局信息, 生成精确的时序激活图, 理解视频的整体内容, 辅助动作的定位过程。最后, 设计视频文本语义对齐模块, 结合动作标签中的文本信息全面理解动作, 训练模型补全描述动作的文本信息, 增强模型对动作类别一致性的认知并有效区分不同动作类别。实验结果表明, 在THUMOS14和ActivityNet1.3这两个主流数据集上, 该方法均有效, 其中在THUMOS14上实现了39.1%的均值平均精度(mAP), 比DTRP-Loc方法提高了2.0百分点, 证实了结合多源信息的方法能够显著提高动作定位的准确性, 为WTAL任务提供了一种有效的解决方案。
多模态关系抽取(MRE)方法通过利用多模态信息辅助关系抽取任务。现有MRE模型要达到良好的关系抽取效果, 通常需要在大量标注数据的基础上进行有效训练, 然而在少样本情况下却表现不佳。针对上述问题, 本文充分利用关系标签中丰富的语义知识和先验知识, 提出一种新的提示调优分层网络。首先, 设计实现基于知识注入的文本提示模块, 具体来说, 通过利用关系标签中隐含的实体信息, 引入虚拟实体类型词构建提示模板, 使模型可以感知样本中潜在的实体类型范围, 并利用上下文对引入的虚拟关系答案词进行不断优化, 以表达最佳的语义信息, 从而提升模型在少样本情况下的性能。其次, 利用实体对与关系之间的相互制约关系, 设计实现实体-关系协同优化模块, 以进一步提升关系抽取效果。最后, 在文本编码器的每个自注意力层中, 通过引入基于视觉前缀的注意力机制, 将分层的多尺度视觉特征与文本信息深度融合, 从而生成更加有效且鲁棒的文本表示, 显著降低模型对错误的敏感性。在多模态神经关系抽取数据集(MNRE)上的实验结果表明, 该模型的精确率、召回率、F1值分别达到84.97%、83.91%与84.43%, 较基准模型均有一定提升, 特别是在少样本情况下, 本文所提模型显著优于基准模型, 展现出良好的关系抽取效果。
随着城市轨道交通能耗日益剧增, 如何提高再生制动能量利用以降低列车运行能耗成为关键。聚焦多列车协同运行过程的追踪列车运行控制策略优化问题。首先, 在传统运行工况演变策略的基础上, 针对追踪运行场景提出"牵引-惰行-牵引-巡航-惰行-制动(TCTCCB)"策略; 其次, 构建空间域列车动力学模型、状态转移方程以及能耗模型, 并应用插值法将时域的运行协同问题转变为空间域的工况转换点求解问题。随后, 构建以运行能耗与准时性为目标的优化决策模型, 并结合蜣螂优化(DBO)算法进行高效求解。最后, 以北京地铁亦庄线为仿真线路, 对比分析了基于通信的列车控制(CBTC)与列车自主控制(TACS)架构以及不同演变策略对优化效果的影响。实验结果表明, 相较于CBTC架构, TACS架构显著提升列车协同运行优化效果, 所提策略在满足准时性需求的同时, 在不同发车间隔下的能耗表现均优于传统策略, 列车净吸收能耗最多可提高14.651 kWh, 真实运行能耗最多可降低11.284 kWh。因此, 所提出的工况演变策略与优化求解方法可有效改善列车运行能耗, 对城轨列车运控技术发展具有一定借鉴意义。
随着自动驾驶和智能城市的快速发展, 精确的道路点云分割和重建成为关键技术需求。为解决传统分割方法在处理复杂道路几何形态时的局限性, 并充分发挥倾斜摄影技术快速生成真实场景点云模型的优势, 提出一种新的分割优化方法。该方法通过引入连通性指标指导的自动化调优策略, 结合基于法向量、曲率等特征的局部编码模块, 增强语义分割网络捕捉复杂道路几何特征的能力, 从而提高分割精度, 并增强道路结构的整体连续性。同时, 提出一种基于道路中线提取与修复的迭代分割优化策略, 一方面将补足倾斜摄影点云无法避免的空洞点云问题, 转换为道路中线的识别及修复、道路宽度估算等相对易解决的问题, 在此基础上, 优化现有道路中线提取算法, 解决传统算法存在的道路变形、不完整等问题; 另一方面, 创新性地将道路中线及道路宽度作为先验知识, 辅助点云语义分割模型进行更高精度的道路提取。最后, 设计一整套道路程序化生成的流程方案, 可用于自动稳定地复原具有不同类型路口的复杂道路模型。实验结果表明, 所提方法具有较优的重建效果, 为道路点云处理技术的进步提供了新的思路与应用价值。
空域交通复杂度是影响民航运行效率和安全的重要因素。为了进一步提高空域交通复杂度的评估精度, 提出一种基于多尺度空域交通时空图像和深度度量学习的复杂度评估方法。具体而言, 将交通流数据以像素点的方式填充到网格化的目标空域图像中, 并在时空两个维度进行插值, 以充分捕捉交通流在时间和空间上的动态变化, 最终生成20组不同尺度的空域交通时空图像集; 接着, 提出一种基于深度度量学习的空域交通复杂度评估模型, 该模型以多尺度空域交通图像集作为输入, 使用排序代理锚损失函数优化样本在高维嵌入空间的距离分布, 使同类样本之间的距离更紧密, 而异类样本之间的距离更分散; 最后, 利用分类器对空域交通复杂度进行5个等级的评估。实验采用了中南空域的实际交通数据生成多尺度时空图像集, 并进行了一系列对比实验。实验结果表明, 空域交通图像集的时空尺度对评估结果有重要影响, 与其他评估方法相比, 所提方法能够显著提高空域交通复杂度评估的准确率。
由于病变分期标准存在模糊性, 不同诊断专家可能会得出不同的诊断结果, 导致实例标签的噪声, 即标签准确性受到观察者差异的影响。深度学习依赖于数据的质量, 而这些带有噪声标签的数据往往会导致模型性能下降。为应对尘肺病分期中噪声标签带来的挑战, 提出一种双分支动态样本选择策略。该方法通过在模型的关键层引入Monte Carlo Dropout(MC-Dropout), 在关键层进行多次前向传播进行不确定性估计预测结果, 同时将模型的预测概率与高斯混合模型(GMM)相结合洞察样本的特征空间分布, 最终实现可选择的不确定性估计分支和高斯混合模型特征分布预测(FDP-GMM)分支。然后为每一个分支中每一个样本数据设立一个阈值, 阈值随着模型训练的推进动量更新, 最终依据该动态样本选择模块进行样本划分和差异化约束, 减小噪声样本对模型的负面影响。在临床收集的尘肺病X光数据集上进行评估, 实验结果表明, 该方法在5%、10%、20%以及40%实例噪声比下的性能显著优于同类方法, 证明其在噪声标签学习中的有效性和鲁棒性。
面对日益增长的集装箱吞吐量, 如何高效地管理和调度码头资源, 成为提升码头竞争力的关键所在。以自动化集装箱码头堆场为研究对象, 针对出口箱的箱位分配和场桥调度问题, 提出一种基于深度强化学习(DRL)的优化方法。对集装箱码头堆场作业系统进行全面分析, 构建一个多目标优化模型, 该模型以减少场桥作业时间、集卡等待时间和箱区翻箱量为主要目标, 同时兼顾场桥间的安全距离和作业量均衡等约束条件。为了降低模型求解的复杂性, 提出基于DRL的Actor-Critic算法。设计不同规模的算例, 通过与遗传算法(GA)的结果和CPLEX的精确解之间的对比分析, 展示Actor-Critic算法在求解速度和解的质量上的优势。实验结果表明, 该算法在小规模问题上能够快速准确地求解, 在大规模问题上也能获得近似最优解, 且在大规模问题的求解上, 相较于GA展现了显著的优越性。通过对比实验, 进一步探讨了场桥数量和分区平衡混堆策略对优化结果的影响。分析结果表明, 分区平衡混堆策略在均衡场桥作业量、减少场桥空闲时间方面优于传统堆存策略。
医疗结构化数据在现实医疗体系中应用广泛, 由于其特殊性, 通常具有多源异构、存在大量潜在候选特征等性质, 表现出不规则的数据模式, 对神经网络的特征处理过程提出了挑战。因此, 提出一种类Transformer架构的特征嵌入级循环定向特征处理网络RDFP-NET, 其拥有良好的特征组织模式, 直接对采集的原始医疗数据进行端到端处理, 能够充分利用有效信息并摒弃不利特征的负面影响, 并通过循环结构关联上下文特征信息, 进一步改善网络任务性能。RDFP-NET主要包括: 一种非线性特征嵌入方法; 一个排序特征交互模块, 通过计算各特征的信息值和特定掩码操作, 在普通注意力机制中纳入归纳偏差, 实现不同贡献值特征间的定向信息流动和特征交互; 一种过滤特征选择模块, 通过对ELU激活函数的调整, 以类似过滤器的方式对冗余特征进行舍弃; 一个包括两种模块的循环结构, 实现良好的数据拟合和上下文特征信息流动, 并逐步处理特征的不规则模式。在包含两种不同目标任务的5个数据集上进行实验, 结果表明, RDFP-NET取得了2.2的最优平均排名和0.75的排名标准差, 显示出优秀的任务性能及稳定性, 能够为医疗工作者带来更有效的临床决策辅助信息。