群体智能是国家《新一代人工智能发展规划》提出的5个趋势方向之一, "群体智能是如何涌现的"也被《Science》于2021年列为未来亟待攻克的125个关键科学问题之一。当前关于群体智能涌现的研究多以鸟群、鱼群等生物集群为主要对象, 强调简单个体在局部交互规则下形成全局有序行为; 相比之下, 人类社会的群智涌现不仅包含行为层面的协同与组织, 更体现出知识、文化与创新层面的高阶智能与复杂内涵。面对这一差异与空白, 本文系统梳理与阐释人类社会群体智能的概念框架与核心内涵, 围绕人群行进、群体智慧、共识形成、社会合作、社会学习、知识文化与集智创新7类典型现象展开深入分析, 归纳其关键机制、主要模型、驱动要素与演化规律, 进而构建人类社会群智涌现理论体系。在此基础上, 进一步探讨人类群智向人工群智的映射路径与机理, 提炼群智机理驱动的典型人工群智系统范式与实现要点, 为面向复杂任务的人工群智系统设计、构建与发展提供基础理论依据与方法支撑。
人工智能在诸多领域的应用取得了突破性的进展, 引起了全球各国对其研发的高度重视。然而, 人工智能的快速发展也带来了一系列的问题, 过度依赖和盲目信任人工智能模型可能导致严重的风险。因此, 可解释人工智能成为构建可信、透明的智能系统的关键要素, 其研发变得尤为迫切。为此, 本文综述可解释人工智能的国内外研究进展, 从多维度、多层次进行全面梳理与归纳。首先, 基于当前行业内的研究成果, 将可解释人工智能的关键技术细分为解释模型、解释方法、安全测试及实验验证4类, 旨在明确各领域的技术焦点与发展方向。然后, 探讨可解释人工智能在多个关键行业领域的具体应用实例, 包括但不限于教育、医疗、金融、自动驾驶及司法等, 展示其在提升决策透明度等方面的重要作用。最后, 深入剖析可解释人工智能当前面临的主要技术挑战, 并展望其未来的发展趋势, 尤其针对当前备受瞩目的大模型可解释性问题, 进行了专项调研与探讨分析。
深入探讨深度学习领域的后门攻击问题, 该问题是一个涉及深度学习模型安全性和鲁棒性的重要议题。随着深度学习技术的广泛应用, 使用第三方数据和预训练模型变得普遍, 但这也带来了潜在的安全威胁。研究人员发现, 通过未经验证的第三方资源, 恶意代码或隐藏后门可能被引入模型中, 它们可能在特定条件下被激活, 导致模型行为异常。目前, 图像领域的后门攻击方法不断发展, 但缺乏系统性的综述来全面介绍图像领域的后门攻击技术。为此, 首先介绍后门攻击的概念和基本的攻击流程, 然后分析后门攻击和对抗攻击、数据投毒攻击2种相关安全威胁的区别, 随后从不同触发器、不同融合策略、不同目标类别、模型结构修改、模型权重修改、代码中毒、数据排序等7个方面对图像领域的后门攻击技术进行归类, 介绍后门攻击技术的演进, 分析其特点、性能以及不同技术的优缺点。在此基础上, 总结目前的研究成果, 并从多个角度对未来可能的研究方向进行分析和展望, 强调构建安全、可靠的深度学习模型的重要性。
感知与检测公共场所密集人群发生的拥挤行为是计算机视觉领域极具挑战的课题。对该问题进行研究, 如人群运动特性分析、行为检测模型构建等, 可为揭示密集场景人群活动的运动特性和行为本质提供有益帮助, 同时可协助相关公共安全部门制定管理策略和应急响应措施, 从而有效避免人群灾难事件的发生与恶化。为此, 梳理与总结视觉场景下密集人群拥挤检测问题的研究工作。首先, 从人群动力学、社会力模型、流体力学理论等角度综述人群拥挤活动的定性特征; 其次, 调研现有人群拥挤检测算法及相关的计算模型; 接着, 给出此研究涉及的公共数据集与模型性能评估方法; 最后, 探讨人群拥挤检测研究的应用场景与未来研究方向。公共场所密集人群拥挤行为的定性、定量研究现状综述, 可为计算机视觉、智能监控、人工智能等领域的人群活动感知、行为分析理解、异常检测等提供有益参考。
针对无人机图像中小目标实例多、目标间存在遮挡所导致的漏检和误检等现象, 提出一种基于改进YOLOv8的轻量化无人机图像小目标检测算法。首先, 在颈部引入三特征编码器(TFE)、尺度序列特征融合(SSFF)模块, 增强了网络对不同尺度特征的提取能力。接着, 设计小目标检测层(SMOH), 并将其与改进的颈部特征提取网络进行融合, 在头部引入一个额外的检测头, 减小小目标特征的损失, 增强网络对小目标的识别能力。然后, 针对完整交并比(CIoU)的缺陷, 结合适应交并比(Wise-IoU)、内部交并比(Inner-IoU)和最小点距离交并比(MPDIoU), 提出了一种回归损失函数Wise-Inner-MPDIoU。最后, 为了实现算法在移动端和嵌入式场景下的轻量化应用需求, 进行了基于幅度的层自适应稀疏化剪枝, 在保证模型精度的同时进一步压缩了模型大小。实验结果表明, 相比于原YOLOv8s算法模型, 改进后的模型在mAP@0.5提高6.8百分点的同时参数量、计算量、模型大小分别降低76.4%、17.1%、73.5%, 在检测精度与轻量化方面均取得了显著提升, 具有很强的实用价值。
在图像质量评价(IQA)领域, 无参考质量评价方法在处理真实场景下的失真图像时展现了巨大的应用价值和未来发展潜力, 然而真实环境中的失真图像具有高度的多样性和复杂性, 增加了相关评价算法设计的难度。近年来, 深度学习技术在图像分类、目标检测以及图像分割等细分领域均取得了令人瞩目的成果。这些进展推动科研人员将深度神经网络(DNN)技术引入IQA中。DNN凭借其出色的特征提取和学习能力, 为真实环境中的失真IQA带来了创新性的解决方案和显著的进步。但是, 现有方法在处理真实场景图像质量描述时仍存在一定的局限性, 特别是在应对图像内容多样性方面。此外, 许多基于DNN的IQA方法需要对输入图像进行缩放或裁剪以固定分辨率, 这往往会破坏图像的原始结构和内容, 从而影响质量评估的准确性和泛化能力。为了解决这些问题, 提出一种基于多尺度金字塔池化的自适应无参考图像质量评价方法(MSPP-IQA)。MSPP-IQA允许直接使用原始尺寸的图像进行质量评估, 无需任何图像预处理, 通过引入图像内容理解模块和注意力模块, 模仿人类视觉系统(HVS)的工作原理, 同时感知全局高级特征和局部低级特征。实验结果表明, 相较于当前主流方法, MSPP-IQA在真实失真和合成失真数据集上均表现出良好的性能。这一实验结果充分证明了MSPP-IQA在应对真实失真IQA挑战方面的有效性和优越性。
近年来, 基于深度学习的目标检测算法在准确率和鲁棒性等方面取得了巨大进步, 并且在工业界得到广泛应用。但是, 在小目标检测领域, 当前的目标检测算法仍然存在漏检率和误检率高的问题。因此, 提出一种基于SCConv和BSAM注意力机制的YOLO小目标检测算法BS-YOLO。首先, 针对特征提取网络存在大量冗余信息的问题, 利用SCConv重构主干网络, 提出一种新的模块C3SC, 对提取到的特征图从空间和通道两个方面减少冗余信息, 提升主干网络提取到的特征图质量, 从而提高检测精度; 其次, 结合CBAM和BiFormer自注意力机制提出一种新的注意力机制BSAM, 在空间和通道两个方面合理分配权重, 使特征图更加关注有效信息, 抑制背景的干扰; 最后, 为了解决小目标检测存在的难易样本分布不均的问题, 利用Slideloss优化损失函数, 从而提高小目标检测的效果。在RSOD数据集上的实验结果表明, BS-YOLO算法的精确率为94.2%, 召回率为91.6%, 均值平均精度(mAP@0.5)为95.9%, 相对于原始的YOLOv5算法, 分别提高了3.3、0.1、3.6百分点, 表明BS-YOLO算法可以有效提高小目标检测的精度, 降低漏检率。
针对现有深度学习模型难以捕获云团运动模式导致云图长期预测结果模糊、准确度低的问题, 提出一种基于多尺度运动记忆模型(MSMM_Net)的遥感云图预测方法。该模型采用空间多尺度记忆流和运动差分记忆流相融合的双分支记忆流架构, 分别提取输入图片序列隐含的高低频空间特征和序列运动特征, 从而同时获得图片的全局信息、细节信息和运动信息, 在预测阶段融合双分支记忆, 缓解特征丢失问题并增强模型对云团运动轨迹的预测能力。在此基础上, 使用像素损失和边缘损失相结合的融合损失函数指导模型的训练, 强化模型对图片边缘细节的关注度, 促使模型生成清晰的预测图片。实验结果表明, 与基准模型PredRNN相比, MSMM_Net在Moving MNIST数据集上的均方误差(MSE)降低了31.71%, 在可学习感知图像块相似性指标(LPIPS)上降低了64.7%, 在遥感卫星云图数据集上, 峰值信噪比(PSNR)和结构相似性指数(SSIM)指标分别提升了5.51%和5.38%, 表明该模型生成的预测图片序列与真实图片序列更加相似, 能够有效提升长期预测准确率。
针对元学习范式中原型关键信息欠缺、对查询图像适应性不足以及检测器对新类方差敏感导致误分类问题, 提出一种基于查询引导策略和语义增强机制的小样本目标检测(FSOD)方法。查询引导模块(QGM)通过学习查询与支持特征之间的相关性, 将查询感知信息有条件地耦合到支持特征中, 旨在为每个查询图像生成特定且具有代表性的原型。而视觉语义增强模块(VSEM)从文本语义信息中蒸馏与新类视觉特征相匹配的知识, 并自适应地对这些特征增强, 提高其可判别性, 缓解方差敏感, 以更好地分类。此外, 将分类和回归任务解耦, 在分类分支上执行语义增强, 以促进模型对目标语义的理解。实验结果表明, 相较于目前已知最新的SMPCCNet方法, 所提出方法在PASCAL VOC数据集上的新类平均精度(nAP)提升了2.2百分点, 在MS COCO数据集上的平均精度(AP)提升了1.0百分点, 证明了其有效性。
基于图卷积神经网络(GCNN)的指静脉识别方法不仅可以解决传统指静脉识别方法识别率较低的问题, 还可以解决其计算量大的问题。针对目前指静脉图模型结构不稳定和匹配效率因模型增大而下降的问题, 采用SLIC(Simple Linear Iterative Clustering)超像素分割算法来构建加权图并改变GCNN提取加权图的图级特征。为了有效抓取图数据中的高阶特征并避免过平滑, 建立一种双分支多交互的深度图卷积网络(GCN), 旨在提升节点对高阶特征的掌握能力。首先根据节点特征对图结构进行调整; 然后结合原始和重构后的图结构, 构建了双分支网络架构以充分挖掘高阶特征; 最后设计一种通道信息互动机制, 以促进不同分支间的信息交流, 从而提高特征的多样性。实验结果显示, 在多个标准数据集上进行指静脉识别任务时, 该网络能减少单张图片识别时间, 提高识别效率, 并有效减轻过平滑现象, 相较于单分支的GCN, 在识别精度上平均取得了超过1.5百分点的性能提升。
在社交网络中, 用户移动行为由时间周期性、地理邻近性及语义类别偏好共同驱动, 且交互数据高度稀疏。现有方法多侧重于对用户序列进行建模, 往往难以统一捕捉并保障上述时空语义因素之间的复杂一致性关联, 导致从稀疏数据中学习的模式鲁棒性不足。因此, 本文提出整体时空一致性的概念, 综合考虑用户-兴趣点(POI)联合预测任务中各个阶段的时间一致性和空间一致性, 实现地理维度和类别维度的协同预测。具体而言, 本文基于时间、地理坐标和语义类别这三维特征空间, 兼顾地理-时间和类别-时间之间的时间一致性以及地理-类别之间的空间一致性, 在特征空间嵌入、影响因素表示、影响因素解耦合、影响因素融合推断等阶段引入相应的一致性约束, 从而构建改进的解纠缠图嵌入预测模型。模型首先对地理空间和类别空间的特征嵌入引入基于聚合依赖的空间一致性约束; 然后利用图神经网络提取了5类影响因素, 并通过时-空双域并行的影响因素解耦合方式, 实现了基于时间一致性的解纠缠学习; 最后在地理维度和类别维度依次开展影响因素融合推断, 基于地理坐标预测结果及类别聚合依赖关系得到语义类别预测。实验结果表明, 本文方法在Foursquare数据集上基本优于基线模型, 其中嵌入层聚合模块的移除使预测任务的受试者工作特征(ROC)曲线下的面积(AUC)和log loss分别相对最佳基线退化了6.13%和36.29%, 是一种非常高效的时空语义多重一致性建模手段, 推断层聚合模块的增益与数据规模相关, 可以对预测结果提供细粒度调整, 而时序特征模块在签到数据稀疏的条件下能够为模型提供重要的行为先验信息。
在Linux服务器中, 内核Rootkit因其高隐蔽性和高特权性, 可长时间潜伏在操作系统中, 对内核造成严重破坏, 尤其是未知Rootkit, 其攻击发生时间和空间分布都是随机的, 这为发现攻击源头带来严峻挑战。由于源码是未知的, 常规方法难以分析其行为特征, 也无法在合适的位置预设检测点。为了应对这一威胁, 提出一种基于多维视图追踪的内核Rootkit检测方法。通过在空间维度和时间维度上对多个视图进行交叉对比, 可检测未知内核Rootkit的恶意行为, 并还原被隐藏的数据。实验和分析显示, 该方法对内核Rootkit具有良好的检测效果, 在安全响应周期为0.1 s的情况下, 该方法引入的CPU开销仅为0.38%。
安卓(Android)是目前移动智能终端使用最广泛的操作系统, 但层出不穷的Android恶意软件给用户带来重大威胁。一些方法对静态分析提取的特征进行处理, 以实现Android恶意软件检测, 这些方法能够反映软件的一部分属性, 但无法捕捉软件潜在恶意行为意图的特征, 使得在面对具备逃避能力的Android恶意软件时难以取得良好的检测性能。为解决该问题, 提出一种基于静态特征组合的图神经网络Android恶意软件检测方法。从反编译文件中提取函数调用图, 采用node2vec构建每个节点的局部结构特征, 同时分析每个节点函数, 提取操作码并进行分类, 使用Katz算法计算节点重要程度, 并根据TF-IDF算法计算图中每个应用程序接口(API)节点对于该Android恶意软件以及所属恶意家族的重要系数, 将这些特征相结合作为节点特征, 对重要节点进行特征自环, 以增强节点间的特征差异。在此基础上, 设计基于有向图神经网络(DGCN)与图注意力网络(GAT)的分类器DAg_MAL, 该分类器采用gPool层, 能有效捕获软件行为的关键调用关系, 并筛除不重要的节点。实验结果表明, 该方法在二分类与多分类任务中都取得了良好的性能表现, 总体检测性能优于其他同类方法。
条件隐私保护认证(CPPA)是一种车载自组网(VANET)中支持安全通信的有效途径。针对VANET中消息认证低效以及数据隐私存在敌手威胁的问题, 提出基于区块链的轻量级CPPA方案。该方案在消息验证过程中采用改进的基于椭圆曲线加密的非交互式Schnorr签名算法, 避免使用耗时的密码学操作; 采用实体自行生成的短假名进行匿名通信, 系统架构引入联盟区块链, 在消息验证过程中利用智能合约技术自动验证发送者身份, 减少了方案的通信开销。安全性分析结果表明, 在随机预言模型(ROM)中, 提出的方案在自适应选择消息攻击下具有抗伪造的安全性, 且满足条件隐私保护要求。通过MIRACL密码学库测量了提出的方案和现有CPPA方案使用密码学操作的执行时间, 并运用Hyperledger Caliper评估了区块链测试网络的交易延迟和吞吐量。实验结果表明, 提出方案在签名生成和单条消息验证阶段的计算开销和通信开销均达到轻量级, 且有效支持批量消息验证。
暗网中存在着大量网络攻击或网络犯罪的隐秘信息, 以往研究主要针对通用开源威胁情报进行分析, 或在暗网威胁情报的某一方面做出工作, 缺少一种系统的方式对暗网信息进行处理和分析, 同时忽略了暗网信息的特性。为了对暗网庞杂的内容进行分析、筛选和提取, 利用与网络安全威胁相关的情报, 提出一种暗网高质量威胁情报获取技术, 其由信息爬取、主题聚类、实体识别和时新性检测4个模块组成。以暗网论坛为例, 通过针对暗网论坛的爬虫来爬取多个论坛的数据, 使用Top2Vec将论坛的标题和帖文分别以词和文档的形式嵌入到同一向量空间中, 分析帖文的讨论主题, 粗粒度地筛选出威胁情报相关内容, 去除爬取信息中的噪声, 然后使用命名实体识别的方式进行细粒度筛选, 提取出帖文中的威胁情报实体词。在此基础上, 计算实体词在明网中的信息量, 以评估所提取的信息的重要性, 最终筛选出高质量的网络安全相关暗网威胁情报。实验结果表明, 该方法具有有效性, 能够从收集的暗网信息中提取出网络威胁情报。
随着社交媒体在人们生活中的普及, 多模态情感分类(MSC)研究近年来受到了广泛的关注。多模态目标实体情感分类(TMSC)是MSC研究领域的一项重要任务, 旨在结合文本和图像等多种模态信息预测所指代实体的情感极性。尽管当前已有众多学者针对该任务提出了一系列的建模方法, 但是这些方法还无法做到文本和图像模态间实体的精准对齐, 从而直接影响了模型在目标任务上的准确性。为了解决这一问题, 提出针对图文模态间实体对齐的目标实体情感分类模型(ITMEA)。该模型采用从图像中所提取的形容词-名词对(ANPs)设计情感辅助信息, 使得图像中目标实体的关键情感信息获得更直观的表达, 同时也采用多模态大语言模型(LLM)LLaMA-Adapter V2设计了特征描述信息, 进一步实现模态间目标实体的精准对齐。此外, 模型在模态间特征融合阶段构建一种门控机制, 通过动态控制文本以外信息的输入防止与文本语义不相关的信息引入额外干扰。在Twitter基准数据集Twitter-2015和Twitter-2017上的实验结果表明, ITMEA模型相较于对比基线中的最优方法准确率分别提升了约1.00和0.57百分点, 验证了所提方法的有效性和优越性。
意图识别是自然语言理解的一项重要任务, 传统的意图识别研究主要关注于特定任务的单模态意图识别。然而, 在现实世界的场景中, 人类的意图是复杂的, 需要通过整合诸如语言、语调、表情和动作等信息来判断。提出以注意力为主的多模态融合的意图识别方法, 用于在真实世界的多模态场景中进行意图识别。为了能够捕捉和融合不同模态之间的长距离依赖关系, 自适应地调整各模态信息的重要性和提供更丰富的表示, 对每个模态特征分别使用自注意力机制。通过在每个模态的特征中添加明确的模态标识, 使模型能够区分并有效融合不同模态的信息, 提升整体理解和决策能力。考虑到在跨模态交互时文本模态信息的重要性, 使用以跨注意力机制为核心、以文本为主导其他模态辅助交互引导的多模态融合, 旨在促进文本与视觉、听觉模态之间的交互。最后对多模态意图识别的MIntRec和MIntRec2.0基准数据集进行了实验评估。结果显示, 该方法在准确性、精确度、召回率和F1值等指标上均优于现有的多模态学习方法, 比目前最好的基线方法提升0.1~0.5百分点。
针对Android恶意软件种类和结构繁杂不一、单一静态特征难以区分良性和恶意软件的问题, 在深入研究Android软件的权限、API、字节码、操作码等特征的基础上, 提出一种基于多模态特征融合的构建方法。将字节码转换为RGB图像, 通过预训练模型EfficientNetV2B3提取字节码图像特征, 以表征Android应用的整体特性。利用局部敏感哈希(LSH)算法提取操作码序列特征, 以表征Android应用的细节特性。采用多模态分解双线性池化(MFB)融合算法对字节码图像特征和操作码序列特征进行融合, 实现2种特征数据的异质互补, 以得到更具区分度的静态特征。在此基础上, 提出一种基于Transformer的Android恶意软件检测模型(TEAAD)。实验结果表明, 基于融合特征的TEAAD模型优于其他深度模型, 检测准确率达到96.87%, MFB特征融合方法相较于其他方法具有更高的恶意软件识别能力。
社交媒体平台为了达到更快更广的传播效应, 发布网络欺凌言论往往综合利用了文本、语音和图像等多模态信息。虽然多模态信息可以更充分地表达信息发布人的情感, 但同时也为研究人员进行网络欺凌自动检测提供了多维度信息源。当前多模态网络欺凌言论检测模型多聚焦于大规模交互空间的复杂融合, 缺乏模态间潜在共性和异性的关联分析。因此, 基于简单特征融合的多模态网络欺凌检测模型性能不够理想, 而且模型的训练过程也非常耗时、不易收敛。针对这一问题, 提出一种基于空间特征的多模态检测模型。首先对各单一模态进行特征提取, 然后通过共享特征空间和特定特征空间的构建, 使用哈达玛积的分层注意力机制进行特征融合。该融合过程不是单纯依靠输出注意力分数进行简单加权, 而是独立地重新分配注意力权重, 从而使得模态之间互不干扰, 保留了共享空间和特定空间的特征完整性。最后使用双层感知机结构实现网络欺凌言论检测, 结果表明, 该模型在CMCAD和CMU-MOSI数据集上均取得了良好的检测效果和收敛性能。
当今工业界通常使用基于深度学习的推荐系统为用户进行定制化推荐, 在常见的存算分离式推理架构中推荐系统的推理速度受限于嵌入层查询部分导致的节点间网络传输瓶颈。新兴的智能网卡技术可以在避免对主机中央处理器(CPU)争用的基础上, 实现复杂流量控制, 为存算分离式推荐系统的嵌入层优化提供新的可能。设计并实现一种基于智能网卡优化的存算分离式推荐系统计算节点——SmartWN(SmartNIC-offloaded Worker Node)。SmartWN利用智能网卡的独立计算与通信能力, 在保证计算节点主机资源不受影响的前提下, 实现了嵌入层查询顺序调度与预准备以及基于流量的多表动态缓存管理, 使推荐系统推理时大幅提高了嵌入层查询的通信效率与缓存利用率, 降低了嵌入层查询时延, 提升了存算分离式推荐系统的推理性能。在智能网卡NVIDIA BlueField-2上实现了SmartWN原型并验证了性能提升, 与现有技术相比, 使用SmartWN作为存算分离式推荐系统计算节点最高提升了2.13倍的推理时嵌入层查询吞吐量, 并降低了约50.6%的嵌入层查询尾部时延。
Posit格式作为一种新的浮点数表示方法, 虽然在动态范围和舍入误差处理上相比IEEE 754浮点格式具有显著优势, 但其硬件实现尤其是尾数乘法器的设计存在挑战。为此, 通过增加特定的计数器、重新设计部分积求和阶段计数器布局以及改进最终求和阶段使用的加法器, 提出一种名为3L-Wallace树的改进Wallace树算法, 以减少部分积求和的阶段数, 降低硬件资源消耗和整体延迟。随后, 基于3L-Wallace树对Posit乘法单元进行了优化。此外, 还引入模块化设计方法, 将大位宽乘法器划分为更易于实现的小模块, 简化了设计过程并减小了实现难度。同时, 设计一种动态选择算法, 根据运行时尾数位宽动态选择合适位宽的乘法器, 避免硬件资源浪费。实验结果显示, 3L-Wallace树算法硬件资源消耗相较于传统方法平均减少约9.5%, 功率平均降低约8.1%, 时延平均降低约10.4%, 整体表现优于传统方法, 特别是在大位宽乘法器的实现上表现突出。
随着全球数据规模的不断增大, 如何以低成本的方式有效提升数据的访问性能是存储系统面临的一项重要挑战, 使用低延迟、高带宽的固态硬盘(SSD)和低成本、高存储密度的叠瓦式磁盘(SMR)来构建缓存系统, 成为一种有效的解决方案。但是, SMR固有的机械运动和多磁道堆叠的特性导致其写性能较差, SSD中的脏数据频繁写回SMR所导致的大量读-合并-写(RMW)操作可能会引起严重的长尾延迟现象。为此, 基于SSD-SMR混合存储架构提出一种结合强化学习Q-Learning算法的缓存替换优化策略。通过学习SMR设备的I/O负载状况与延迟之间的经验知识来控制对SMR的写入, 当SMR负载较大时, 通过控制缓存中脏数据的逐出来减少SMR因写回而产生的大量RMW操作, 从而优化系统在不同负载下的尾部延迟开销。将Q-Learning算法与基于数据流行度的缓存算法LRU以及SMR感知的缓存算法SAC进行结合, 使用真实企业Trace和YCSB生成的模拟Trace进行测试, 实验结果表明, 所提方法能够有效提升现有缓存算法的性能, 可以降低57.06%的平均延迟和87.49%的尾部延迟。
高能物理实验数据处理普遍采用存算分离的计算模式, 计算过程中需要在计算节点和存储节点间传输数据。实验数据和数据分析需求的不断增长造成了数据传输瓶颈, 降低了系统整体的处理效率。针对上述问题提出面向高能物理的可计算存储系统。首先, 对存储软件EOS进行扩展, 在原架构的基础上增加可计算存储插件, 存储服务器解析用户命令后, 在文件I/O的基础上执行本地计算, 减少数据移动, 缓解网络压力, 提升数据处理效率。然后, 构建基于中央处理器-现场可编程门阵列(CPU-FPGA)异构计算架构的可计算存储服务器。针对I/O密集型任务计算复杂度较低的特点, 将适合并行计算的任务通过PCIe总线卸载到FPGA中, 扩展了存储服务器的计算能力。对系统的实验评估结果表明, 可计算存储系统能有效消除排队时间和网络延迟, 进而缩短计算任务的整体执行时间。基于FPGA的硬件加速, 有效弥补了存储服务器中CPU计算性能较弱的缺陷, 提升了可计算存储设备的算法通用性。在基于LHAASO的解码作业的测试中, 可计算存储系统实现了约6倍的速度提升。
近年来, 随着无人机(UAV)技术的发展及其在军事、物流、农业等领域的广泛应用, 无人机群航迹规划问题受到了广泛关注。传统的优化算法, 如模拟退火、遗传算法和粒子群优化算法等虽然在某些情况下能够取得不错的效果, 但在面对更大规模、更复杂的无人机群任务时, 容易遇到计算效率低、陷入局部最优解等问题。量子退火算法凭借其独特的量子隧穿优势可以有效避免陷入局部最优解。提出基于量子退火的无人机群航迹规划算法, 将航迹规划问题转换成二次无约束二值优化(QUBO)问题, 通过两阶段处理策略, 利用量子退火方法对任务点聚类并对每一类别的航迹进行模拟求解, 有效降低了时间复杂度。研究结果表明量子退火相较于模拟退火有更大的概率求解出更优的航程, 因此量子退火具有更好地跳出局部最优解的能力。此外针对无人机群在执行任务时可能面临的4种常见的应用场景, 设计了相应的动态任务分配方案并对量子退火的目标函数和约束进行修改, 研究结果表明, 该无人机群航迹规划算法可以很好地应对常见的应用场景, 保证无人机群能够灵活应对并协同高效完成任务。
大数据计算框架如Apache Spark在大数据分析任务中的重要性日益凸显, 但是仅依靠本地计算资源往往难以支撑数据密集型作业任务的处理。因此, 一种可行的方案是租用公共云服务商的云资源, 并将Spark集群完全部署在云端。然而, 这样会导致计算成本过高。为了降低成本, 越来越多的用户选择使用本地资源和云资源协同的方式构建混合云计算集群。但是在混合云部署的Spark集群中, 在满足多个服务水平协议需求(例如最小化成本和保证作业截止期限)的同时完成作业调度是一项具有挑战性的任务。现有的研究主要关注如何降低集群使用成本或者提高作业截止日期的满足率, 而没有考虑这两个目标之间的平衡。针对这一问题, 提出了一种新的期限-成本感知蚁群优化(DC-ACO)作业调度算法, 该算法能够在利用混合云部署集群中不同虚拟机(VM)实例定价下优化集群VM使用成本的同时, 最大限度地保证作业截止日期的满足百分比, 并通过仿真实验对比提出的DC-ACO作业调度算法与基线算法的性能。实验结果表明, DC-ACO算法具有良好的可扩展性, 并且能够将作业截止日期的满足百分比提升约20%, 同时将混合集群的VM使用成本降低约10%。
稀疏矩阵向量乘(SpMV)是稀疏线性系统的计算核心和瓶颈, 其运算效率会影响迭代求解器的整体性能, 其优化研究一直是科学计算和工程应用领域中的研究热点之一。偏微分方程的离散化会产生稀疏对角矩阵, 由于其多样的非零元分布, 导致没有一种方法能够在所有矩阵中取得最优时间性能。针对上述问题, 提出一种面向图形处理单元(GPU)的稀疏对角矩阵自适应SpMV优化方法AST(Adaptive SpMV Tuning)。该方法通过设计特征空间, 构建特征提取器, 提取矩阵结构精细特征, 通过深入分析特征和SpMV方法的相关性, 建立可扩展的候选方法集合, 形成特征和最优方法的映射关系, 构建性能预测工具, 实现矩阵最优方法的高效预测。实验结果表明, AST能够取得85.8%的预测准确率, 平均时间性能损失为0.09, 相比于DIA(Diagonal)、HDIA(Hacked DIA)、HDC(Hybrid of DIA and Compressed Sparse Row)、DIA-Adaptive和DRM(Divide-Rearrange and Merge), 能够获得平均20.19、1.86、3.06、3.72和1.53倍的内核运行时间加速和1.05、1.28、12.45、1.94和0.97倍的浮点运算性能加速。
为了处理分布式的不完备信息系统(IIS)中的数据筛选问题, 研究人员引入了容差关系粗糙集理论。随着数据量的不断增长, 需要通过分布式计算来实现可扩展的并行化计算, 因此分布式容差关系粗糙集被提出, 其中Block Set是计算近似集的核心方法。然而, Block Set在计算时仅使用集合运算, 数据之间没有结构, 过程涉及大量重复计算, 导致计算效率不高。针对这一问题, 提出一种基于图优化的容差关系粗糙集分布式(TRDG)算法。引用已有的可靠元和争议元的概念, 以IIS中的数据为结点, 以非对称容差关系为边, 构建具有层次关系的有向无环图, 使用图结构来组织数据。为了提高Block Set在分布式环境中的计算效率, 提出使用最近容差关系代替一般非对称容差关系的策略, 用于删除冗余边, 简化图结构, 并基于可靠元到零出度争议元的路径来得到Block Set。然后, 在Spark平台上实现分布式的图优化算法和路径搜索算法, 最终完成TRDG算法的设计。实验结果表明, TRDG算法具有良好的并行加速性能, 和传统的容差关系粗糙近似集求解算法相比, TRDG能够节省计算资源, 计算速度平均提高了40倍, 可处理的数据量也增加了50倍以上。
云数据库技术以其灵活扩展、易于管理、按需收费等特点得到了广泛应用。业务方通常根据自身应用场景和实际需求选择云数据库产品, 而服务提供商确定产品中不同类型资源(如计算资源和存储资源的用量)来满足业务方的业务需求。云产品用量的准确预测对于提升资源使用效率、降低运营成本、保障服务质量(QoS)至关重要。然而, 云数据库产品用量预测场景复杂, 用量序列通常由存在复杂纠缠的多个成分组成, 并且不同业务方在不同云产品及计费项下的行为特征差异较大, 这对用量预测提出了巨大的挑战。针对这一难题, 提出一种基于成分分解和多模态融合的云数据库产品用量预测模型。该模型对存在复杂纠缠的时间序列进行成分分解, 融合多模态需求数据, 构建需求趋势与用量趋势之间的映射关系, 并通过自动调节成分的权重参数以获得准确的预测结果, 同时使用阿里云计算服务商的4个主要云数据库产品的真实生产数据进行预测效果评估, 并与5种预测算法进行性能比较。通过分析平均绝对百分比误差(MAPE)等评估指标, 实验结果表明, 该预测模型在4个云数据库产品中都有不同程度的预测准确率提升, 约18.6%~51.8%, 能更好地适用于云数据库产品用量预测场景, 有助于云服务提供商进行更准确的资源容量规划。
鱼群多目标准确计数是水生态智能监测和集约化养殖产业中的重要环节, 对水域生态环境智能保护和水产养殖现代化具有重要作用。现有鱼群多目标准确追踪和计数方法主要适用于鱼群外观清晰、游速缓慢和方向稳定等较理想的情况, 难以有效适用于现实情况下存在的鱼群互相遮挡、游动迅速和方向多变等复杂情况。为此, 结合轻量化目标检测模型YOLOv5n, 提出基于水平相似度匹配机制的鱼群追踪与计数方法。将鱼群计数问题视为多目标检测与追踪问题, 设计水平相似度匹配机制, 并对SORT(Simple Online and Realtime Tracking)算法进行优化。通过高速水流中鱼群个体在帧与帧之间的位置关系对检测框中心点的水平距离进行限制, 以有效解决SORT算法存在的目标匹配混乱问题, 显著提高追踪效果。实验结果表明, 所提方法在鱼群多目标追踪数据集上的性能显著优于现有追踪方法, 对目标遮挡、方向变化等情况目标追踪性能提升显著, 并且该方法结构简单, 易于实际应用。
风电等新能源的大规模并网是完成"双碳"目标的重要措施之一, 而可靠的风电功率预测是保障电网安全运行的不可或缺的技术支撑。为此, 提出一种超短期风电功率点-区间预测模型。首先, 对风电功率原始序列进行异常值筛选以及修正, 让修正后的数据更符合客观规律; 然后, 构建双层分解模型对原始序列进行分解, 双层分解算法的应用可以获得趋势更加具有预测性的子序列, 以降低风电功率预测难度; 接着, 构建多目标策略结合改进黏菌算法优化的支持向量机(MOISMA-SVM)模型来精准预测子序列并进行相加重构。MOISMA在兼顾预测的精度和稳定性的同时对SVM参数实现了寻优, 得到风电功率预测结果; 最后, 通过MOISMA-SVM模型对预测结果的绝对误差进行进一步修正, 将误差预测结果与风电功率预测结果相加, 得到了风电功率点预测结果。通过实验对比分析, 证明了所提模型拥有最好的误差指标结果, 在两个数据集中的平均绝对误差(MAE)分别达到了0.505 7 MW和0.672 6 MW, 相比于SVM模型分别提升了98.79%和98.50%, 展现出模型的高精度结果和稳定性。根据点预测结果, 构建改进的核密度估计区间预测模型, 得到区间预测结果。两个数据集的预测区间具有较高的可靠性和较窄的区间带宽, 综合覆盖宽度准则(CWC)分别达到0.002 4和0.002 8, 能更准确地描述风电功率的波动趋势, 提高了整体模型的实用性。
交通流预测方法是智能交通系统的重要基础, 但现有方法在准确捕获交通数据的时空相关性上仍有不足。为挖掘道路网络的复杂时空相关性, 提高预测性能, 提出一种考虑全局-局部时空感知的时空图注意力网络模型GL-STAGGN。首先对输入数据进行时空位置嵌入来表征交通流的时空异质性, 以增强时空数据的特征表示, 其次利用全局-局部时间感知的多头自注意力同步挖掘全局与局部空间范围内的时间动态相关性; 然后引入图注意力网络和基于注意力机制的动态图卷积网络分别聚合局部节点特征和动态调整空间相关性强度, 以深度捕捉全局与局部空间相关性的内在关联; 最后采用编码器-解码器架构将时空组件融合以构成GL-STAGGN模型。在现实世界的高速公路交通数据集PEMS04和PEMS08上的实验结果表明, 相比未考虑全局-局部时空关系和忽略空间异质性的先进方法DSTAGNN, GL-STAGGN的平均绝对误差(MAE)、均方根误差(RMSE)和平均绝对百分比误差(MAPE)平均降低了2.8%、2.3%和3.3%, 优于大多数现有基线模型, 可更好地为智能交通系统提供支持。
分布式卫星编队任务规划能同时处理多个具有时间和资源冲突的对地观测任务, 但随着卫星和任务数量的增多导致的冲突严重降低了观测收益和任务完成的质量。针对这一问题, 提出一种分割空间投影粒子群优化(SPPSO)算法, 对构建的任务规划混合整数模型进行求解。首先将种群根据适应度大小分割为不同的搜索空间, 采用快速傅里叶变换的投影策略在搜索空间中对种群进行重构, 然后利用感知算子促进适应度较低的粒子向最优空间靠拢, 提高收敛速度和有效减少陷入局部最优的问题。为验证SPPSO算法的有效性, 将在国际标准测试函数上与尖端PSO变体和解决类似规划问题的其他著名调度算法进行比较。根据Wilcoxon秩和Friedman检验结果, SPPSO算法在单峰和多峰函数上平均排名最高。此外, SPPSO算法在4种规模(25~100)的仿真测试案例中始终实现了最高的观测收益值和任务完成率。实验结果表明, 与次优算法相比, 在最大规模任务下观测收益值和任务完成率分别提升了6.8%和7.5%, 验证了其增加收敛速度和缓解陷入局部最优风险的有效性。
玉米是重要的经济作物, 广泛应用于工业、畜牧业及粮油加工等领域, 病害的及时识别对保障产量具有重要意义。当前, 卷积神经网络(CNN)等深度学习方法已广泛应用于病害识别, 但多数方法仅依赖图像信息, 忽略其他模态特征, 且模型参数规模较大, 部署成本较高, 限制了实际应用。为解决上述问题, 提出一种基于图像-文本多模态的轻量级缓存模型MF-cache, 模型参数量仅为61 000个, 兼具低计算开销与较高识别精度。该模型借助多模态预训练模型CLIP提取图像与文本特征, 通过并行融合策略获取融合特征, 用于构建含领域知识的可学习key-value缓存结构。此外, 采用加权的两阶段融合机制, 用于动态调整不同模态对分类结果的贡献比例, 提高分类稳定性与合理性。为增强鲁棒性, 引入多种数据增强策略, 提升样本多样性, 缓解小样本带来的过拟合问题。在自建数据集CornI&T与公开数据集PlantVillage上的实验结果表明, 该方法准确率分别达到99.72%与98.80%, 具备良好的泛化性能。所提方法在保持低计算开销的同时, 具备良好的识别性能, 为作物病害检测提供了一种高效可行的解决方案, 并展示了多模态预训练模型与小样本学习在农业智能识别领域的应用潜力。
针对现有很多皮肤黑色素瘤图像分割算法因病灶区域形状多样、边缘模糊导致分割结果不精准的问题, 基于YOLOv8提出一种结合多尺度特征提取和边缘分割增强的皮肤黑色素瘤分割算法YOLOv8-Skin。首先, 将YOLOv8的主干网络CSPDarkNet53更换为更适合医学图像分割的U-Net v2网络, 使得在低级特征中注入丰富的语义信息, 同时精细化高级特征, 从而实现对皮肤黑色素瘤图像中对象边界的精确勾画和小结构的有效提取; 其次, 在颈部的C2f中引入可变形大核注意力(D-LKA)机制, 通过使用可变形卷积提升模型对于不规则图像结构信息的捕捉能力, 并利用大核卷积融合不同层次的特征; 最后, 在头部引入多样化分支块(DBB)形成新的分割头, 通过结合不同规模和复杂度的多样化分支增强单个卷积的表示能力, 从而增强模型对于病灶区域的特征提取。实验结果表明, YOLOv8-Skin的Dice系数、特异性、灵敏度、准确度在ISIC2017数据集上分别达到88.86%、91.34%、97.24%、96.29%, 在ISIC2018数据集上分别达到91.64%、95.42%、96.69%、95.83%, 在PH2数据集上分别达到95.92%、95.43%、97.02%、96.13%, 具有更强的分割性能, 能够更好地适用于皮肤黑色素瘤分割任务。
桥梁作为重要的基础设施, 由于长期受到自然环境和日常负荷的影响, 桥梁结构可能面临严重的安全隐患, 因此对桥梁结构健康状态进行实时监测和预测变得尤为迫切。在现有研究中, 对于复杂的桥梁结构健康状态预测, 仍然存在预测值易错、稳定性差和实时性不足等问题。为了解决上述问题, 提出基于堆叠门控循环单元(GRU)编解码器的SGRUA(Stacked GRU with Attention and Auto-Cycle)模型, 通过更好地捕捉时间序列数据中的长期依赖关系和重要特征来提高预测的准确性和稳定性, 并利用较少的参数量来提高预测速度使得预测实时化。首先对真实桥梁监测数据进行缺失值填补、异常值检测与处理, 以保证数据满足时序预测的完整性和可用性要求; 随后利用SGRUA模型对桥梁动应变指数进行时序预测, 通过对比实验和消融实验证明了模型的有效性。实验结果表明, 与TSMixer时序预测模型相比, SGRUA模型在桥梁B数据集上的均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和对称平均绝对百分比误差(SMAPE)指标下降了11.07%、11.02%、11.00%和10.96%, 为桥梁结构健康监测与预测领域提供了一种新的有效方法, 同时为其他类似结构的健康监测问题提供了有益的探索与启示。
为维护电力系统的稳定运行, 满足电力系统对于短期电力负荷预测精度的需求, 提出一种基于改进卷积神经网络与门控循环单元(CNN-GRU)模型的短期电力负荷预测方法。采用核主成分分析(KPCA)法处理多维输入数据, 提取主要影响因素作为后续预测模型的输入。构建以改进鱼鹰算法(OOA)优化的CNN-GRU组合模型进行训练和预测, 并引入注意力机制加强重要信息的影响, 提升预测模型的预测性能。最后采用贝叶斯超参数(BH)理论优化的极端梯度提升(XGBoost)模型优化预测误差, 并搭建仿真模型与多个模型进行对比实验, 根据所得到的预测效果曲线和各项性能指标验证所提方法的有效性。实验结果表明, 提出的改进CNN-GRU模型在训练与测试时的平均绝对百分比误差(MAPE)分别为1.56%和1.99%, 由此可以得出所提出的改进预测模型具有更好的预测精度。