摘要： 数字孪生(Digital Twin，DT)技术是基于现实物理实体映射的虚拟模型，为了使DT能够随着物理实体的变化而更新，物理实体应定期向DT发送实时的状态和信息。在数字孪生系统中，实时数据的处理和历史数据的存储与分析分别代表了实时数字孪生（实时DT）和历史数字孪生（历史DT）。在边缘计算中，虚拟与物理设备之间的信息交互时延是制约数字孪生实时类业务性能的关键因素。在实际部署中，流量大的关键边缘节点面临存储、带宽和计算资源的紧张局面，而流量较小的边缘节点则存在资源闲置的问题。不同地理位置的边缘服务器之间服务能力和可用资源分布极为不均，导致整体系统资源利用率低下、服务质量难以保障。本研究提出一种深度强化学习的联合部署策略，通过深度强化学习方法优化实时DT和历史DT的边缘部署方案。该方法通过建立联合边缘放置模型，考虑实时数据流时效性高的特性，根据实时DT与历史DT的耦合性，综合考虑实时DT和历史DT的部署成本，建立部署时间最小化问题，利用深度Q学习来平衡实时DT和历史DT之间的资源分配、时延优化以及服务质量保障。对于提出的任务请求，利用变分近似互信息选出与任务相关性最高的实时DT与历史DT，并为任务提供服务。通过仿真实验表明，所提出的深度强化学习算法能够在多种场景下自适应地调整边缘设备的资源分配策略，相对于基准算法平均降低了34%虚实信息同步时延，内存利用率平均可以提高7%。

Abstract: 数字孪生(Digital Twin，DT)技术是基于现实物理实体映射的虚拟模型，为了使DT能够随着物理实体的变化而更新，物理实体应定期向DT发送实时的状态和信息。在数字孪生系统中，实时数据的处理和历史数据的存储与分析分别代表了实时数字孪生（实时DT）和历史数字孪生（历史DT）。在边缘计算中，虚拟与物理设备之间的信息交互时延是制约数字孪生实时类业务性能的关键因素。在实际部署中，流量大的关键边缘节点面临存储、带宽和计算资源的紧张局面，而流量较小的边缘节点则存在资源闲置的问题。不同地理位置的边缘服务器之间服务能力和可用资源分布极为不均，导致整体系统资源利用率低下、服务质量难以保障。本研究提出一种深度强化学习的联合部署策略，通过深度强化学习方法优化实时DT和历史DT的边缘部署方案。该方法通过建立联合边缘放置模型，考虑实时数据流时效性高的特性，根据实时DT与历史DT的耦合性，综合考虑实时DT和历史DT的部署成本，建立部署时间最小化问题，利用深度Q学习来平衡实时DT和历史DT之间的资源分配、时延优化以及服务质量保障。对于提出的任务请求，利用变分近似互信息选出与任务相关性最高的实时DT与历史DT，并为任务提供服务。通过仿真实验表明，所提出的深度强化学习算法能够在多种场景下自适应地调整边缘设备的资源分配策略，相对于基准算法平均降低了34%虚实信息同步时延，内存利用率平均可以提高7%。