现有的多数路由算法未综合考虑链路实时传输状态和流量特征。为此,基于软件定义网络集中控制和全网管控的思想,提出一种基于链路实时状态和流量特征的多路径路由算法。该算法将数据流分为大流和小流,大流吞吐量要求较高,根据路径权重值进行路由,而小流数较多,处理复杂性要求较低,选择可用剩余带宽最大的路径作为其路由路径。仿真实验结果表明,与等价多路径算法和软件定义混合路由机制相比,该算法能够提高胖树数据中心网络的平均链路利用率和网络吞吐量。

为满足计算密集型大数据应用的实时处理需求,在Apache Storm基础上,研究开发H-Storm异构计算平台。通过多进程服务特性设计图形处理器(GPU)资源的量化和分布式调用机制,进而提出H-Storm异构集群的任务调度策略,实现GPU性能及负载的任务调度算法与协同计算下自适应的流分发决策机制。实验结果表明,在512×512矩阵乘法用例下,与原生Storm平台相比,H-Storm异构计算平台吞吐量提升54.9倍,响应延时下降77倍。

针对最近邻优先吸收聚类算法难以应用在海量数据聚类处理上的不足,基于MapReduce提出改进算法。通过引入MapReduce并行框架,利用Canopy粗聚类优化计算过程,并对聚簇交叉部分的处理进行改进。采用3组大小不同的数据集进行实验,结果表明,与K-means算法和最近邻优先吸收聚类算法相比,改进算法在保证聚类质量的基础上具有较快的运行速度,并适用于海量数据的聚类分析。

针对当前我国大城市深夜公交路线普遍存在运营效率及覆盖范围低等问题,引入考虑区域均衡性的公交线路评价模型和迪杰斯特拉算法模型,提出一种城市深夜公交线路改进方案。以上海市深夜公交线网为例,对城市深夜移动需求量显示模块、城市既有深夜公交线网评价模块和新的深夜公交线网设计模块进行研究,实现评价到优化的一体化设计。通过建立有效的城市公交线网评价及优化体系,探讨移动数据在城市公交线网优化中应用的关键技术。优化结果表明,改进方案的深夜公交线网基本覆盖了所有的深夜移动需求量和出租车移动数据量高的地方,与既有的深夜公交线路相比,该方案公交线路更能满足上海市民深夜出行的需求。

针对城市公共自行车系统快速发展面临的潮汐问题,提出一种基于SimRank的自行车站点聚类算法。从站点间的关联关系出发,基于站点特性定义站点相似度,引入SimRank算法进行站点相似度计算,并按计算得到的相似度值,根据最大相似优先的思想对站点进行聚类。实验结果表明,该算法得到的聚类结果能准确反映自行车流趋势和区域特征,其中同聚类成员也具有较大的关联性。

在对大数据全比较问题进行分布式处理的过程中,现有的数据分配策略较少考虑比较任务和数据之间的特殊依赖关系,导致存储效率下降、任务分配不均衡。为此,提出基于图覆盖的数据分配算法。通过理论分析将大数据全比较的数据分配问题归纳为图覆盖问题,在此基础上构造图覆盖的最优解,根据特解分配数据。实验结果表明,与基于Hadoop的数据分配策略相比,该算法可确保比较任务具有100%的数据本地性,使节点之间达到负载均衡,并且提高存储节约率和整体计算性能。

在线视频服务用户选择服务质量最佳的视频服务提供商,其存在的主要问题是来自于用户网络的异构性和动态性。为此,基于海服务架构,设计并实现一个面向在线视频服务的测量和推荐系统。模拟大量用户端节点进行测量,并根据测量结果预测用户的体验质量,据此向用户提供实时服务源推荐。运用该系统构建一个包含10家视频网站的视频测量和推荐系统,观测9个月的数据并进行分析。实验结果表明,该测量与推荐系统可以向用户提供服务源推荐,使用户获得当前网络状况下对该视频内容最佳的观看体验。