分布式环境中资源协同关键技术及系统研究
  • 【摘要】

    计算在已经从科研活动中的辅助手段转变为获取成果的重要方法,这使科研活动本身对计算能力的需求不断提高,特别是随着互联网技术的广泛部署和应用,海量资源不再孤立存在,资源间的联系得到加强.在新的环境中,高性能计算的需求不仅仅是提高单个计算单元的计算能力,更要强调提高分散资源的聚合(协同)能力以实现高吞吐、高可靠的计算系统,完成先前单个计算资源难以完成的任务.在Internet等广域分布环境中,由于广泛存... 展开>>计算在已经从科研活动中的辅助手段转变为获取成果的重要方法,这使科研活动本身对计算能力的需求不断提高,特别是随着互联网技术的广泛部署和应用,海量资源不再孤立存在,资源间的联系得到加强.在新的环境中,高性能计算的需求不仅仅是提高单个计算单元的计算能力,更要强调提高分散资源的聚合(协同)能力以实现高吞吐、高可靠的计算系统,完成先前单个计算资源难以完成的任务.在Internet等广域分布环境中,由于广泛存在的地理分散、系统异构、节点自治、网络拥塞等不确定因素,应用与资源的矛盾逐渐从单个计算节点能力的不足的问题,过渡到资源能力总量相对充足而资源间难以实现有效聚合的问题.实现资源的聚合所面临的主要困难包括资源规模及异构性引起的系统可伸缩性和可互操作性的问题,以及资源环境动态性所引起的性能波动和系统可靠性低等问题,进而使得应用难以获得大规模、持续、稳定、可靠的资源能力供应,制约了大规模分布式应用的开发和部署.广域分布式系统的研究已经取得一定进展,相关技术、系统及应用开发均有成功案例出现,如网格计算,对等计算,公共计算等多种分布式资源集成系统.其中,网格计算及资源服务化的思想,为该领域研究提供了有效的思路.随着应用对底层分布式系统的需求从功能性向非功能性转变,有必要进一步分析分布式资源组成结构及内在交互特征,研究其对资源供应稳定性及可靠性的影响,针对以网络为基础的科研活动(e-Science)类应用,实现支持资源有效共享与协同的基础支撑软件系统.针对上述问题,本文以广域分布式系统环境下资源的聚合与协同为背景,以提高资源协作效率和性能为目标,重点研究了资源协同过程中负载管理与均衡,可用性建模及优化等关键技术,研制了可靠的资源协同中间件系统.主要研究工作包括:1. 针对以资源服务化为主要特征的分布式松耦合环境中负载均衡问题,提出了一种基于公告板的协作式动态负载均衡机制BBCLB.采用基于阈值的负载状态决策方法,并引入公告板服务,实现资源间的动态负载迁移及负载信息共享,通过基于概率的策略,控制资源间的直接和间接负载迁移.仿真试验评估结果表明,该方法可以有效平衡系统负载,提高了系统的吞吐能力;2. 针对基于广域分布资源构建高可用系统的需求,通过分析研究典型的大规模分布式系统中资源可用性特征,发现资源的可用性之间存在广泛相关关系,结合基于冗余资源分配的高可用系统设计,提出了一种基于最优二分图匹配的可用性相关度感知资源调度算法OMBG.实验分析证明:与其他冗余目标选择算法相比,OMBG可以更加有效地提高系统资源整体可用性;3. 研制了可靠的资源协作支撑中间件CROWN-RCS,包括支持基于标准协议的作业管理与调度系统CROWN-Scheduler、实现服务化资源监控信息收集与传播的CROWN-Monitor以及非专用资源的封装与消费系统CROWN-Home等三个主要模块,同时通过集成所提出的资源协同关键技术,为实现资源间负载均衡及提高系统可用性提供了支持;4. 共同提出了服务网格中间件CROWN的需求和系统结构,通过三种不同规模和应用场景下的部署实践,进一步验证了上述技术和CROWN资源协作中间件对分布式应用的支持. 收起<<

  • 【作者】

    沃天宇 

  • 【授予学位】

    博士

  • 【授予单位】

    北京航空航天大学

  • 【导师姓名】

    怀进鹏

  • 【学位年度】

    2007

  • 【语种】

    chi

  • 【关键词】

    分布式系统%资源协同%作业调度%负载均衡%冗余%可用性%服务网格