面向网构软件的云平台的资源管理工具技术白皮书

介绍了一种共享集群的资源分配规划机制

面向网构软件的云平台的

资源管理工具技术白皮书

北京大学信息科学技术学院软件研究所

2010年6月

介绍了一种共享集群的资源分配规划机制

目录

第一章

第二章

第三章

第四章 概述.................................................................................................... 1 分布式的资源分配动态规划方法.................................................... 5 基于虚拟机技术的节点资源动态分配机制.................................. 18 支持应用按需部署的中间件动态配置框架.................................. 20

介绍了一种共享集群的资源分配规划机制

第一章 概述

在可复用软件构件等技术的支持下，软件实体以自主的软件服务的形式存在于Internet的各个节点之上，它们通过各种交互机制进行动态的互连、互通、协同和联盟，来满足最终用户提出的、可能随时间而变的需求，这样一种Internet环境下的新的软件形态被称为网构软件（Internetware）1。网构软件是在Internet开放、动态和多变环境下软件系统基本形态的一种抽象，JavaEE网络应用（简称应用），这类在开放、动态、多变的网络环境中的大型复杂应用就是一类典型的网构软件。已有调研报告指出，在开放、动态、多变的网络环境中，Java EE 网络应用的负载通常具有较大幅度的波动。为了应对负载量峰值，传统仅能支持单个应用运行的集群环境往往需要配备远高于应用平均需求的计算资源，结果导致大部分集群资源在多数时段处于闲置状态（利用率通常不足30%）。因此，能够按需提供资源的云计算平台已被视为一种理想的网构软件运行支撑技术。在云平台中，通常管理着一个大规模的服务器集群，用于同时支持多个应用的运行，因此这类集群通常也被称为共享集群。共享集群基于不同应用的负载量往往相互独立这一事实（例如，某个应用正处于负载量高峰时，另一个应用的负载量可能正处于平均值之下），根据应用在不同时刻的资源需求，动态地对其分配和回收资源，在满足应用性能、可用性、易伸缩性等多方面需求的同时，实现计算资源在多个应用之间共享，提高集群计算资源的利用率，也更加有利于企业IT系统的整合和管理。 1 [杨02] 杨芙清, 梅宏, 吕建, 金芝. 浅论软件技术发展. 电子学报, 2002 年,2003, 26(9): 1104-1115.

介绍了一种共享集群的资源分配规划机制

资源管理是云平台中共享集群的核心问题，为此，在国家重大基础研究计划（973计划）的资助下，我们在JO2nAS中间件上设计并实现了一个适用于大规模共享集群的资源管理工具（简称资源管理工具），并遵循LGPL开放源代码许可证。JO2nAS是北京大学与国际著名开源中间件JOnAS合作，合并优势技术，联合打造新一代开源中间件。本资源管理工具针对JO2nAS中间件主要进行了以下三方面的扩展：包括一种分布式的资源分配动态规划方法，一种基于虚拟机技术的节点资源动态分配机制，和一种支持应用按需部署的中间件服务动态配置框架，体系结构如图 1所示。上述扩展使得JO2nAS成为，使其成为云计算平台上网构软件的运行支撑平台：支持共享集群在应用请求发生变化时迅速调整共享集群中资源在应用间的分配，同时支持节点资源在应用实例间的明确划分和应用实例在节点上的按需部署，以保证资源分配方案实施的效果和效率，此外，资源管理工具还在资源分配规划过程中支持为不同应用赋予不同的优先级。

介绍了一种共享集群的资源分配规划机制

图 1 面向网构软件的云平台的资源管理工具

分布式的资源分配动态规划方法

共享集群是云平台中的一个重要组成部分。针对共享集群这类大规模集群环境，考虑所有节点的集中式资源分配规划方法由于问题规模造成的复杂性，往往难以具有较好的易伸缩性和较快的变化响应能力。为此，本资源管理工具提出并实现了一种分布式的资源分配规划方法，其核心思想是共享集群中的节点分别完成对自身资源分配的规划，并通过某种协同方式相互影响，最终所有节点的局部资源分配规划形成了共享集群整体的资源分配规划。在分布式资源分配规划方法的设计中，节点自身资源规划策略以及节点间协同方式是研究的重点和难点。通过调研现有的分布协同技术，和分析共享集群资源分配规划问题的特点，方法借鉴了市场中买卖双方的协作模型，让节点根据自身的资源使用情况，自发地向其它节点转让或从其它节点获取后续一段时间内到来的应用请求；从而，共享集群的资源规划体现为应用请求在节点间转移的过程，当请求转移停止时，共享集群也就完成了其整体的资源分配规划。

基于虚拟机技术的节点资源动态分配机制

中间件中现有的节点资源分配大多借助下层操作系统和语言平台提供的支持机制而实现，这些机制在划分资源的同时，很难保证应用对资源使用的隔离性。因此，本资源管理工具在中间件上提出一种基于虚拟机技术的节点资源划分机制，其核心思想是在中间件中实现对虚拟机监控器的封装，在底层利用虚拟机为每个应用实例隔离出一个独立的运行环境，并通过调用虚拟机监控器提供的资源操作原语，例如，设置为某个虚拟机划分的内存量，动态地为每个应用实例分配和回收资源；在上层由中间件完成从资源分配方案到下层资源操作原语的解释，并提供一组用于控制应用实例可使用资源的接口。

支持应用按需部署的中间件动态配置框架

中间件服务的动态配置是按需部署应用的必要条件。针对目前大多数中间件无法在运行时刻动态地配置中间件服务的种类和实现这一现状，本资源管理工具

介绍了一种共享集群的资源分配规划机制

提出并实现了一种基于OSGi技术的中间件服务动态配置框架，其核心思想是首先在对中间件上容器和服务依赖关系进行梳理的基础上，基于OSGi中的构件模型对容器和服务进行封装，并在它们之间建立所需的静态和动态两种依赖关系，从而使得在运行时刻装载或卸载中间件服务成为可能；然后，增加对应用同中间件服务之间、中间件服务同容器之间、以及不同中间件服务之间的依赖关系的管理，其中包括对依赖关系的描述，和运行时刻解析，从而使得运行时刻中间件能够按照应用需要自动地完成对中间件服务的配置。

介绍了一种共享集群的资源分配规划机制

第二章 分布式的资源分配动态规划方法

本方法基于对应用的请求量预测和当前共享集群的资源分配状况，通过节点自身的资源评估和节点间的协作寻求出一种能较好满足各应用需求的资源分配规划方案，也即共享集群的每个节点部署哪些应用实例以及为该应用实例分配多少资源。由于不同的应用可能具有不同的重要程度，方法为每种应用请求赋予不同的价值，重要程度越高，价值越大，资源分配的目标是最大化应用请求的价值之和。目前，该方法仅考虑CPU和内存两类资源。

方法核心思想描述如下所述：

(1) 方法将共享集群看成一个“市场”，集群中的节点看成“交易者”，应用的请

求份额看成“商品”。节点通过“出售”和“购买”应用请求份额来完成对共享

集群中资源的分配规划。

(2) 每个节点会周期性地对自身的资源使用情况进行评估，当它发现自身资

源量不足以处理收到的请求时，它会主动向其它节点转让其所持有的应

用请求份额；而当节点发现 …… 此处隐藏：6912字，全部文档内容请下载后查看。喜欢就下载吧 ……