Integrated Cluster Environment (ICE) : plataforma de gerenciamento e de acesso a múltiplos clusters

Abstract

Facilitar o gerenciamento e o acesso a sistemas de alto desempenho vem sendo uma área de pesquisa explorada nos últimos anos. Isto acontece uma vez que se verifica o aumento do número de usuários, muitos pertencentes a outras áreas, como por exemplo, biologia, geologia, hidrologia, etc e, desta forma, é preciso facilitar os meios de interação destes usuários com tais sistemas, assim como melhorar as técnicas de gerenciamento dos mesmos. Além do aumento do número e da multidisciplinaridade desses usuários, existe também o fato de que grande parte deles tem acesso a diferentes tipos de sistemas de alto desempenho. Em geral, estes sistemas possuem ferramentas não padronizadas, sendo que cada uma apresenta uma interface e um conjunto de ações e comandos a serem realizados para que possam dispor de suas funcionalidades. Este trabalho propõe a definição de uma arquitetura de gerenciamento e acesso a múltiplos clusters, que seja capaz de ser facilmente extensível, transparente, interoperável e de fácil utilização configuração e manutenção. Como resultado da arquitetura proposta, foi desenvolvido um protótipo, denominado ICE - Integrated Cluster Environment. Os principais objetivos da arquitetura e do ambiente ICE são: (i) capacidade de uniformização do modo como as ferramentas de clusters são utilizadas e, também, uniformização na maneira como os clusters são acessados; (ii) transparência na forma de acesso e uso dos clusters; e (iii) capacidade de extensibilidade em dois níveis: o primeiro refere-se á extensibilidade do número de funcionalidades (serviços) providos pelo sistema e o segundo está relacionado á capacidade do sistema lidar com o uso de diferentes ferramentas que possuem a mesma funcionalidade. Além da descrição da arquitetura e do protótipo, neste trabalho, também é realizada uma avaliação do ambiente ICE. Essa avaliação foi dividida em dois momentos. O primeiro traz a comparação das características do ambiente proposto com algumas ferramentas relacionadas. No segundo momento são apresentados alguns experimentos que visam identificar o overhead inserido pelo ambiente ICE na execução das operaçõess do módulo de gerenciamento de aplicações, desenvolvido e descrito neste trabalho.

Some researches have been done over the last years in order to improve the management and access of high performance systems. One of the motivations of these researches is the continuously increase in the number of users who, not rarely, belong to other areas, such as biology, geology, hydrology, etc; so it is necessary to provide some access and also management facilities in these kinds of systems. Furthermore, the users also have access to different kinds of high performance systems, and they have to deal with distinct tools of their underlying, which are not standardize. Therefore, the users need to learn the specificities of each tool in each high performace system that they have permission to access. Aiming to solve this problem, this work proposes an architecture to provide access and management of multiple clusters with extensibility, transparance, interoperability, user-friendly, manageability and maintainability. As a result of the proposed architecture, a prototype called ICE - Integrated Cluster Environment - was developed. The main goals of the architecture and the ICE environment are: (i) the capability of uniforming the manner the cluster tools are used and accessed; (ii) cluster access and transparence use; and (iii) two extensibility levels: the first one refers to capability of extending the number of functionalities/services provided by the environment and the second one concerns to the capability of extending the number of tools, with the same functionality, the system is able to manage. Beyond the architecture and prototype description, this research presents the evaluation of ICE environment, which is divided in two parts. The first one brings the comparison of the features between ICE and some related work. The second part shows some experiments that intend to verify the overhead inserted by ICE environment when performing the tasks of the job management module, also developed and explained in this work.