Performance evaluation of an uncheatable benchmark for cloud systems

Abstract

Cloud Computing is gaining increasing attention because of the economic bene ts it brings by making computing resources available over the network for use in a pay-as-you-go billing strategy. This avoids the need of purchasing and maintaining hardware and software. In the cloud, providers may have the incentive to cheat by providing less resources than agreed and charging consumers for the full amount of resources. One solution is to evaluate the provided resources through the use of uncheatable benchmarks, that are resistant to tampering. However, benchmarking is resource consuming and that means expenses to consumers that should then decide whether the e ort is worth it or not. This work presents an experiment that allows one to assess on the performance of an uncheatable benchmark for cloud systems and also gives an idea to consumers on how to proceed and on what to expect. The experiment is comprised by virtual machines that simulate typical cloud environments and also comprised by a tool that simulates a consumer's application. All components are carefully chosen to provide representative results. The ndings show the impact caused by the benchmark as well as the variation in the precision of the results produced by such a benchmark.

Cloud Computing gewinnt immer mehr Aufmerksamkeit wegen der wirtschaftlichen Vorteile, die es bringt. Cloud computing macht IT-Ressourcen uber das Netzwerk fur die Verwendung in eine Pay-as-you-go-Abrechnung verfugbar. Dies vermeidet die Notwendigkeit der Anscha ung und Wartung von Hardware und Software. In der Cloud konnen die Anbieter den Anreiz haben zu betrugen indem weniger Ressourcen als vereinbart zur Verfugung gestellt, aber vollstandig abgerechnet werden. Eine Losung ist, die bereitgestellten Ressource durch den Einsatz von falschungssichere Leistungsmessungen zu bewerten. Allerdings verbrauchen Benchmarks Ressourcen, und das bedeutet Kosten fur die Verbraucher, die dann entscheiden sollten, ob der Aufwand sich lohnt oder nicht. Diese Bachelorarbeit stellt ein Experiment vor, das es erlaubt die Leistung eines uncheatable Benchmark fur Cloud-Systeme zu bewerten und gibt den Verbrauchern einen Vorstellung davon, wie sie verfahren konnen und was sie erwartet. Das Experiment wird auf virtuellen Maschinen durchgefuhrt, die typische Cloud-Umgebungen zu simulieren. Die Werkzeuge, die die Anwendung eines Verbraucher simulieren, werden sorgfaltig ausgewahlt, um reprasentative Ergebnisse zu liefern. Die Ergebnisse zeigen die Auswirkungen die der Benchmark verursacht sowie seine Prazision.