Analyzing the behavior of database system components with standard benchmarks

Abstract

TPC benchmarks are the most adopted benchmarks by academia and industry regarding database transactions performance. These benchmarks, together with the benchmark TATP, simulate a large range of the industry applications for databases. We use these benchmarks diversity to see how database behaves under different applications. In this work we investigate low-level characteristics of database systems when the benchmarks TPC-B, TPC-C, TPC-E, TPC-H, and TATP are executed, in order to understand how different applications properties impact the internal behavior of the system. The goal of such investigation is to understand typical application patterns and how they affect individual system components. This helps developers and administrators of database systems to improve performance and find optimal configuration parameters. We use in this work the storage manager Shore-MT to collect statistics of some internal components and detailed patterns of access to pages of the database. When we investigated the results collected, we saw how changes in these characteristics can have different impact in low-level components, and the application characteristics that can enhance or weaken this impact. We also identify which are the benchmarks that have more impact in each component and the benchmarks characteristics that affect these results.

Os benchmarks TPC são os mais adotados pela academia e indústria em relação a desempenho de transações de banco de dados. Esses benchmarks, juntamente com o TATP, simulam uma grande variedade de aplicações industriais para sistemas de banco de dados. Essa diversidade é usada para entender como o banco de dados se comporta sob diferentes aplicações. Nesse trabalho são investigadas características de baixo-nível do sistema de banco de dados quando os benchmarks TPC-B, TPC-C, TPC-E, TPC-H, e TATP são executados, a fim de entender como propriedades de diferentes aplicações impactam no comportamento interno do sistema. O objetivo de tal investigação é entender padrões típicos de aplicações e como eles afetam componentes individuais do sistema. Tal investigação ajuda desenvolvedores e administradores de sistemas de banco de dados a melhorarem performance e encontrarem parâmetros de configurações ideais. Nesse trabalho é usado o gerenciador de armazenamento Shore-MT para coletar estatísticas de componentes internos e padrões detalhados de acesso a paginas do banco de dados. Quando os resultados coletados são investigados, é verificado que mudanças nessas características podem ter impactos diferentes nos componentes de baixo-nível, e as características das aplicações que podem aumentar ou diminuir esse impacto. Também são identificados quais são os benchmarks que tem maior impacto em cada componente e as características deles que afetam esses resultados.