Learned Indexes with Updates

Abstract

The present research intends to analyze the performance of Learned Indexes, having as starting point the internship held at SAP SE in Walldorf, Germany, between April,2022 and September,2022. While recent research on Learned Indexes within Database Manage ment Systems has demonstrated significant performance improvements over traditional indexes such as B-trees, there is still much to be explored in this area. Currently, there is a lack of studies on dynamic data, particularly those involving real-world datasets. Given the potential for significant gains in performance when implemented in Database Man agement Systems as compared to traditional indexes, there is a great deal of interest in conducting a comprehensive study of Learned Indexes. So the objective of this project is to benchmark several cases, initially artificially created one so we can explore some deep learning model difficulties and analyse how the database behaves. In the initial phase of this project, we established a baseline by reproducing results from previous research. We observed that our results closely resembled the behavior reported in those papers. How ever, when working with artificially created datasets, we noticed some overfitting in the model and its impact on the model’s creation and insertion.

A presente pesquisa pretende analisar o comportamento de Learned Indexes, tendo como ponto de partida o estágio realizado na SAP SE em Walldorf, Alemanha, no período de abril de 2022 a setembro de 2022. Pesquisas recentes sobre Learned Indexes em Sistema de Gerenciamento de Banco de Dados tem demonstrado melhorias significativas de desempenho em relação a índices tradicionais, como B-trees, porém ainda há muito a ser explorado nessa área. Atualmente, há uma carência de estudos sobre dados dinâmicos, principalmente aqueles envolvendo conjuntos de dados reais. Dado o potencial de ganhos significativos de desempenho quando implementados em Sistema de Gerenciamento de Banco de Dados em comparação com os índices tradicionais, há um grande interesse em conduzir um estudo mais aprofundado de Learned Indexes. Assim, o objetivo deste projeto é fazer benchmark de três casos, inicialmente criados artificialmente para que possamos explorar algumas dificuldades do modelo de aprendizado profundo e analisar como o banco de dados se comporta. Na fase inicial deste projeto, estabelecemos uma linha de base reproduzindo resultados de pesquisas anteriores. Observamos que nossos resultados se assemelham bastante ao comportamento relatado nesses artigos. No entanto, ao tra balhar com conjuntos de dados criados artificialmente, notamos overfitting nos modelos utilizados e seu impacto na criação e inserção do modelo