Look-ahead reinforcement learning : an application for load balancing network trafficc

Abstract

Considering the growth in complexity and scale of computer networks and that the lead ing cause of failures is human error, there is an increasing interest in minimizing the role of humans in network management tasks. In this context, we propose a two-step, machine learning approach for automatically balancing network flows that can compro mise network performance. In particular, firstly, we rely on identifying elephant flows, which more heavily impact network resources. Secondly, we use a reinforcement learning mechanism to determine the best action to be performed in the network, given its current status. The intuition for this two-step approach is to amortize the computational costs of reinforcement learning and apply it only to flows which can cause a high impact on network performance. To evaluate our work, we firstly perform a functional evaluation to discuss different re ward functions for load balancing using reinforcement learning. Secondly, we evaluate the elephant flow identification, discussing the impact of looking to elephant flows on reinforcement learning strategies. For the first set of experiments, results indicate that the RL approach is better than the baseline (controller with no RL intervention). The reward function with better results used a harmonic mean heuristic. This reward function was able to reduce FCT and be scalable concerning the number of switches. For the second set of experiments, we showed the importance of using an elephant flow intelligence: reward function with this factor was able to reduce FCT by 91%, considering a 50/50 workload (50% mice flows, and a 50% elephant flows proportion, with a 15 seconds interval between connections). Our main contributions are (i) problem modeling as a function of states and actions in a system that aims to balance network traffic and (ii) an architecture that more judiciously uses reinforcement learning on flows of interest for load balancing.

Considerando o crescimento de complexidade e escala das redes de computadores e que a principal causa de falhas é o erro humano, há um interesse crescente em minimizar o papel dos humanos nas tarefas de gerenciamento de rede. Nesse contexto, propomos uma abordagem de aprendizado de máquina em duas etapas para balancear automaticamente os fluxos de rede que podem comprometer o desempenho da rede. Em primeiro lugar, contamos com a identificação de fluxos de elefantes, que impactam mais fortemente os recursos da rede. Em segundo lugar, utilizamos um mecanismo de aprendizagem por reforço para determinar a melhor ação a ser realizada na rede, dado o seu estado atual. A intuição para esta abordagem em duas etapas é amortizar os custos computacionais do aprendizado por reforço e aplicá-los apenas aos fluxos que podem causar um alto impacto no desempenho da rede. Para avaliar nosso trabalho, primeiramente fazemos uma avaliação funcional para discutir diferentes funções de recompensa usadas no balanceamento de carga com aprendizagem por reforço. Em segundo lugar, avaliamos a identificação de fluxos elefante, discutindo o impacto de observar esse tipo de fluxo nas estratégias de aprendizagem por reforço. Para o primeiro conjunto de experimentos, os resultados indicam que a abordagem RL é melhor do que a solução de base (controlador sem RL). A função de recompensa com melhores resultados utilizou uma heurística de média harmônica e foi capaz de reduzir o FCT, sendo escalável em relação ao número de switches na topologia. Para o segundo conjunto de experimentos, mostramos a importância de usar uma inteligência de fluxos elefantes: a função de recompensa com esse fator foi capaz de reduzir o FCT em 91 %, considerando uma carga de trabalho de 50/50 (50 % de fluxos ratos e 50 % de fluxos elefantes, com intervalo de 15 segundos entre as conexões). Nossas principais contribuições são (i) modelagem de problemas em função de estados e ações em um sistema que visa balancear o tráfego da rede e (ii) uma arquitetura que usa de forma mais criteriosa a aprendizagem por reforço nos fluxos de interesse para o balanceamento de carga.