Enabling self-driving networks with machine learning

Abstract

As modern networks grow in size and complexity, they also become increasingly prone to human errors. This trend has driven both industry and academia to try to automate management and control tasks, aiming to reduce human interaction with the network and human-made mistakes. Ideally, researchers envision a network design that is not only au tomatic (i.e., dependent of human instructions) but autonomous (i.e., capable of making its own decisions). Autonomous networking has been a goal sought for years, with many different concepts, designs and implementations, but it was never fully realized, mainly due to technological limitations. Recent advances in Artificial Intelligence (AI) and Ma chine Learning (ML) introduced a breath of fresh air into this concept, reemerging as the re-branded concept of self-driving networks, in view of its autonomous car counterparts. In broad terms, a self-driving network is an autonomous network capable of acting ac cording to high-level intents from an operator and automatically adapting to changes in traffic and user behavior. To achieve that vision, a network would need to fulfill four ma jor requirements: (i) understand high-level intents from an operator to dictate its behavior, (ii) monitor itself based on input intents, (iii) predict and identify patterns from monitored data and (iv) adapt itself to new behaviors without the intervention of an operator. As fulfilling the requirements of a self-driving network requires heavily relying on ML models to make decisions and classifications that directly impact the network, one partic ular issue becomes prominent with this design: trust. Applying ML to solve networking management tasks, such as the ones described above, has been a popular trend among researchers recently. However, despite the topic receiving much attention, industry op erators have been reluctant to take advantage of such solutions, mainly because of the black-box nature of ML models which produce decisions without any explanation or rea son as to which those decisions were made. Given the high-stakes nature of production networks, it becomes impossible to trust a ML model that may take system-breaking ac tions automatically, and most important to the scope of this thesis, a prohibitive challenge that must be addressed if a self-driving network design is ever to be achieved. The present thesis aims to enable self-driving networks by tackling the problem of the inherent lack of trust in ML models that empower it. To that end, we assess and scruti nize the decision-making process of ML-based classifiers used to compose a self-driving network. First, we investigate and evaluate the accuracy and credibility of classifications made by ML models used to process high-level intents from the operator. For that eval- uation, we propose a novel conversational interface called LUMI that allows operators to use natural language to describe how the network should behave. Second, we analyze and assess the accuracy and credibility of ML models’ decisions to self-configure the net work according to monitored data. In that analysis, we uncover the need to reinvent how researchers apply AI/ML to networking problems, so we propose a new AI/ML pipeline that introduces steps to scrutinize ML models using techniques from the emerging field of eXplainable AI (XAI).Finally, we investigate if there is a viable method to improve the trust of operators in the decision made by ML models that enable self-driving networks.Our investigation led us to propose a new XAI method to extract explanations from any given black-box ML model in the form of decision trees while maintaining a manageable size, which we called TRUSTEE.

Conforme as redes modernas crescem em tamanho e complexidade, elas também se tor nam cada vez mais sujeitas a erros humanos. Essa tendência tem levado a indústria e o meio acadêmico a tentar automatizar as tarefas de gestão e controle, visando reduzir a interação humana com a rede e os erros de origem humana. Idealmente, pesquisado res imaginam um projeto de rede que não seja apenas automático (i.e., , dependente de instruções humanas), mas autônomo (i.e., , capaz de tomar suas próprias decisões). A rede autônoma tem sido uma meta buscada há anos, com diversos conceitos, projetos e implementações, mas nunca foi totalmente realizada, principalmente devido às limi tações tecnológicas. Avanços recentes em Inteligência Artificial (IA) e Aprendizado de Máquina (Machine Learning — ML) introduziram ar fresco neste conceito, ressurgindo como o conceito renomeado de em redes autodirigidas, em vista de suas contrapartes de automóveis autodirigidos. Em termos gerais, uma rede autodirigida é uma rede autônoma capaz de agir de acordo com as intenções de alto nível de um operador e se adaptar au tomaticamente às mudanças no tráfego e no comportamento dos usuários. Para alcançar essa visão, uma rede precisaria cumprir quatro requisitos principais: (i) compreender as intenções de alto nível de um operador para ditar seu comportamento, (ii) monitorar-se com base nas intenções de entrada, (iii) prevêr e identificar padrões em dados monitorados e (iv) adaptar-se a novos comportamentos sem a intervenção de um operador.Como o cumprimento dos requisitos de uma rede autônoma exige uma grande depen dência de modelos de ML para tomar decisões e classificações que afetam diretamente a rede, um problema específico se torna proeminente com esse design: confiança. Aplicar ML para resolver tarefas de gerenciamento de rede, como as descritas acima, tem sido uma tendência popular entre os pesquisadores recentemente. No entanto, apesar do tó pico receber muita atenção, os operadores da indústria têm relutado em tirar proveito de tais soluções, principalmente por causa da natureza de caixa preta dos modelos de ML, que produzem decisões sem qualquer explicação ou razão para as quais essas decisões foram tomadas. Dada a natureza de alto risco das redes de produção, torna-se impossível confiar em um modelo de ML que pode tomar ações inadequadas automaticamente e, o mais importante para o escopo desta tese, um desafio proibitivo que deve ser abordado para que uma rede autodirigidas seja alcançada. A presente tese visa habilitar redes autônomas, abordando o problema da falta de confi ança inerente nos modelos de ML que a capacitam. Para tanto, avaliamos e escrutinamos o processo de tomada de decisão de classificadores baseados em ML usados para compor uma rede autônoma.Primeiro, investigamos e avaliamos a precisão e credibilidade das classificações feitas por modelos de ML usados para processar intenções de alto nível do operador.Para essa avaliação, propomos uma nova interface conversacional chamada LUMI que permite aos operadores usar linguagem natural para descrever como a rede deve se comportar. Segundo, analisamos e avaliamos a precisão e a credibilidade das decisões tomadas pelos modelos de ML usados para autoconfigurar a rede de acordo com os dados monitorados. Nessa análise, descobrimos a necessidade de reinventar como os pesquisa dores aplicam IA/ML a problemas de rede, então propomos um novo pipeline de IA/ML que apresenta etapas para examinar modelos de ML usando técnicas do campo emergente de IA eXplicável (IAX).