Client-transparent and self-managed MQTT broker federation at the application layer

Abstract

Scalability in messaging systems remains an open topic. Regular solutions present clus terized approaches, which can be very scalable for high-throughput systems but still rely on a unique orchestrator which is a single point of failure. On the other hand, a few so lutions, mainly commercial products, provide scalability based on federation approaches, which means the solution’s robustness relies on being distributed and highly fault-tolerant. Spohn (Spohn, 2020) presented an innovative solution based on a federation approach and being self-managed, which became the foundation of this work. On that, it is presented a Python-written wrapper for Mosquitto MQTT brokers providing federation capabilities with self-managed characteristics. The wrapper is client-transparent and self-managed, being capable of attaching to the MQTT Mosquitto broker without any significant cus tomization, only with a minor tune on the configuration to allow the log output to be diverted, and can also deal with topology changes without supervision.

Escalabilidade em sistemas de mensageria ainda é um tópico a ser explorado. As soluções existentes utilizam, principalmente, estratégias de clusterização, o que torna essas soluções adequadas para sistema com grandes fluxos de dados mas continuam dependendo unicamente de um orquestrador, que caracteriza um ponto único de falha. Por outro lado, algumas soluções, normalmente produtos comerciais, oferecem escalabilidade baseada em federação, sendo as principais características de robutez dessas soluções o fato de serem distribuídas e altamente tolerante a falhas. Spohn (2020) apresentou um solução inovadora baseada em federação, também sendo auto-gerenciada, que é o principal fundamento deste trabalho. Então, apresenta-se aqui um wrapper escrito em Python utilizado em conjunto com brokers MQTT Mosquitto, possibilitando que estes trabalhem de maneira federada e auto-organizada. Este wrapper é totalmente transparente ao cliente e pode ser anexado ao broker MQTT sem necessidade customização, apenas com pequenos ajustes de configuração de saída dos logs da aplicação.