Rivers : API para processamento de stream para linguagem Go

Abstract

Nos últimos anos o poder computacional evoluiu drasticamente e os sistemas computacionais atuais podem beneficiar-se de máquinas com múltiplas unidades de processamento para realizar concorrentemente tarefas de maneira mais eficiente. Go tira proveito do poder computacional de hardwares modernos implementando um modelo de concorrência gerenciado pelo runtime da linguagem conhecido como goroutines e sincronização via troca de mensagens através do uso de canais de comunicação. Este trabalho tem como objetivo a criação de um framework para processamento de streams de dados utilizando o modelo de concorrência da linguagem Go como fundação e padrões bem conhecidos como Produtor-Consumidor e Go Pipeline Pattern provendo uma API fluente e extensível para criação e composição de pipelines complexos de processamento de dados aplicando conceitos de programação funcional.

During the past few years hardware power has evolved drastically and today’s systems can leverage multi-core CPUs in order to perform concurrent tasks more effectively. Go takes advantage of this hardware power by implementing a simple though extremely powerful concurrency model built on top of concepts such as message passing via channels and a more lightweight form of thread managed by the runtime known as goroutines. The goal of this work is to provide a framework for data stream processing built on top of Go’s concurrency model along with well known patterns such as the Producer-Consumer pattern and the Go pipeline pattern in order to provide a fluent and extensible API for building and composing complex data processing pipelines through functional programming concepts.