Meta-learning for classifier ensemble optimization

Abstract

As machine learning becomes more popular, it is natural for non-experts to desire to leverage machine learning for their tasks. However, selecting an algorithm and fine-tuning it to work well on a given task is complex and requires technical knowledge, which they usually lack. This issue is even more evident when ensembles are used, as the number of algorithms to choose from and hyperparameters to tune grows significantly. Ensembles are particularly useful in complex tasks that involve challenges such as class imbalance or high dimensionality, which are often encountered in domain-specific tasks. Thus, developing mechanisms that help the non-technical user choose and tune an ensemble model to fit a task is highly relevant in the area of machine learning. In this thesis, a novel framework is presented called Meta-CLEO, which uses meta-learning to create ensembles for new tasks by relating them to previously learned ones, thus leveraging classifier ensembles that worked well on similar tasks in the past. Ensemble-specific diversity metrics are also used to provide increased generalization. Experiments with 74 tasks evaluated different ensemble ranking functions based on ensemble performance and diversity metrics and compared Meta-CLEO’s results with two baselines, Random Forest and AdaBoost. Results show that Meta-CLEO is equivalent to or outperforms the baselines in more than 75% of the evaluated tasks.

À medida que o aprendizado de máquina se torna mais popular, é natural que profissionais de outras áreas e que não são especialistas queiram aproveitá-lo em suas tarefas. No entanto, selecionar um algoritmo e ajustá-lo para que funcione bem em uma determinada tarefa é complexo e requer conhecimento técnico em aprendizado de máquina, que os profissionais de outros domínios em geral não possuem. Esse problema fica ainda mais evidente quando são usados ensembles, pois o número de algoritmos a serem escolhidos e de hiperparâmetros a serem ajustados aumenta significativamente. Os ensembles são particularmente úteis em tarefas complexas que envolvem desafios como desequilíbrio de classe ou alta dimensionalidade, que são frequentemente encontrados em tarefas específicas de domínio. Assim, o desenvolvimento de mecanismos que ajudem o usuário não técnico a escolher e ajustar um modelo de ensembles para se resolver uma tarefa é de grande relevância na área de aprendizado de máquina. Nesta tese, é apresentado um novo framework chamado Meta-CLEO, que usa o meta-aprendizado para criar ensembles para novas tarefas relacionando-as com tarefas aprendidas anteriormente, aproveitando ensembles de classificadores que funcionaram bem em tarefas semelhantes no passado. Métricas de diversidade específicas de ensembles também são usadas para proporcionar maior generalização. Os experimentos realizados com 74 tarefas avaliaram diferentes algoritmos de ranqueamento de ensembles com base no desempenho do ensemble e nas métricas de diversidade e compararam os resultados do Meta-CLEO com dois baselines, Random Forest e AdaBoost. Os resultados mostram que o Meta-CLEO é equivalente ou tem desempenho superior aos baselines em mais de 75% das tarefas avaliadas.