Integração de métodos de aprendizado de máquina e seleção de variáveis para caracterização da qualidade do café

Abstract

Dados espectrais de infravermelho utilizados na avaliação da qualidade do café apresentam alta dimensionalidade e multicolinearidade. Esta dissertação tem como objetivo avaliar uma metodologia focada na seleção de comprimentos de onda relevantes. A metodologia inicia com a divisão do conjunto de dados em porções de treino e teste. Em seguida, são calculados índices de importância para os comprimentos de onda no conjunto de treino. A partir desse ranqueamento, é conduzido um procedimento iterativo das variáveis, no qual modelos de aprendizado de máquina são ajustados progressivamente e avaliados o desempenho. O subconjunto de variáveis que maximiza a acurácia (para classificação) ou minimiza o RMSE (para predição) é selecionado. Por fim, os modelos finais são validados no conjunto de teste, composto por observações não utilizadas durante a construção dos modelos. Para a tarefa de classificação de amostras de café como especiais ou não, quatro tipos de modelos (Random Forest, Support Vector Machine, K‑Nearest Neighbors e Regressão Logística) foram combinados com métodos de seleção de variáveis (Relief, Chi-Squared, Laplacian Score e mRMR). A melhor performance foi obtida pela combinação Random Forest e Chi-Squared, alcançando acurácia de 0,74 ao reter apenas 0,5% dos 1798 comprimentos de onda originais. Na etapa de predição foram utilizados os modelos Gradient Boosting Regressor e Multi‑Layer Perceptron Regressor em conjunto com métodos de seleção de variáveis (Kruskal–Wallis, Dwass–Steel–Critchlow–Fligner e Ganho de Informação). O melhor resultado foi observado na predição do atributo retrogosto, com RMSE de 0,2440 ao reter apenas 0,44% das variáveis. De forma geral, os resultados demonstram que seleção de variáveis permitem reduzir drasticamente a dimensionalidade espectral, mantendo desempenho em classificações e predições para caracterização da qualidade de amostras de café.

Infrared spectral data used in assessing coffee quality exhibit high dimensionality and multicollinearity. This dissertation aims to evaluate a methodology focused on selecting relevant wavelengths. The methodology begins by splitting the dataset into training and testing portions. Next, importance indices for the wavelengths are calculated on the training set. Based on this ranking, an iterative variable selection procedure is conducted, in which machine learning models are progressively fitted and their performance evaluated. The subset of variables that maximizes accuracy (for classification) or minimizes RMSE (for prediction) is selected. Finally, the final models are validated on the test set, composed of observations not used during model construction. For the task of classifying coffee samples as specialty or non-specialty, four types of models (Random Forest, Support Vector Machine, K-Nearest Neighbors, and Logistic Regression) were combined with variable selection methods (Relief, Chi-Squared, Laplacian Score, and mRMR). The best performance was achieved by the Random Forest and Chi-Squared combination, reaching an accuracy of 0.74 while retaining only 0.5% of the 1,798 original wavelengths. In the prediction stage, Gradient Boosting Regressor and Multi-Layer Perceptron Regressor models were used in conjunction with variable selection methods (Kruskal–Wallis, Dwass–Steel–Critchlow–Fligner, and Information Gain). The best result was observed in predicting the aftertaste attribute, with an RMSE of 0.2440 while retaining only 0.44% of the variables. Overall, the results demonstrate that variable selection methods can drastically reduce spectral dimensionality while maintaining performance in classification and prediction tasks for characterizing the quality of coffee samples.