Global variable selection for quantile regression

Abstract

A regressão quantílica fornece um modelo parcimonioso para a função quantílica condicional da variável resposta Y dado o vetor de covariáveis X, e descreve toda a distribuição condicional da resposta, produzindo estimadores mais robustos à presença de valores discrepantes. Os modelos de regressão quantílica especificam, para cada nível quantílico τ, a forma funcional para o τ -ésimo quantil condicional da resposta, o que traz complexidade para realizar a seleção de variáveis utilizando técnicas de regularização, como LASSO ou adaptive LASSO (adaLASSO), pois podemos obter um conjunto diferente de variáveis selecionadas para cada nível quantílico. Neste trabalho, propomos um método global para seleção de variáveis e estimação de coeficientes na estrutura de regressão quantílica linear, impondo poucas restrições à forma funcional de β(•), e aplicando penalização group adaLASSO para seleção de variáveis. Montamos um estudo de Monte Carlo comparando seis diferentes estimadores propostos baseados em LASSO, adaLASSO e group LASSO em seis cenários que variam o tamanho da amostra e o número de níveis quantílicos estimados. Os resultados demonstram que a seleção do parâmetro de ajuste λ para penalização é fundamental para a seleção das variáveis e estimativa do coeficiente. Observou-se que os métodos que utilizam LASSO tradicional são mais propensos a incluir o modelo verdadeiro em relação ao adaLASSO, mas renunciando à redução do modelo e não removendo covariáveis irrelevantes, enquanto as abordagens agrupadas são mais eficazes em zerar coeficientes menos relevantes.

Quantile regression provides a parsimonious model for the conditional quantile function of the response variable Y given the vector of covariates X, and describes the whole conditional distribution of the response, yielding estimators that are more robust to the presence of outliers. Quantile regression models specify, for each quantile level τ , the functional form for the conditional τ -th quantile of the response, which brings complexity to perform variable selection using regularization techniques, such as LASSO or adaptive LASSO (adaLASSO), as we might obtain a different set of selected variables for each quantile level. In this work, we propose a method for global variable selection and coefficient estimation in the linear quantile regression framework, imposing little restrictions on the functional form of β(·), and applying group adaLASSO penalization for variable selection. We set up a Monte Carlo study comparing six different proposed estimators based on LASSO, adaLASSO and group LASSO in six scenarios that diversify sample and quantile levels grid sizes. The findings demonstrate that the selection of the tuning parameter λ for penalization is critical for model selection and coefficient estimation. It was observed that the methods using traditional LASSO are more prone to include the true model as compared to adaLASSO, but renouncing model shrinkage and not removing irrelevant covariates, while the grouped approches are more effective in zeroing coefficients that are less relevant.