Inferência em agrupamento considerando múltiplos grupos

Abstract

Métodos de agrupamento são ferramentas úteis na identificação de padrões em conjuntos de dados. No contexto de alta dimensionalidade e tamanho amostral pequeno, o desafio de decidir se o agrupamento encontrado é estatisticamente significativo é ainda maior. Entre os métodos de agrupamento adequados à esse contexto, poucos possuem inferência e muitas vezes são específicos para dois grupos. Estamos propondo um método para agrupar de forma ótima em mais conjuntos, nesse caso três. Além de uma abordagem para clusterização dos elementos em três grupos, propomos um teste de homogeneidade para verificar a sua significância. Apresentamos a estatística de teste, suas propriedades assintóticas e, através de simulações, estudamos propriedades como tamanho e poder do teste proposto. Comparações com outras metodologias binárias indicam que nossa proposta é mais adequada para situações em que os dados têm uma estrutura inerente de três grupos.

Inference in clustering is paramount to uncovering inherent group structure in the data. Clustering methods which assess statistical significance have recently drawn attention owing to their importance for the identification of patterns in high dimensional data with applications in many scientific fields. We present here a U-statistics based approach, specially tailored for high-dimensional data, that clusters the data into three groups while assessing the significance of such partitions. Because our approach stands on the U-statistics based clustering framework of uclust, it inherits its characteristics being a non-parametric method relying on very few assumptions about the data, and thus can be applied to a wide range of dataset. Furthermore our method aims to be a more powerful tool to find the best partitions of the data into three groups when that particular structure is present. In order to do so, we first propose an extension of the test U-statistic and develop its asymptotic theory. Additionally we propose a ternary non-nested significance clustering method. Our approach is tested through multiple simulations and found to have more statistical power than competing alternatives in all scenarios considered. An application to image recognition shows that our proposal presents a superior performance for this special case.