An approach based on language models and natural language definitions for relationship classification

Abstract

Identifying relationships between concepts is a very important task for several NLP tasks, as well as for building explicit knowledge models (ontologies and knowledge graphs). In many of these tasks, experts usually manually establish these relationships by carefully analyzing each concept’s meaning and considering the domain knowledge elicited from domain practitioners or from domain literature. In this work, we propose an approach based on the pre-trained language model BERT to classify relationships between con cepts. We assume that we can represent the concept’s semantics using their definitions in natural language. Thus, our proposed approach classifies the relations based solely on natural language texts representing the concept’s definition. Our experiments showed no table classification results, achieving an F1 score of 96% in the classification of holonyms, hypernyms, and unrelated, indicating that our approach can accurately predict semantic relations between concepts using only their natural language definitions as input.

A identificação de relações entre palavras é uma tarefa muito importante para diversas tarefas de PLN (Processamento de Linguagem Natural) assim como para a construção de modelos de conhecimento explícito (ontologias e grafos de conhecimento). Em muitas dessas tarefas, os especialistas geralmente estabelecem essas relações manualmente, analisando cuidadosamente o significado de cada conceito e considerando o conhecimento do domínio obtido de profissionais da área ou da literatura do domínio. Neste trabalho, exploraremos uma abordagem baseada no modelo de linguagem pré-treinado BERT para classificar relações entre conceitos. A abordagem proposta assume que podemos representar a semântica do conceito usando suas definições em linguagem natural. Assim, nossa abordagem proposta classifica as relações baseando-se unicamente em textos em linguagem natural que representam a definição do conceito. Nossos experimentos indicam que nossa abordagem é capaz de prever com precisão as relações semânticas entre conceitos. Obtivemos resultados notáveis de classificação, alcançado um score F1 de 96% na classificação de de holônimias, hiperonimias e classes não relacionadas indicando sua capacidade de classificação da relação entre conceitos utilizando as definições como input.