Anomalous behavior detection through phase profiling

Abstract

One of the main challenges for security systems is the detection of general vulnerability exploitation, especially valid control flow exploitation. Detection and mitigation of specific and regular exploitation of memory corruption have been thoroughly researched and applied through disabling the execution of instruction pages and randomizing the access space of vulnerable applications. However, advanced exploits already bypass these techniques, while other exploits abuse different vulnerabilities and are thus not mitigated by the current state of the art. In general, the specificity of current approaches, such as signature-based detection, is unable to detect new types of exploits and attacks, even though their behavior is anomalous to what can be considered normal system execution. In this work, we propose the detection of general anomalies by partitioning applications into phases characterized by their basic block activity. The mechanism implementation inserts checks for each phase in the target application binary. These checks determine whether the phases behave as expected. They can be implemented purely in software, or with hardware aid, offering a trade-off between overhead against detection rate and flexibility. In contrast to previous work, our mechanism can detect exploits that use valid application control flow, such as Heartbleed, and is extensible to detect other types of anomalies. Experiments with several exploitations show that we can detect attacked instances with simple phase features, such as the number of distinct basic blocks in the phase.

Um dos principais desafios para os sistemas de segurança é a detecção de ataques de vulnerabilidades em geral, especialmente as que exploram fluxos de controle válidos. A detecção e mitigação de ataques da corrupção de memória já foram exaustivamente pesquisadas e são prevenidas através da desativação da execução de páginas de instruções e randomizando o espaço de endereços de programas vulneráveis. No entanto, métodos de ataques avançados já conseguem trespassar tais técnicas, enquanto outros métodos de ataque exploram vulnerabilidades diferentes e, portanto, não podem ser prevenidas pelos métodos tradicionais. Em geral, a especificidade das abordagens atuais, como a detecção baseada em assinatura, é incapaz de detectar novos tipos de ataques, mesmo que seu comportamento seja anômalo ao que pode ser considerado execução normal do sistema. Neste trabalho, propomos a detecção de anomalias gerais, particionando programas em fases caracterizadas por sua atividade de blocos básicos. A implementação do mecanismo insere verificações para cada fase no binário do programa. Essas verificações determinam se as fases se comportam conforme o esperado. Eles podem ser implementados exclusivamente em software ou com ajuda de hardware, oferecendo uma compensação entre tempo adicional e taxa de detecção e flexibilidade. Ao contrário de trabalhos anteriores, nosso mecanismo pode detectar ataques que usam fluxo de controle válido, como o Heartbleed, e é extensível para detectar outros tipos de anomalias. Experimentos com vários ataques mostram que podemos detectar instâncias atacadas com recursos simples da fase, como o número de blocos básicos distintos na fase.