Cumulative Evaluation and Outlier Detection in Computer Networks
Resumo:
À medida que as redes de computadores se tornam mais complexas, observa-se um aumento contínuo de exigências relacionadas a aplicações de alta demanda como streaming de vídeo. Do mesmo modo crescem as expectativas dos usuários finais em relação à qualidade da rede. A avaliação do desempenho de redes deve, portanto, acompanhar esses desafios. Mais especificamente, o monitoramento de backbones precisa estar equipado com ferramentas robustas para a avaliação de desempenho. Outro desafio importante reside na grande quantidade de dados gerados pelas redes modernas, provenientes de múltiplos enlaces, nós e dimensões de avaliação. Essa abundância torna a inspeção manual impraticável e reforça a necessidade de métodos capazes de resumir, processar e interpretar o comportamento da rede de forma significativa e acionável. Esta dissertação busca contribuir para os esforços na realização de diagnósticos transparentes acerca da qualidade de redes de computadores, além da identificação e localização de outliers que indiquem gargalos e irregularidades no funcionamento saudável das redes. Em direção a esse objetivo, duas frentes são desenvolvidas: o desenvolvimento de um novo indicador de qualidade de redes, e a proposição de uma técnica de detecção de outliers em conjuntos de dados tabulares. A primeira parte do trabalho introduz ANPI, um novo índice de desempenho de redes de computadores baseado em Funções de Distribuição Acumuladas (CDFs) de métricas de fluxos. A métrica proposta agrega informações acerca das distribuições de diferentes dimensões de monitoramento em diferentes pontos da rede, tanto para pontos de interesse internos quanto externos ao backbone analisado. Diferentes níveis de agregação são testados e comparados para se entender de que forma as diferentes dimensões e localizações devem ser combinadas para gerar uma pontuação final. Um dos principais benefícios da métrica proposta é que o desempenho insatisfatório em cenários específicos não é diluído, mesmo quando outras medições em outros pontos da rede permanecem saudáveis. Dessa forma, a estratégia apresentada identifica não apenas falhas globais, mas também falhas locais, que podem revelar problemas importantes a serem corrigidos na rede. Além disso, as métricas brutas são processadas de modo a permitir agregação e comparação não enviesadas, uma vez que diferenças como a distância geográfica tornam inadequada a comparação direta entre medições em contextos distintos. Continuando os esforços de diagnóstico transparente, a segunda parte da dissertação apresenta CCBOS, um novo método de detecção de outliers que se baseia no tradicional método HBOS, ampliando-o com a inclusão de informação ordinal para a detecção de outliers que se encontram nas caudas das distribuições. Dessa forma, é esperado que ambas as frentes sejam utilizadas em conjunto para a identificação de baixo desempenho e posterior localização das irregularidades que mais degradam o indicador. Assim, as duas frentes poderão colaborar para o bom funcionamento das redes de computadores em diferentes escalas, além de fornecer mais informações para apoiar decisões de intervenção em políticas, algoritmos e arquiteturas.
Abstract:
As computer networks become more complex, there is a continuous increase in requirements associated with high-demand applications such as video streaming. Likewise, end-user expectations regarding network quality continue to grow. Network performance evaluation must therefore keep pace with these challenges. More specifically, backbone monitoring must be equipped with robust tools for performance assessment. Another important challenge lies in the large amount of data generated by modern networks, originating from multiple links, nodes, and evaluation dimensions. This abundance makes manual inspection impractical and reinforces the need for methods capable of summarizing, processing, and interpreting network behavior in a meaningful and actionable way. This dissertation seeks to contribute to efforts toward transparent diagnostics of computer network quality, as well as the identification and localization of outliers that indicate bottlenecks and irregularities in the healthy operation of networks. To this end, two research directions are developed: the design of a new network quality indicator and the proposal of an outlier detection technique for tabular datasets. The first part of this work introduces ANPI, a new computer network performance index based on Cumulative Distribution Functions (CDFs) of flow metrics. The proposed metric aggregates information about the distributions of different monitoring dimensions at different points of the network, considering both internal and external points of interest with respect to the analyzed backbone. Different aggregation levels are tested and compared to understand how different dimensions and locations should be combined to produce a final score. One of the main benefits of the proposed metric is that poor performance in specific scenarios is not diluted, even when other measurements at other points of the network remain healthy. Thus, the proposed strategy identifies not only global failures, but also local failures, which may reveal important issues to be corrected in the network. In addition, the raw metrics are processed to enable unbiased aggregation and comparison, since differences such as geographic distance make direct comparison between measurements in distinct contexts inappropriate. Continuing the effort toward transparent diagnostics, the second part of the dissertation presents CCBOS, a new outlier detection method based on the traditional HBOS method, extending it through the inclusion of ordinal information for detecting outliers located in the tails of distributions. Therefore, both research directions are expected to be used together for the identification of low performance and the subsequent localization of the irregularities that most degrade the indicator. In this way, the two directions may contribute to the proper operation of computer networks at different scales, while also providing additional information to support intervention decisions in policies, algorithms, and architectures.
Banca examinadora:
Prof. Antonio Augusto de Aragão Rocha, UFF
Prof. Célio Vinicius Neves de Albuquerque, UFF
Prof. José Ferreira de Rezende, UFRJ