Métodos e Métricas Quantitativas para Avaliação de Desempenho de Laboratórios na Análise de Segurança de Software
Resumo:
A avaliação objetiva da competência técnica de laboratórios responsáveis pela análise de produtos e códigos de software com potenciais vulnerabilidades de segurança cibernética constitui um desafio para a infraestrutura da qualidade, especialmente pela ausência de métricas quantitativas específicas que permitam comparar de forma sistemática o desempenho de diferentes participantes na análise de segurança de software em ensaios de proficiência. Nesse contexto, esta tese propõe métodos quantitativos para avaliação de desempenho de participantes em ensaios de proficiência e comparações interlaboratoriais, aplicados à análise de segurança em produtos e códigos de software. A proposta fundamenta-se na utilização de técnicas de teste de software associadas à identificação e exploração de vulnerabilidades, integrando três dimensões de avaliação: a identificação das vulnerabilidades, representada pela métrica (V_i), a capacidade dos casos de teste de detectar e matar os mutantes de referência, avaliada por meio do Mutation Score (MS_i) e a cobertura das regiões do código sensíveis às vulnerabilidades, representada pela métrica de Cobertura Sensível à Vulnerabilidade (CSV_i).
No método baseado em teste de mutação orientado a segurança, os participantes devem identificar as vulnerabilidades existentes no software e desenvolver casos de teste destinados a matar mutantes associados às regiões vulneráveis. O desempenho é avaliado considerando a capacidade de identificar as vulnerabilidades e de desenvolver casos de teste capazes de detectar e eliminar mutantes gerados em regiões do código associadas a condições de falha de segurança. No método baseado em cobertura de código, os participantes identificam as vulnerabilidades e desenvolvem testes unitários destinados a exercitar as regiões do código associadas às vulnerabilidades. A avaliação considera as Regiões Sensíveis à Vulnerabilidade (RSV) cobertas pelos testes do participante em comparação com as regiões definidas no mapeamento de referência. Para essa finalidade, é proposta a métrica Cobertura Sensível à Vulnerabilidade (CSV), que quantifica a proporção das regiões sensíveis à vulnerabilidade definidas no mapeamento de referência que são efetivamente cobertas pelos testes desenvolvidos pelo participante.
Os dois métodos são integrados a um modelo matemático de avaliação quantitativa, no qual o desempenho individual é obtido pela combinação da identificação de vulnerabilidades com uma métrica específica do método empregado. O índice de desempenho é definido por (S_i = alpha V_i + beta MS_i + gamma CSV_i), em que (alpha), (beta) e (gamma) são pesos configuráveis conforme desenho do ensaio, que representam a importância relativa de cada dimensão e cuja soma é igual a um. A proposta permite a aplicação do modelo tanto em avaliações baseadas em teste de mutação quanto em avaliações baseadas em cobertura de código, possibilitando a aplicação de diferentes combinações das métricas, conforme o objetivo do ensaio. Para a análise comparativa dos resultados, foram utilizados procedimentos estatísticos baseados no valor de consenso, no desvio-padrão para avaliação de proficiência e no índice (z), conforme o desenho estatístico adotado para os experimentos.
Para verificar a aplicabilidade dos métodos propostos, foram realizados experimentos em formato de comparação interlaboratorial nos quais participantes, atuando como laboratórios simulados, analisaram softwares contendo vulnerabilidades previamente conhecidas e desenvolveram casos de teste para detectar, eliminar mutantes e exercitar as regiões associadas a exploração das vulnerabilidades. Os resultados obtidos evidenciam a aplicabilidade experimental da utilização de métricas de teste de software como instrumentos quantitativos para diferenciar o desempenho dos participantes, possibilitando estabelecer critérios objetivos e comparáveis com procedimentos estruturados e passíveis de reprodução para avaliação quantitativa do desempenho dos participantes na análise de segurança de software, fornecendo evidências quantitativas que podem subsidiar a avaliação da competência técnica. A proposta contribui, dessa forma, para aproximar os conceitos de ensaio de proficiência, comparação interlaboratorial, engenharia de software e segurança cibernética, oferecendo uma abordagem quantitativa e um ferramental metodológico estruturado para avaliação de laboratórios que atuam na análise de produtos e códigos de software.
Abstract
The objective assessment of the technical competence of laboratories responsible for analyzing software products and source code with potential cybersecurity vulnerabilities constitutes a challenge for quality infrastructure, particularly due to the lack of specific quantitative metrics that enable the systematic comparison of the performance of different participants in software security analysis within proficiency testing. In this context, this thesis proposes quantitative methods for assessing the performance of participants in proficiency testing and interlaboratory comparisons, applied to security analysis of software products and source code. The proposal is based on the use of software testing techniques associated with vulnerability identification and exploitation, integrating three assessment dimensions: vulnerability identification, represented by the (V_i) metric; the ability of test cases to detect and kill the reference mutants, assessed through the Mutation Score (MS_i); and the coverage of code regions sensitive to vulnerabilities, represented by the Vulnerability-Sensitive Coverage ((CSV_i)) metric.
In the security-oriented mutation testing method, participants are required to identify existing vulnerabilities in the software and develop test cases intended to kill mutants associated with vulnerable regions. Performance is assessed by considering the ability to identify vulnerabilities and to develop test cases capable of detecting and eliminating mutants generated in code regions associated with security failure conditions. In the code coverage-based method, participants identify vulnerabilities and develop unit tests intended to exercise the code regions associated with the vulnerabilities. The assessment considers the Vulnerability-Sensitive Regions (RSV) covered by the participant’s tests in comparison with the regions defined in the reference mapping. For this purpose, the Vulnerability-Sensitive Coverage (CSV) metric is proposed, which quantifies the proportion of vulnerability-sensitive regions defined in the reference mapping that are effectively covered by the tests developed by the participant.
The two methods are integrated into a mathematical model for quantitative assessment, in which individual performance is obtained by combining vulnerability identification with a metric specific to the method employed. The performance index is defined as (S_i = alpha V_i + beta MS_i + gamma CSV_i), where (alpha), (beta), and (gamma) are configurable weights according to the design of the proficiency test, representing the relative importance of each dimension, and whose sum is equal to one. The proposed approach allows the model to be applied both to mutation testing-based assessments and to code coverage-based assessments, enabling different combinations of the metrics according to the objective of the proficiency test. For the comparative analysis of the results, statistical procedures based on the consensus value, the standard deviation for proficiency assessment, and the (z)-score were used, according to the statistical design adopted for the experiments.
To assess the applicability of the proposed methods, experiments were conducted in the form of interlaboratory comparisons in which participants, acting as simulated laboratories, analyzed software containing previously known vulnerabilities and developed test cases to detect and eliminate mutants and to exercise the regions associated with vulnerability exploitation. The results obtained provide evidence of the experimental applicability of software testing metrics as quantitative instruments for differentiating participant performance, enabling the establishment of objective and comparable criteria through structured and reproducible procedures for the quantitative assessment of participant performance in software security analysis, providing quantitative evidence that can support the assessment of technical competence. Thus, the proposal contributes to bringing together the concepts of proficiency testing, interlaboratory comparison, software engineering, and cybersecurity, offering a quantitative approach and a structured methodological framework for assessing laboratories involved in the analysis of software products and source code.
Banca examinadora:
Prof. Raphael Carlos Santos Machado, UFF – Presidente
Prof. Luis Felipe Ignácio Cunha, UFF
Profa. Vânia de Oliveira Neves, UFF
Prof. Wladmir Araujo Chapetta, Inmetro
Prof. Daniel Sadoc Menasche, UFRJ
Prof. Rodrigo Pereira David, Inmetro