Defesa de Proposta de Tese de Doutorado de Isela Mendoza del Castillo, em 12/09/2024, às 09:00 horas, por videoconferência
Link para defesa: https://meet.google.com/jjd-uocq-bpm
Optimization of V&V Methods and Automating Test Data Generation with LLMs in Industry
Resumo:
Garantir a qualidade do software por meio de Verificação e Validação (V&V) é crucial, pois entregar produtos confiáveis e seguros é um diferencial na indústria de software cada vez mais competitiva. Este trabalho aborda dois escopos principais: primeiro, propomos otimizar técnicas de V&V em um contexto industrial para identificar o conjunto mínimo de métodos de V&V necessários para cobrir as características de qualidade de software definidas pela norma ISO 25010. Para isso, foi implementado um algoritmo FPT (Fixed Parameter Tractable) que considera as características de qualidade mais relevantes da ISO 25010, os métodos de V&V e seus respectivos custos, garantindo a cobertura completa da qualidade do produto. A abordagem foi validada por meio de um estudo de caso com cinco projetos reais de uma empresa, demonstrando resultados mais otimizados e eficazes do que abordagens anteriores, pois foi personalizada para cada projeto. O segundo escopo se concentra na automação da geração de dados de teste de entrada usando LLMs (Large Language Models). A automação é crucial para reduzir a carga de trabalho humana e aumentar a qualidade e a eficiência do produto, especialmente ao implementar testes de software, uma técnica dinâmica de V&V. Este estudo avalia a capacidade de LLMs de entender cenários BDD (Behavior-driven development) para gerar dados de teste de entrada. Os resultados indicam que o uso de LLMs atende adequadamente e efetivamente às expectativas, demonstrando grande potencial para avançar na automação de testes e geração de dados a partir de cenários BDD. A abordagem foi validada por meio de estudos experimentais e um estudo de caso aplicado a um projeto de empresa, demonstrando sua aplicabilidade e eficácia em um contexto industrial.
Este trabalho oferece uma contribuição dupla: otimiza técnicas de V&V nos estágios iniciais do desenvolvimento de software. Além disso, busca automatizar um tipo específico de teste identificado pela empresa como um gargalo, otimizando tempo e esforço. Ambas as abordagens têm o potencial de melhorar significativamente a qualidade do software e reduzir custos, destacando sua importância e complementaridade para a indústria. A pesquisa é conduzida no âmbito do programa DAI (Doutorado Acadêmico em Inovação), uma iniciativa do CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico) que fomenta a colaboração entre academia e indústria.
Abstract:
Ensuring software quality through Verification and Validation (V&V) is crucial, as delivering reliable and secure products is a differentiator in the increasingly competitive software industry. This work addresses two main scopes: First, we propose optimizing V&V techniques in an industrial context to identify the minimum set of V&V methods necessary to cover the software quality characteristics defined by the ISO 25010 standard. To this end, a Fixed Parameter Tractable (FPT) algorithm was implemented that considers the most relevant quality characteristics of ISO 25010, the V&V methods, and their respective costs, ensuring complete quality coverage of the product. The approach was validated through a case study with five real projects from a company, demonstrating more optimized and effective results than previous approaches since it has been customized for each project. The second scope focuses on the automation of the generation of input test data using LLMs (Large Language Models). Automation is crucial to reducing human workload and increasing product quality and efficiency, especially when implementing software testing, a dynamic V&V technique. This study evaluates the ability of LLMs to understand BDD (Behavior-driven development) scenarios to generate input test data. The results indicate that using LLMs adequately and effectively meets expectations, demonstrating great potential for advancing test automation and data generation from BDD scenarios. The approach was validated through experimental studies, and a case study applied to a company project, demonstrating its applicability and effectiveness in an industrial context.
This work offers a dual contribution: it optimizes V&V techniques in the early stages of software development. In addition, it seeks to automate a specific type of testing identified by the company as a bottleneck, optimizing time and effort. Both approaches have the potential to significantly improve software quality and reduce costs, highlighting their importance and complementarity for the industry. The research is conducted under the DAI (Academic Doctorate for Innovation) program, an initiative by CNPq (National Council for Scientific and Technological Development) that fosters collaboration between academia and industry.
Banca examinadora:
Prof. Uéverton dos Santos Souza, UFF – Presidente
Profa. Vânia de Oliveira Neves, UFF
Prof. João Felipe Nicolaci Pimentel, UFF
Profa. Aline Marins Paes Carvalho, UFF
Prof. Márcio Eduardo Delamaro, USP