Defesa de Tese de Doutorado de Lauro Víctor Ramos Cavadas – 11/03/2025, 14h, por videoconferência
Link para defesa: https://meet.google.com/fcx-mqse-inq
Enhancing Imitation Learning Training with Provenance Data for Human-Like Bot Development
Resumo:
Personagens Não Jogáveis (NPCs) desempenham um papel crucial no aumento da imersão dentro do mundo do jogo. Quando bem projetados, os NPCs possuem personalidades únicas e reagem de forma realista às ações dos jogadores. Atender às expectativas dos jogadores para que os NPCs se assemelhem a indivíduos reais tornou-se um dos principais focos dos desenvolvedores de jogos que buscam aumentar a imersão em suas experiências interativas.
Nosso objetivo principal neste trabalho é aproveitar dados coletados via proveniência para desenvolver um modelo de treinamento que permita a um NPC exibir um comportamento semelhante ao de um jogador humano, utilizando Imitation Learning. Além disso, nosso objetivo secundário é utilizar proveniência não apenas como um mecanismo de registro, mas também como um meio para aumentar a eficiência do treinamento. Até onde sabemos, nem a integração do Imitation Learning com proveniência para o treinamento de agentes, nem o uso da proveniência como um componente ativo na fase de treinamento foram explorados anteriormente na literatura.
Para validar nosso modelo, projetado para ser genérico e aplicável a diversos jogos, realizamos avaliações utilizando dois jogos diferentes dentro do Unity ML-Agents Toolkit para o Unity Engine. Comparamos agentes treinados utilizando três diferentes modelos de treinamento de IA. Por meio de partidas entre os agentes, o agente treinado com o modelo final, apresentado neste trabalho, demonstrou maior eficiência. Além disso, jogadores participaram de partidas contra os agentes treinados, avaliando a credibilidade de cada modelo. Os resultados indicam que nossa abordagem aumenta tanto a credibilidade das ações do NPC quanto a eficiência geral do treinamento, estabelecendo uma nova direção para futuras metodologias de treinamento de Inteligência Artificial.
Abstract:
Non-Player Characters (NPCs) play a crucial role in enhancing the immersive experience of a game world. When designed effectively, NPCs possess unique personalities and react realistically to players’ actions. Meeting players’ expectations for NPCs to resemble real individuals has become a primary focus for game developers aiming to increase immersion in their games.
Our primary objective in this work is to leverage data collected via provenance to develop a training model that enables an NPC to exhibit human-like behavior using Imitation Learning. Additionally, our secondary goal is to utilize provenance not only as a logging mechanism but also as a means to enhance training efficiency. To the best of our knowledge, neither the integration of Imitation Learning with provenance for agent training nor the use of provenance as an active component in the training phase has been previously explored in the literature.
To validate our model, which is designed to be generic and applicable to various games, we conducted evaluations using two different games within the Unity ML-Agents Toolkit for the Unity Engine. We compared trained agents using three different AI training models. Through matches between the agents, the agent trained with the final model presented in this work demonstrated greater efficiency. Additionally, players participated in games against the trained agents, evaluating the credibility of each model. The findings indicate that our approach enhances both the credibility of NPC actions and the overall training efficiency, establishing a novel direction for future Artificial Intelligence training methodologies.
Banca examinadora:
Prof. Esteban Walter Gonzalez Clua, UFF – Presidente
Prof. Troy Costa Kohwalter, UFF
Prof. Aline Marins Paes Carvalho, UFF
Prof. Vanessa Braganholo Murta, UFF
Profa. Marcela Sávia Picanço Pessoa, UEA
Prof. José Ricardo da Silva Junior, IFRJ