Defesa de Proposta de Tese de Doutorado de André Paulo Dantas de Araujo, em 26/08/2024, às 09:00 horas, por videoconferência
Link para defesa: https://meet.google.com/mja-bupw-hyi
Optimizing Path Planning and Obstacle Avoidance for Autonomous Sailboats Using Hierarchical Reinforcement Learning with Potential Fields
Resumo:
A crescente necessidade de desenvolver veículos autônomos exige a simulação de seus processos de aprendizagem em ambientes controlados antes de implantá-los em cenários do mundo real. Esta tese propõe uma abordagem baseada em modelos avançados de desvio de obstáculos para veleiros autônomos, utilizando técnicas de aprendizado por reforço profundo (DRL). Especificamente, ela introduz a integração da Otimização de Políticas Proximais (PPO) e uma estrutura de aprendizado por reforço hierárquico (HR-C) para aprimorar o planejamento de trajetórias e a tomada de decisões.
A pesquisa compara várias técnicas de geração de trajetórias e evasão de obstáculos, incluindo DRL com Campos Potenciais Artificiais (APF), A* com controle PID, e uma combinação inovadora de DRL com PPO, APF e HR-C. A eficácia dessas técnicas é avaliada com base em métricas como tempo de navegação, precisão da trajetória e consumo de energia em um ambiente simulado de alta fidelidade utilizando o Gazebo. A simulação testa a capacidade do veleiro de navegar em cenários marinhos complexos e dinâmicos, modelando posições de obstáculos e condições de vento com coordenadas polares, convertidas em coordenadas cartesianas para modelagem precisa das interações ambientais.
A análise foca em medidas quantitativas, incluindo o tempo necessário para completar rotas predefinidas, a precisão em seguir trajetórias ótimas e as penalidades de energia durante a navegação. A integração proposta de DRL e APF, aprimorada por HR-C, mostra melhorias significativas na precisão da navegação e adaptabilidade, alcançando eficiência próxima ao caminho ótimo. Em contraste, A* com PID oferece planejamento de rota preciso, mas enfrenta dificuldades em ambientes dinâmicos, resultando em tempos de navegação mais longos.
Esta pesquisa contribui para o desenvolvimento de sistemas de veleiros autônomos mais eficientes e confiáveis, que podem ser aplicados em monitoramento ambiental e outras operações marinhas, avançando o campo dos veículos marinhos autônomos.
Abstract:
The growing need to develop autonomous vehicles necessitates simulating their learning processes in controlled environments before deploying them in real-world scenarios. This thesis proposes an approach based on advanced obstacle avoidance models for autonomous sailboats using deep reinforcement learning (DRL) techniques. Specifically, it introduces the integration of Proximal Policy Optimization (PPO) and a hierarchical reinforcement learning structure (HR-C) to enhance trajectory planning and decision-making.
The research compares several trajectory generation and obstacle avoidance techniques, including DRL with Artificial Potential Fields (APF), A* with PID control, and a novel combination of DRL with PPO, APF, and HR-C. The effectiveness of these techniques is evaluated based on metrics such as navigation time, trajectory accuracy, and energy consumption in a high-fidelity simulated environment using Gazebo. The simulation tests the sailboat’s ability to navigate complex and dynamic marine settings by modeling obstacle positions and wind conditions with polar coordinates, converted to Cartesian coordinates for precise environmental interaction modeling.
The analysis focuses on quantitative measures, including the time to complete pre-defined routes, the accuracy of following optimal trajectories, and energy penalties during navigation. The proposed integration of DRL and APF, enhanced by HR-C, significantly improves navigation precision and adaptability, achieving near-optimal path efficiency. In contrast, A* with PID provides precise route planning but struggles with dynamic environments, resulting in longer navigation times.
This research contributes to developing more efficient and reliable autonomous sailboat systems, applicable in environmental monitoring and other marine operations, thus advancing the field of autonomous marine vehicles.
Banca examinadora:
Prof. Esteban Walter Gonzalez Clua, UFF – Presidente
Profa. Flavia Cristina Bernardini, UFF
Prof. Raphael Pereira de Oliveira Guerra, UFF
Prof. Luiz Marcos Garcia Gonçalves, UFRN
Prof. Cosimo Distante, Institute of Applied Sciences and Intelligent Systems – ISASI CNR