Latent-Space Predictive Framework for Robotic Vessel Swarm Control with Sim2Real and Real2Sim Validation
Resumo:
Esta pesquisa propõe um framework de controle preditivo multiagente para a navegação coordenada de embarcações robóticas de superfície. O estudo aborda os principais desafios relacionados à operação de enxames de embarcações, incluindo perturbações ambientais, incertezas de percepção, prevenção de colisões, restrições de comunicação, obstáculos dinâmicos e o cumprimento simultâneo de objetivos individuais e coletivos.
A abordagem proposta integra regras de interação local ao V-JEPA2-AC, uma arquitetura preditiva baseada em representações conjuntas, utilizada para antecipar as consequências de possíveis ações de controle diretamente em um espaço de representação latente. Essas previsões darão suporte ao planejamento preditivo baseado em modelo, permitindo que cada embarcação selecione ações que aumentem a segurança da navegação, aprimorem a coordenação da formação e promovam o avanço em direção aos objetivos da missão.
Inicialmente, o framework será desenvolvido e avaliado em um ambiente de simulação de alta fidelidade utilizando o NVIDIA Isaac Sim, no qual um catamarã robótico interagirá com múltiplos agentes virtuais sob diferentes condições operacionais. Posteriormente, a abordagem será validada por meio de experimentos de campo com um catamarã robótico real, navegando em um ambiente composto por embarcações vizinhas simuladas.
O desempenho será avaliado por meio de métricas relacionadas à prevenção de colisões, ao rastreamento de trajetórias, à estabilidade da formação, à eficiência computacional, à robustez diante de incertezas e à escalabilidade. A contribuição esperada é um framework escalável e orientado pela percepção, que combine modelos preditivos latentes e coordenação multiagente para ampliar a autonomia, a segurança e a capacidade de adaptação de enxames de embarcações robóticas em ambientes marítimos realistas.
Abstract:
This research proposes a predictive multi-agent control framework for coordinated navigation of robotic surface vessels. The study addresses key challenges in vessel swarm operation, including environmental disturbances, perception uncertainty, collision avoidance, communication constraints, dynamic obstacles, and the simultaneous achievement of individual and collective objectives.
The proposed approach integrates local interaction rules with V-JEPA2-AC, a joint-embedding predictive architecture used to anticipate the consequences of candidate control actions directly in a latent representation space. These predictions will support model predictive planning, enabling each vessel to select actions that improve navigation safety, formation coordination, and progress toward mission objectives.
The framework will initially be developed and evaluated in a high-fidelity simulation environment using NVIDIA Isaac Sim, where a robotic catamaran will interact with multiple virtual agents under different operational conditions. Subsequently, the approach will be validated through field experiments with a physical robotic catamaran navigating in an environment populated by simulated neighboring vessels.
Performance will be assessed using metrics related to collision avoidance, trajectory tracking, formation stability, computational efficiency, robustness to uncertainty, and scalability. The expected contribution is a scalable and perception-driven framework that combines latent predictive models and multi-agent coordination to improve the autonomy, safety, and adaptability of robotic vessel swarms in realistic maritime environments.
Banca examinadora:
Prof. Esteban Walter Gonzalez Clua, UFF – Presidente
Prof. Raphael Pereira de Oliveira Guerra, UFF
Prof. Daniel Henrique Nogueira Dias, UFF
Prof. Luiz Marcos Garcia Gonçalves, UFRN
Prof. Cosimo Distante, Consiglio Nazionale delle Ricerche