аЯрЁБс>ўџ ,.ўџџџ+џџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџьЅСq`№ПzbjbjqPqP7 ::zџџџџџџЄАААААААФЌ Ќ Ќ Ќ И Ф5&а а а а а а а а Д Ж Ж Ж Ж Ж Ж $[hУШк Аа а а а а к ААа а я p p p а :Аа Аа Д p а Д p p ААp а Ф АВh ŠŠеЌ .p   05p ‹8 "‹p ‹Аp 0а а p а а а а а к к Z а а а 5а а а а ФФФD ЄФФФ ФФФААААААџџџџ Resumo: A experiъncia de um jogador em relaчуo р dificuldade de um videogame щ uma das principais razѕes para ele decidir continuar o jogando ou abandonс-lo. Efetivamente, a retenчуo de jogadores em certos pontos do jogo щ uma das principais preocupaчѕes relacionadas ao processo de desenvolvimento de jogos. No entanto, a experiъncia de um jogador com um jogo щ њnica, tornando impraticсvel prever como cada jogador ira encarar a jogabilidade. Algumas tentativas para resolver esse problema envolvem coletar as caracterэsticas dos jogadores para classificс-los em um determinado tipo de estilos previamente definidos e, em seguida, obter uma cena tуo complexa como os jogadores desse grupo podem suportar. Outras estratщgias consistem em criar uma heurэstica para medir o quуo сrduo deve ser o ambiente para o jogador. Trabalhos anteriores que utilizam as estratщgias mencionadas sofrem com a desvantagem de precisar coletar toda a informaчуo necessсria do jogador a fim de enquadrс-lo em um grupo ou definir um nњmero limitado de estilos aos quais o jogador poderia pertencer ou nуo. Essa dissertaчуo aproveita os recentes avanчos em Aprendizado por Reforчo (RL) e Redes Neurais (RN) para criar agentes inteligentes dotados da capacidade de aprender a se adaptar рs habilidades de diferentes jogadores. Nѓs nos concentramos em equilibrar a dificuldade do jogo baseado no agente inteligente inimigo com base nas informaчѕes que ele observa do ambiente, bem como no estado atual do jogo. Para projetar um agente que aprende a agir ao mesmo tempo que mantщm o equilэbrio do jogo evitando tornar-se excessivamente hсbil, propomos uma funчуo de recompensa baseada em uma constante de balanceamento. A abordagem proposta demanda que o agente permaneчa dentro de um intervalo em torno dessa constante durante o treinamento. Resultados experimentais coletados a partir de um jogo de luta mostram que ao usar tal funчуo de recompensa e combinando informaчѕes de diferentes tipos de jogadores, щ possэvel induzir agentes adaptсveis que se ajustem ao perfil do jogador. Palavras-chave: Balanceamento de Jogos, Aprendizado por Reforчo, Redes Neurais, Balanceamento Dinтmico, Jogabilidade. Abstract: A player's experience related to the difficulty level of a video game is one of the mains reasons for him to continue playing or not. Effectively, players retention in certain game points is one of the main issues related to the games development process. However, the player's experience with a game is unique, making impractical to predict how each user will face the gameplay. Some attempts of handling this problem consist of collecting the players' main features and classify them into a particular type of previously defined styles using a set of definitions as complex as these players can play. Other strategies consist of creating a heuristic for measuring how hard must be the challenges for a particular player. Previous works that use the aforementioned strategies suffer from the burden of collecting all the necessary information from the player to fit him in a group or of the weakness of having only a limited number of styles that the player can fit in. This dissertation takes advantage of the recent advances in Reinforcement Learning (RL) and Neural Networks (NN) to create intelligent agents enhanced with the capacity of learning how to adapt themselves to the skills of different users. We are focused on balancing the game difficulty based on enemy intelligence and the information that the agent observes from the virtual environment, such as the current game state. To design an agent that learns to act while, at the same time, maintains the balance of the game by not becoming overly skillful, we propose a reward function based on a balancing constant. The proposed approach requires that the agent stays within an interval around that constant during training. Experimental results collected from a fighting game show that by using such a reward function and combining information from different types of players allow for inducing adaptive agents that fit with the player skill. Keywords: Game Balancing, Reinforcement Learning, Neural Networks, Dynamic Balancing, Playability. „…“”œžŸ zьиьЧЕЄ‘и€ьиьЧkSk.h/yYhц!ж5CJOJQJ\^JaJmH sH (h/yYhц!жCJOJQJ^JaJmH sH  h/yY5CJOJQJ\^JaJ$h/yYhц!жCJOJPJQJ^JaJ h/yYh/yYCJOJQJ^JaJ#h/yYh/yY5CJOJQJ^JaJ h/yYhц!жCJOJQJ^JaJ&h/yYh/yY5CJOJQJ\^JaJ&h/yYhц!ж5CJOJQJ\^JaJ …†‡ˆ‰Š‹ŒŽ‘’“”žŸzњњњњюњњњњњњњњњњњњњњњњњњњњњ d№7$8$H$gd/yY$a$z§50P:pА…. АТA!А "А #‰$‰%ААаАа а†œ 666666666666666666666666666666666666666666 6666666666 666666666666 666666666666666666666666666666666666666666666666666666666666666666F@ёџF NormaldCJ_HaJmHsHtHF@QRF 0Tэtulo 1$$ЄЄx@&CJ(aJ(F@QRF 0Tэtulo 2$$ЄhЄx@&CJ aJ P@QRP 0Tэtulo 3$$Є@ЄP@&B*CJaJphCCCP@QRP 0Tэtulo 4$$ЄЄP@&B*CJaJphfffH@QRH 0Tэtulo 5$$Є№ЄP@& B*phfffN@QRN 0Tэtulo 6$$Є№ЄP@&6B*]phfff>A@ђџЁ> 0Fonte parсg. padrуoTi@ѓџГT 0 Tabela normalі4ж l4жaі ,kєџС, 0 Sem lista PўOЂёP М7 Char Char7"5CJ KH OJPJQJ\^JaJ RўЂR М7 Char Char6$56CJOJPJQJ\]^JaJLўЂL М7 Char Char55CJOJPJQJ\^JaJLўЂ!L М7 Char Char45CJOJPJQJ\^JaJRўЂ1R М7 Char Char3$56CJOJPJQJ\]^JaJDўЂAD М7 Char Char25OJPJQJ\^JFўOёџRF 0normaldCJ_HaJmHsHtH:>@QR: 0Tэtulo $$Є<CJ4aJ4PўOЂqP М7  Char Char1"5CJ KHOJPJQJ\^JaJ JJ@QRJ 0 Subtэtulo $$Є@B*CJaJphfffDўOЂ‘D М7А Char CharCJOJPJQJ^JaJz џџџџ …†‡ˆ‰Š‹ŒŽ‘’“”žŸ|˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€˜0€€ …|Kˆ0$>oIˆ0Iˆ0Kˆ0Kˆ0ˆ=z zzАМwƒ”œ  |ќ”| ”Ÿ|”œ|хk0)/yYц!жг|ј|џ@€””№X=””z@@џџUnknownџџџџџџџџџџџџG‡: џTimes New Roman5€Symbol3& ‡: џArial7џрџ@ŸCambria7&џрџЌ@ŸCalibri"Aˆ№аЉмuЇkУz‡“ч “ч !№ ‰ДД24rr№ќџ(№џ$Pџџџџџџџџџџџџџџџџџџџџџ2џџEAdaptive Neural Reinforcement Learning-based Agent for Game BalancingHelioHelioўџр…ŸђљOhЋ‘+'Гй0Ќ˜шє, <H h t €Œ”œЄфHAdaptive Neural Reinforcement Learning-based Agent for Game BalancingHelioNormalHelio3Microsoft Office Word@Œ†G@ИЮяне@‚—ŠŠе“ч ўџеЭеœ.“—+,љЎ00 hp|„Œ” œЄЌД М фrц FAdaptive Neural Reinforcement Learning-based Agent for Game Balancing Tэtulo ўџџџўџџџ !"ўџџџ$%&'()*ўџџџ§џџџ-ўџџџўџџџўџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџRoot Entryџџџџџџџџ РFPЊl ŠŠе/€1Tableџџџџџџџџ‹WordDocumentџџџџџџџџ7 SummaryInformation(џџџџDocumentSummaryInformation8џџџџџџџџџџџџ#CompObjџџџџџџџџџџџџuџџџџџџџџџџџџџџџџџџџџџџџџўџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџџўџ џџџџ РF#Documento do Microsoft Office Word MSWordDocWord.Document.8є9Вq