ࡱ> 9;8q`#bjbjqPqP.,::DDDDX g pppppppp  $hJ ppppp pp!  ppp p  pd ꭺD" ^ 7 0g    ,pp ppppp pppg ppppD@@ Resumo O conceito de mulsemdia (MulSeMedia - Multiple Sensorial Media) tem sido explorado para oferecer aos usurios novas sensaes usando outros sentidos alm da viso e audio. A demanda para a produo de tais aplicaes tem motivado diversos estudos na fase de autoria mulsemdia. Alguns estudos propem modelos mulsemdia que fornecem efeitos sensoriais em uma abstrao de baixo nvel por meio da identificao de sensores e atuadores. No entanto, esta abordagem no adequada para sistemas mulsemdia, uma vez que no especifica o comportamento espacial e temporal do contedo multimdia e dos efeitos sensoriais em uma abstrao de alto nvel. Outros estudos que integram efeitos sensoriais com contedo audiovisual usam o paradigma baseado em linha do tempo como seu modelo de sincronizao temporal, o qual possui vrias limitaes inerentes. Alm disso, as aplicaes mulsemdia raramente exploram contedo visual 360. Esta tese prope uma abordagem para a autoria de aplicaes mulsemdia baseada em eventos. Esta abordagem tem como objetivo aprimorar o desenvolvimento de aplicaes mulsemdia e auxiliar o desenvolvimento de ambientes de autoria grfica baseados em viso temporal para usurios sem conhecimentos de programao. Esta abordagem envolve a proposta de um modelo conceitual mulsemdia (MultiSEM - Multimedia Sensory Effect Model), uma linguagem baseada em XML (MultiSEL - Multimedia Sensory Effect Language), e um ambiente grfico baseado em viso temporal para a autoria de aplicaes mulsemdia (STEVE 2.0 - Spatio -Temporal View Editor) projetado para usurios sem conhecimento de programao. MultiSEM representa os efeitos sensoriais como entidades de primeira classe (ns do documento). O modelo permite, assim, a integrao espao-temporal e a sincronizao dos efeitos sensoriais com o contedo multimdia. Alm disso, MultiSEM define entidades para especificar propriedades de apresentao de ns de mdia e caractersticas de renderizao de efeitos sensoriais. O modelo proposto usa o paradigma de sincronizao temporal baseado em eventos. Em relao ao MultiSEL, a linguagem define elementos baseados nas entidades do MultiSEM e visa facilitar a autoria de aplicaes mulsemdia com contedo visual 360 para ambientes de realidade virtual. Tambm permite a especificao de aplicaes tradicionais multimdia sem contedo 360 e/ou efeitos sensoriais. Alm disso, o MultiSEL visa apoiar a interoperabilidade entre ferramentas de autoria mulsemdia. Como prova de conceito, o modelo MultiSEM foi implementado no editor STEVE 2.0, que permite aos autores especificar aplicaes mulsemdia 2D usando relaes temporais baseadas em eventos para sincronizar a mdia tradicional e os efeitos sensoriais. STEVE 2.0 tambm permite a definio de propriedades de apresentao de mdia e propriedades de renderizao de efeito sensorial. Alm disso, ele se integra com o middleware Ginga-NCL estendido para efeitos sensoriais exportando projetos STEVE para documentos NCL 4.0. Com os experimentos de STEVE, foi avaliada sua usabilidade, recursos especficos e experincia do usurio. Alm disso, demonstrou-se que STEVE permitiu que usurios sem habilidades de programao criassem suas aplicaes mulsemdia. Foram apresentadas integraes do STEVE com outras tecnologias mulsemdia em direo de propostas de plataformas mulsemdia completas. Essas plataformas podem ser vistas como ferramentas fim-a-fim que atuam nas fases de produo, distribuio e renderizao de aplicaes mulsemdia. Palavras-chave: Modelagem de Efeitos Sensoriais; Aplicaes Mulsemdia; Modelo Conceitual; Ambientes de Autoria Mulsemdia; Aplicaes Mulsemdia com contedo audiovisual 360. Abstract The mulsemedia (MulSeMedia - Multiple Sensorial Media) concept has been explored to provide users with new sensations using other senses beyond sight and hearing. The demand for producing such applications has motivated various studies in the mulsemedia authoring phase. Some studies propose mulsemedia models that provide sensory effects at a low-level abstraction by identifying sensors and actuators. However, this approach is not suitable for mulsemedia systems since it does not specify the spatial and temporal behavior of multimedia content and sensory effects at a high-level abstraction. Other studies integrating sensory effects with audiovisual content use the timeline-based paradigm as their temporal synchronization model, with several inherent limitations. In addition, mulsemedia applications rarely explore 360 visual content. This thesis proposes an approach for authoring mulsemedia applications based on events. It aims to enhance the development of mulsemedia applications and support the development of graphical authoring environments based on temporal views for users with no programming skills. This approach involves the proposal of a mulsemedia conceptual model (MultiSEM - Multimedia Sensory Effect Model), an XML-based language (MultiSEL - Multimedia Sensory Effect Language), and a graphical environment based on temporal view for authoring mulsemedia applications (STEVE 2.0 - Spatio-Temporal View Editor) designed for users with no programming skills. MultiSEM represents sensory effects as first-class entities (document nodes). The model thus allows the spatio-temporal integration and synchronization of sensory effects with multimedia content. Additionally, MultiSEM defines entities to specify presentation properties of multimedia nodes and rendering characteristics of sensory effects. Moreover, the proposed model uses the event-based temporal synchronization paradigm. Regarding MultiSEL, the language defines elements based on MultiSEMs entities and aims at enhancing the authoring of mulsemedia applications with 360 visual content for virtual reality environment. It also allows the specification of traditional multimedia applications with no 360 content and/or sensory effects. In addition, MultiSEL aims at supporting the interoperability between mulsemedia authoring tools. As proof of concept, we have implemented MultiSEM in STEVE 2.0, which allows authors to specify 2D mulsemedia applications using event-based temporal relations to synchronize traditional media and sensory effects. STEVE 2.0 also allows the definition of media presentation properties and sensory effect rendering properties. Moreover, it integrates with the Ginga-NCL middleware extended for sensory effects by exporting STEVE projects to NCL 4.0 documents. With STEVEs experiments, we analyzed its usability, specific features, and user experience. Also, we demonstrated that STEVE allowed users with no programming skills to create their mulsemedia applications. Additionally, we present STEVEs integrations with other mulsemedia technologies on the need for mulsemedia platforms. Those platforms can be seen as end-to-end tools that act in the production, distributing, and rendering phases of mulsemedia applications. Keywords: Modeling Sensory Effects; Mulsemedia Applications; Conceptual Model; Mulsemedia Authoring Environment; 360 mulsemedia applications.  ^_XYm!n!@#A#J####伦yjyjyjyjyjTyj+h@h@5B*CJ\aJmH phsH h@h@CJaJmH sH %h@h@B*CJaJmH phsH h@h@mH sH h@h@CJaJmH sH +h@h@5B*CJ\aJmH phsH h@h@B*ph#h@h@5B*CJ\aJphh@h@CJaJh@h@B*CJaJphh@h@5CJaJ _Yn!A####gd@$[$\$a$gd@$[$\$a$gd@ $a$gd@###h@h>mH sH ,1h. A!"#$% @@@ NormalCJ_HaJmHsHtH>A@> Fonte parg. padroTi@T  Tabela normal4 l4a ,k@, Sem listaB^`B @ Normal (Web)dd[$\$,_ YnA000000000000000000_ YnAK00YK0YK0YK0YI0I0K0YK0YK0YK0YK0YI0I0I0K0 0####!+.6?Is}NX%'/2<=DEKLQrz} _gEM4<u}n v A K  ' ^ h i r " , l u >HU_}ISV`2:v~ Ya+3 >HyMU sz%/W^w'1eo!+'/_gEM4<n v Y&GBFrL>@@cc)cc@@UnknownG:Ax Times New Roman5Symbol3& :Cx Arial"qsGsGXz2Xz2!242KP)?@2ResumoHelioHelioOh+'0l  ( 4 @LT\dResumoHelioNormalHelio1Microsoft Office Word@G@e@HXz՜.+,0 hp|  2 Resumo Ttulo  !"#$%&')*+,-./1234567:Root Entry F`<Data 1TableWordDocument.,SummaryInformation((DocumentSummaryInformation80CompObju  F#Documento do Microsoft Office Word MSWordDocWord.Document.89q