De nos jours, avec le développement des nouvelles technologies multimédia, la recherche d’images basée sur le contenu visuel est un sujet de recherche en plein essor avec de nombreux domaines d'application: indexation et recherche d’images, la graphologie, la détection et le suivi d’objets... Un des modèles les plus utilisés dans ce domaine est le sac de mots visuels qui tire son inspiration de la recherche d’information dans des documents textuels. Dans ce modèle, les images sont représentées par des histogrammes de mots visuels à partir d'un dictionnaire visuel de référence. La signature d’une image joue un rôle important car elle détermine la précision des résultats retournés par le système de recherche.Dans cette thèse, nous étudions les différentes approches concernant la représentation des images. Notre première contribution est de proposer une nouvelle méthodologie pour la construction du vocabulaire visuel en utilisant le gain d'information extrait des mots visuels. Ce gain d’information est la combinaison d’un modèle de recherche d’information avec un modèle d'attention visuelle.Ensuite, nous utilisons un modèle d'attention visuelle pour améliorer la performance de notre modèle de sacs de mots visuels. Cette étude de la saillance des descripteurs locaux souligne l’importance d’utiliser un modèle d’attention visuelle pour la description d’une image.La dernière contribution de cette thèse au domaine de la recherche d’information multimédia démontre comment notre méthodologie améliore le modèle des sacs de phrases visuelles. Finalement, une technique d’expansion de requêtes est utilisée pour augmenter la performance de la recherche par les deux modèles étudiés. / Nowadays, along with the development of multimedia technology, content based image retrieval (CBIR) has become an interesting and active research topic with an increasing number of application domains: image indexing and retrieval, face recognition, event detection, hand writing scanning, objects detection and tracking, image classification, landmark detection... One of the most popular models in CBIR is Bag of Visual Words (BoVW) which is inspired by Bag of Words model from Information Retrieval field. In BoVW model, images are represented by histograms of visual words from a visual vocabulary. By comparing the images signatures, we can tell the difference between images. Image representation plays an important role in a CBIR system as it determines the precision of the retrieval results.In this thesis, image representation problem is addressed. Our first contribution is to propose a new framework for visual vocabulary construction using information gain (IG) values. The IG values are computed by a weighting scheme combined with a visual attention model. Secondly, we propose to use visual attention model to improve the performance of the proposed BoVW model. This contribution addresses the importance of saliency key-points in the images by a study on the saliency of local feature detectors. Inspired from the results from this study, we use saliency as a weighting or an additional histogram for image representation.The last contribution of this thesis to CBIR shows how our framework enhances the BoVP model. Finally, a query expansion technique is employed to increase the retrieval scores on both BoVW and BoVP models.

Notre implication personnelle dans le design de projets de multimédias culturels nous a conduits à nous intéresser plus particulièrement aux architectures multimédias, qui constituent le sujet de cet ouvrage. Le terme «architectures multimédia» décrit trois axes différents: les architectures spatiales, les architectures du contenu et les architectures de programmation et de navigation interactive. Des analogies et des relations peuvent être établies entre l’organisation spatiale et la structure programmatique du projet architectural et les propriétés correspondantes d’une œuvre multimédia. L’accent est mise sur les multimédias culturels de la période 1990-2005 dans le but de découvrir des éléments innovants dans la conception de l’interface graphique et interactive. Ces innovations, qui constituent des programmes artistiques nouveaux, ont contribué à faire progressivement émerger un nouveau langage propre à l’espace numérique multimédia. Un nouvel habitus de la production artistique s’est développé sur l’héritage des vieux moyens d’expression et sur l’assimilation des nouveaux médias. / Through our personal involvement in the design of cultural multimedia projects we have developed a special interest in multimedia architectures, which are the subject of this text. The term “multimedia architectures” denotes three different axes: spatial architecture of screens and interfaces, architecture of the content organisation and the architecture of programming and navigation design. Analogies and relations can be established between the spatial organization and the program structure of the architectural project and the corresponding properties of a multimedia work. The cultural multimedia of the period 1990-2005 have been analysed with the aim of discovering innovative elements in the design of the graphical and interactive interface. These innovations represent new artistic programs and have contributed to the gradual emergence of a new language, specific to the digital space of interactive multimedia. A new habitus of artistic production has developed on the legacy of the old means of expression and on the assimilation of new media.

Rendre les données multimédias disponibles en ligne devient moins cher et plus pratique sur une base quotidienne, par exemple par les utilisateurs eux-mêmes. Des phénomènes du Web comme Facebook, Twitter et Flickr bénéficient de cette évolution. Ces phénomènes et leur acceptation accrue conduisent à une multiplication du nombre d’images disponibles en ligne. La taille cumulée de ces images souvent publiques et donc consultables, est de l’ordre de plusieurs zettaoctets. L’exécution d’une requête de similarité sur de tels volumes est un défi que la communauté scientifique commence à cibler. Une approche envisagée pour faire face à ce problème propose d’utiliser un système distribué et hétérogène de recherche d’images basé sur leur contenu (CBIRs). De nombreux problèmes émergent d’un tel scénario. Un exemple est l’utilisation de formats de métadonnées distincts pour décrire le contenu des images; un autre exemple est l’information technique et structurelle inégale. Les métriques individuelles qui sont utilisées par les CBIRs pour calculer la similarité entre les images constituent un autre exemple. Le calcul de bons résultats dans ce contexte s’avère ainsi une tàche très laborieuse qui n’est pas encore scientifiquement résolue. Le problème principalement abordé dans cette thèse est la recherche de photos de CBIRs similaires à une image donnée comme réponse à une requête multimédia distribuée. La contribution principale de cette thèse est la construction d’un réseau de CBIRs sensible à la sémantique des contenus (CBIRn). Ce CBIRn sémantique est capable de collecter et fusionner les résultats issus de sources externes spécialisées. Afin d’être en mesure d’intégrer de telles sources extérieures, prêtes à rejoindre le réseau, mais pas à divulguer leur configuration, un algorithme a été développé capable d’estimer la configuration d’un CBIRS. En classant les CBIRs et en analysant les requêtes entrantes, les requêtes d’image sont exclusivement transmises aux CBIRs les plus appropriés. De cette fac ̧on, les images sans intérêt pour l’utilisateur peuvent être omises à l’avance. Les images retournées cells sont considérées comme similaires par rapport à l’image donnée pour la requête. La faisabilité de l’approche et l’amélioration obtenue par le processus de recherche sont démontrées par un développement prototypique et son évaluation utilisant des images d’ImageNet. Le nombre d’images pertinentes renvoyées par l’approche de cette thèse en réponse à une requête image est supérieur d’un facteur 4.75 par rapport au résultat obtenu par un réseau de CBIRs predéfini. / Making multimedia data available online becomes less expensive and more convenient on a daily basis. This development promotes web phenomenons such as Facebook, Twitter, and Flickr. These phenomena and their increased acceptance in society in turn leads to a multiplication of the amount of available images online. This vast amount of, frequently public and therefore searchable, images already exceeds the zettabyte bound. Executing a similarity search on the magnitude of images that are publicly available and receiving a top quality result is a challenge that the scientific community has recently attempted to rise to. One approach to cope with this problem assumes the use of distributed heterogeneous Content Based Image Retrieval system (CBIRs). Following from this anticipation, the problems that emerge from a distributed query scenario must be dealt with. For example the involved CBIRs’ usage of distinct metadata formats for describing their content, as well as their unequal technical and structural information. An addition issue is the individual metrics that are used by the CBIRs to calculate the similarity between pictures, as well as their specific way of being combined. Overall, receiving good results in this environment is a very labor intensive task which has been scientifically but not yet comprehensively explored. The problem primarily addressed in this work is the collection of pictures from CBIRs, that are similar to a given picture, as a response to a distributed multimedia query. The main contribution of this thesis is the construction of a network of Content Based Image Retrieval systems that are able to extract and exploit the information about an input image’s semantic concept. This so called semantic CBIRn is mainly composed of CBIRs that are configured by the semantic CBIRn itself. Complementarily, there is a possibility that allows the integration of specialized external sources. The semantic CBIRn is able to collect and merge results of all of these attached CBIRs. In order to be able to integrate external sources that are willing to join the network, but are not willing to disclose their configuration, an algorithm was developed that approximates these configurations. By categorizing existing as well as external CBIRs and analyzing incoming queries, image queries are exclusively forwarded to the most suitable CBIRs. In this way, images that are not of any use for the user can be omitted beforehand. The hereafter returned images are rendered comparable in order to be able to merge them to one single result list of images, that are similar to the input image. The feasibility of the approach and the hereby obtained improvement of the search process is demonstrated by a prototypical implementation. Using this prototypical implementation an augmentation of the number of returned images that are of the same semantic concept as the input images is achieved by a factor of 4.75 with respect to a predefined non-semantic CBIRn.

Aujourd'hui, la prolifération de matériel peu coûteux tels que les caméras et les microphones capables de capturer du contenu multimédia de façon ubiquitaire a conduit à l'émergence des réseaux de capteurs sans fil multimédia/vidéo (RCSFM /RCSFV). En conséquence, un grand éventail d'applications peuvent être projetées dans de nombreux domaines de la vie de tous les jours. Par rapport aux réseaux de capteurs traditionnels (RCSF), les RCSFVs présentent des défis uniques principalement en raison de la grande quantité de données à capturer et à transmettre au-dessus d'un réseau contraint en ressources. Dans ce travail, nous avons d'abord proposé un protocole de routage hiérarchique appelé ELPC (Energy Level Passive Clustering) dont l'objectif principal est d'améliorer la durée de vie du réseau en présence de flux vidéo. Ceci est obtenu grâce à l'équilibrage des charges au moment de la construction de la topologie où le rôle de tête de groupe est alterné entre les noeuds candidats en fonction de leur niveau d'énergie. La deuxième contribution consiste en un protocole de routage multichemin qui prend les interférences inter-chemin en considération. Au lieu de supprimer complètement les interférences, notre protocole de routage multichemin tente de les minimiser en se basant sur l'ajout d'informations supplémentaires sur les noeuds voisins dans les messages de construction de la topologie. De plus, nous proposons un schéma de files d'attente à priorités multiples où l'influence des types de données. Les résultats des simulations montrent que l'utilisation de chemins moins interférents combinée à un régime de multipriorité permet une meilleure qualité vidéo / Nowadays, the proliferation of inexpensive hardware such as CMOS cameras and microphones that are able to ubiquitously capture multimedia content has led to the emergence of wireless multimedia/video sensor networks (WMSN/WVSN). As a consequence, a wide spectrum of applications can be projected in many areas and everyday life. Compared to traditional WSNs, WVSNs introduce unique challenges due mainly to the big amount of data to be captured and transmitted over a constrained network. In this work, we first propose a cluster-based (hierarchical) routing protocol called ELPC (Energy Level Passive Clustering) where the main objective is to enhance the network lifetime while handling video applications. This is achieved thanks to a load balancing feature where the role of clusterheads is alternated among candidate nodes depending on their energy level. The second contribution consists in a multipath routing protocol with interference awareness. Instead of completely suppressing interferences, our multipath routing protocol tries to minimize them through a simple algorithm without extra overhead. Multiple paths are built at once while minimizing their inter-path interferences thanks to some additional information on neighboring nodes piggybacked on the route request messages. In addition to interference awareness, we propose a multiqueue multipriority scheme where the influence of data type in a video is considered. Simulation results show that using less interfering paths combined to a multiqueue multipriority scheme allows for better video quality

Notre propos est la conception assistée par ordinateur des scénarios comprenant des contenus multimédia qui interagissent avec les actions extérieures, notamment celles de l’interprète (e.g., spectacles vivants, installations muséales interactives et jeux vidéo). Le contenu multimédia est structuré dans un ordre spatial et temporel selon les exigences de l’auteur. Par conséquent, la complexité potentiellement élevée de ces scénarios nécessite des langages de spécification adéquats pour leur complète description et vérification.Partitions Interactives est un formalisme qui a été proposé comme un modèle pour la composition et l’exécution des scénarios multimédias interactifs. En outre, un séquenceur inter-médias, appelé ISCORE,a été élaboré à partir de la sémantique Petri net proposée par ce formalisme. Au cours des dernières années, I-SCORE a été utilisé avec succès pour la composition et l’exécution des spectacles et des expositions interactives. Néanmoins, ces applications et les applications émergentes telles queles jeux vidéo et les installations muséales interactives, de plus en plus exigent deux caractéristiques que la version stable actuelle de I-SCORE ainsi que son modèle sous-jacent ne supportent pas : (1)des structures de contrôle flexibles comme des conditionnelles et des boucles ; et (2) des mécanismes pour la vérification automatique de scénarios.Dans cette thèse, nous présentons deux modèles formels pour la composition et la vérification automatique de scénarios interactifs multimédia avec des choix interactifs, i.e., des scénarios où l’interprète ou le système peut prendre des décisions au sujet de leur état d’exécution avec un certain degré de liberté définie par le compositeur.Dans notre première approche, nous définissons un nouveau langage de programmation appelé REACTIVEIS dont les programmes sont définis comme des arbres représentant l’aspect hiérarchique des scénarios interactifs et dont les noeuds contiennent les conditions nécessaires pour démarrer et arrêter les objets temporels (TOS). En outre, nous définissons une sémantique opérationnelle basé sur des arbres marqués, contenant dans leurs noeuds, les informations sur le début et la fin de chaque TO. Nous définissons également une interprétation déclarative de REACTIVEIS comme formules de la logique linéaire intuitionniste avec sous exponentiels (SELL). Nous montrons que cette interprétation est adéquate : les dérivations dans la logique correspondent à des traces du programme et vice-versa.Dans notre deuxième approche, nous présentons un système basé sur des Automates Temporisés.Dans le système proposé, nous modélisons des scénarios interactifs comme un réseau d’automates temporisés et les étendons avec des points interactifs gardés par des conditions, permettant ainsi la spécification de comportements avec branchements. Par ailleurs, nous profitons des outils matures et efficaces pour simuler et vérifier automatiquement des scénarios modélisés comme des automates temporisés. Dans notre système, les scénarios peuvent être synthétisés dans un matériel reconfigurable afin de fournir une faible latence et l’exécution en temps réel.Dans cette thèse, nous explorons également une nouvelle façon de définir et mettre en oeuvre des scénarios interactifs, visant à un modèle plus dynamique en utilisant le langage réactif REACTIVEML.Enfin, nous présentons une extension des scénarios interactifs utilisant des réseaux de Petri colorés(CPN) qui vise à traiter des données complexes, en particulier, les données statiques et dynamiques de flux audio. / Interactive multimedia deals with the computer-based design of scenarios consisting of multimediacontent that interacts with external actions and those of the performer (e.g., multimedialive-performance arts, interactive museum installations, and video games). The multimedia content is structured in a spatial and temporal order according to the author’s requirements. Therefore, thepotentially high complexity of these scenarios requires adequate specification languages for theircomplete description and verification.Interactive scores is a formalism which has been proposed as a model for composing and performing interactive multimedia scenarios. In addition, an inter-media sequencer, called I-SCORE, hasbeen developed following the Petri Net semantics proposed by this formalism. During the last years,I-SCORE has been used successfully for the composition and performance of live performances and interactive exhibitions. Nevertheless, these applications and emergent applications such as videogames and interactive museum installations, increasingly demand two features that the current stable version of I-SCORE as well as its underlying model do not support: (1) flexible control structures such as conditionals and loops; and (2) mechanisms for the automatic verification of scenarios.In this dissertation we present two formal models for composition and automatic verification of multimedia interactive scenarios with interactive choices, i.e., scenarios where the performer or thesystem can take decisions about their execution state with a certain degree of freedom defined bythe composer.In our first approach, we define a novel programming language called REACTIVEIS. This language extends the full capacity of temporal organization of interactive scenarios by allowing the composerto use a defined logical system for the specification of the starting and stopping conditions of temporal objects (TOs). REACTIVEIS programs are formally defined as tree-like structures representing the hierarchical aspect of interactive scenarios and whose nodes contain the conditions needed to startand stop the TOs. Moreover, we define an operational semantics based on labeled trees, containing in their nodes, the information about the start and stop times of each TO.We show that this operational semantics offers an intuitive yet precise description of the behavior of interactive scenarios.We also endowed REACTIVEIS with a declarative interpretation as formulas in Intuitionistic LinearLogic with Subexponentials (SELL). We shall show that such interpretation is adequate: derivations in the logic correspond to traces of the program and vice-versa. Hence, we can use all the meta-theory of Intuitionistic Linear Logic (ILL) to reason about interactive scenarios and develop tools for theverification and analysis of interactive scenarios.In our second approach, we present a Timed Automata (TA) based framework. In the proposed framework, we model interactive scenarios as a network of timed automata and extend them with interactive points (IPs) guarded by conditions, thus allowing for the specification of branching behaviors.Moreover, we take advantage of the mature and efficient tools for TA to simulate and automatically verify scenarios. In our framework, scenarios can be synthesized into a reconfigurable hardware in order to provide a low-latency and real-time execution by taking advantage of the physical parallelism,low-latency, and high-reliability of these devices. Furthermore, we implemented a tool to systematically construct bottom-up TA models from the composition environment of I-SCORE. Doing that, we provide a friendly and specialized environment for composing and automatic verification of interactive scenarios. Finally, we present an extension of interactive scenarios using Colored Petri Nets (CPNs) thataims to handle complex data, in particular, dynamic and static data audio streams. [...]

Le développement des techniques de traitement des requêtes de classement est un axe de recherche très actif dans le domaine de la recherche d'information. Plusieurs applications nécessitent le traitement des requêtes de classement multicritères, telles que les méta-moteurs de recherche sur le web, la recherche dans les réseaux sociaux, la recherche dans les bases de documents multimédia, etc. Contrairement aux requêtes booléennes traditionnelles, dans lesquelles le filtrage est basé sur des prédicats qui retournent vrai ou faux, les requêtes de classement utilisent des prédicats de similarité retournant un score de pertinence. Ces requêtes spécifient une fonction d'agrégation qui combine les scores individuels produits par les prédicats de similarité permettant de calculer un score global pour chaque objet. Les k objets avec les meilleurs scores globaux sont retournés dans le résultat final. Dans cette thèse, nous étudions dans un premier temps les techniques et algorithmes proposés dans la littérature conçus pour le traitement des requêtes top-k multicritères dans des contextes spécifiques de type et de coût d'accès aux scores, et nous proposons un cadre générique capable d'exprimer tous ces algorithmes. Ensuite, nous proposons une nouvelle stratégie en largeur «breadth-first», qui maintient l'ensemble courant des k meilleurs objets comme un tout, à la différence des stratégies en profondeur habituelles qui se focalisent sur le meilleur candidat. Nous présentons un nouvel algorithme «Breadth-Refine» (BR), basé sur cette stratégie et adaptable à n'importe quelle configuration de type et de coût d'accès aux scores. Nous montrons expérimentalement la supériorité de l'algorithme BR sur les algorithmes existants. Dans un deuxième temps, nous proposons une adaptation des algorithmes top-k à la recherche approximative, dont l'objectif est de trouver un compromis entre le temps de recherche et la qualité du résultat retourné. Nous explorons l'approximation par arrêt prématuré de l'exécution et proposons une première étude expérimentale du potentiel d'approximation des algorithmes top-k. Dans la dernière partie de la thèse, nous nous intéressons à l'application des techniques top-k multicritères à la recherche par le contenu dans les grandes bases de données multimédia. Dans ce contexte, un objet multimédia (une image par exemple) est représenté par un ou plusieurs descripteurs, en général sous forme de vecteurs numériques qui peuvent être vus comme des points dans un espace multidimensionnel. Nous explorons la recherche des k plus proches voisins (k-ppv) dans ces espaces et proposons une nouvelle technique de recherche k-ppv approximative «Multi-criteria Search Algorithm » (MSA) basée sur les principes des algorithmes top-k. Nous comparons MSA à des méthodes de l'état de l'art dans le contexte des grandes bases multimédia où les données ainsi que les structures d'index sont stockées sur disque, et montrons qu'il produit rapidement un très bon résultat approximatif. / Efficient processing of ranking queries is an important issue in today information retrieval applications such as meta-search engines on the web, information retrieval in social networks, similarity search in multimedia databases, etc. We address the problem of top-k multi-criteria query processing, where queries are composed of a set of ranking predicates, each one expressing a measure of similarity between data objects on some specific criteria. Unlike traditional Boolean predicates returning true or false, similarity predicates return a relevance score in a given interval. The query also specifies an aggregation function that combines the scores produced by the similarity predicates. Query results are ranked following the global score and only the best k ones are returned.In this thesis, we first study the state of the art techniques and algorithms designed for top-k multi-criteria query processing in specific conditions for the type of access to the scores and cost settings, and propose a generic framework able to express any top-k algorithm. Then we propose a new breadth-first strategy that maintains the current best k objects as a whole instead of focusing only on the best one such as in all the state of the art techniques. We present Breadth-Refine (BR), a new top-k algorithm based on this strategy and able to adapt to any combination of source access types and to any cost settings. Experiments clearly indicate that BR successfully adapts to various settings, with better results than state of the art algorithms.Secondly, we propose an adaptation of top-k algorithms to approximate search aiming to a compromise between execution time and result quality. We explore approximation by early stopping of the execution and propose a first experimental study of the approximation potential of top-k algorithms. Finally, we focus on the application of multi-criteria top-k techniques to Large Scale Content-Based Image Retrieval. In this context an image is represented by one or several descriptors, usually numeric vectors that can be seen as points in a multidimensional space. We explore the k-Nearest Neighbors search on such space and propose “Multi-criteria Search Algorithm” (MSA) a new technique for approximate k-NN based on multi-criteria top-k techniques. We compare MSA with state of the art methods in the context of large multimedia databases, where the database and the index structure are stored on disk, and show that MSA quickly produces very good approximate results.

Submitted by Edisangela Bastos (edisangela@ufpa.br) on 2015-05-26T21:42:03Z No. of bitstreams: 2 license_rdf: 22974 bytes, checksum: 99c771d9f0b9c46790009b9874d49253 (MD5) Dissertacao_AnaliseAcusticaRelacao.pdf: 6724496 bytes, checksum: 5245d79d609a57e5a3b5078dd10bdd7e (MD5) / Approved for entry into archive by Ana Rosa Silva (arosa@ufpa.br) on 2015-06-01T13:30:32Z (GMT) No. of bitstreams: 2 license_rdf: 22974 bytes, checksum: 99c771d9f0b9c46790009b9874d49253 (MD5) Dissertacao_AnaliseAcusticaRelacao.pdf: 6724496 bytes, checksum: 5245d79d609a57e5a3b5078dd10bdd7e (MD5) / Made available in DSpace on 2015-06-01T13:30:32Z (GMT). No. of bitstreams: 2 license_rdf: 22974 bytes, checksum: 99c771d9f0b9c46790009b9874d49253 (MD5) Dissertacao_AnaliseAcusticaRelacao.pdf: 6724496 bytes, checksum: 5245d79d609a57e5a3b5078dd10bdd7e (MD5) Previous issue date: 2015 / A presente Dissertação faz parte do projeto Atlas Prosódico Multimédia da Região do Norte do Brasil (AMPER-NORTE) e que, por sua vez, está vinculado ao projeto Atlas Prosódico Multimedia do Português (AMPER-POR). Seu objetivo principal é contribuir com o projeto AMPER-NORTE, com a caracterização da variação prosódica dialetal do português falado na zona urbana do município de Mocajuba (PA). Os procedimentos metodológicos adotados foram previamente estabelecidos pelo projeto AMPER. O corpus foi constituído com uma amostra de fala de seis informantes, três do gênero masculino e três do gênero feminino; uma mulher (BF51) e um homem (BF52) do ensino Fundamental, uma mulher (BF53) e um homem (BF54) do ensino Médio, uma mulher (BF55) e um homem (BF56) do ensino Superior, da variedade do português falado em Mocajuba. O corpus do município é formado por 102 frases, do tipo SVC (sujeito + verbo + complemento), com complemento adjetival e indicadores de lugar. Cada sentença foi repetida seis vezes, totalizando 612 frases por informante. A análise foi feita a partir de dados relativos aos seis informantes, para tanto foram selecionadas 42 frases, sendo 21 afirmativas e 21 interrogativas totais com sintagmas nominais simples ou compostos, elas foram selecionadas de modo a contemplar as três pautas acentuais do português apresentando um total de 14 oxítonas, 14 paroxítonas e 14 proparoxítonas. A análise acústica das vogais foi feita em seis etapas e os resultados mostram que os parâmetros físicos acústicos de freqüência fundamental (F0) e duração (ms) demonstraram resultados relevantes para esta análise, confirmando os referidos parâmetros como complementares na distinção das modalidades frasais nesta variedade em estudo. A F0 torna-se relevante, pelo movimento em formato de pinça, que ocorre preferencialmente na sílaba tônica, do vocábulo-alvo, nominal, nas três pautas acentuais e a duração mostra que as pautas acentuais (oxítona, paroxítona e proparoxítona) registraram valores inversamente proporcionais, confirmando-se como um parâmetro distintivo. Na intensidade, não se observou distinção suficientemente satisfatória para confirmá-la como complementar à F0 e ms na variedade do português falado em Mocajuba. / The present dissertation is part of AMPER-NORTE project (Atlas Prosódico Multimédia da Região do Norte do Brasil) and is linked to AMPER-POR project (Atlas Prosódico Multimedia do Português). Its main objective is to contribute to AMPER-NORTE project, featuring the dialectal prosodic variation of the Portuguese spoken in the urban area of Mocajuba (PA). The methodological procedures have been previously established by AMPER project.The corpus has been built with a speech sample of six informants, three males and three females: a woman (BF51) and a man (BF52) of elementary education, a woman (BF53) and a man (BF54) of middle education, a woman (BF55) and a man (BF56) of higher education, variety of Portuguese spoken in Mocajuba.Therefore, the corpus of the city of Mocajuba consists of 102 sentences of the type SVC (subject + verb + complement) with adjectival complement and indicators of place. Each sentence was repeated six times, totaling 612 sentences per informant. The analysis was made from data relative to the six informants. Therefore, 42 sentences were selected, 21 affirmative and 21 total interrogative with noun phrases simple or compound, they were selected to take account of the three accentual guidelines of Portuguese presenting a total of 14 oxytones, 14 paroxytones and 14 proparoxytone. The acoustic analysis of vowels was made in six stages and the results show that acoustic physical parameters of fundamental frequency (F0) and duration (ms) showed significant results for this analysis, confirming such parameters as complementary in the distinction of phrasal modalities in this range under study. The F0 becomes relevant, by moving on clamp format, which preferably occurs in the stressed syllable of the target word, nominal, in the three accentual guidelines and the duration shows that the accentual guidelines (oxytone, paroxytone and proparoxytone) recorded inversely proportional values and it is confirmed as a distinctive parameter. In the intensity, there was not enough satisfactory distinction to confirm it as complementary to F0 and ms in the variety of Portuguese spoken in Mocajuba.

Avec la révolution du numérique, l’usage de la vidéo a fortement évolué durant les dernières décennies, passant du cinéma à la télévision, puis au web, du récit fictionnel au documentaire et de l’éditorialisation à la création par l’utilisateur. Les médias sont les vecteurs pour échanger des informations, des connaissances, des « reportages » personnels, des émotions... L’enrichissement automatique des documents multimédias est toujours un sujet de recherche depuis l’avènement des médias. Dans ce contexte, nous proposons dans un premier temps une modélisation des différents concepts et acteurs mis en œuvre pour analyser automatiquement des documents multimédias afin de déployer dynamiquement des services interactifs en relation avec le contenu des médias. Nous définissons ainsi les concepts d’analyseur, de service interactif, de description d’un document multimédia et enfin les fonctions nécessaires pour faire interagir ceux-ci. Le modèle d’analyse obtenu se démarque de la littérature en proposant une architecture modulaire, ouverte et évolutive. Nous présentons ensuite l’implantation de ces concepts dans le cadre d’un prototype de démonstration. Ce prototype permet ainsi de mettre en avant les contributions avancées dans la description des modèles. Une implantation ainsi que des recommandations sont détaillées pour chacun des modèles. Afin de montrer les résultats d’implantation des solutions proposées sur la plateforme telles que les standards MPEG-7 pour la description, MPEG-4 BIFS pour les scènes interactives ou encore OSGI pour l’architecture générale, nous présentons différents exemples de services interactifs intégrés dans la plateforme. Ceux-ci permettent de vérifier les capacités d’adaptation aux besoins d’un ou plusieurs services interactifs. / The concept developed in this thesis is to propose an architecture model allowing automatic multimedia analysis and inserting pertinent interactive contents accordingly to multimedia content. Until nowadays, studies are mainly trying to provide tools and frameworks to generate a full description of the multimedia. It can be compared as trying to describe the world since the system must have huge description capabilities. Actually, it is not possible to represent the world through a tree of concepts and relationships due to time and computer limitations. Therefore, according to the amount of multimedia analyzers developed all over the world, this thesis proposes a platform able to host, combine and share existing multimedia analyzers. Furthermore, we only consider user’s requirements to select only required elements from multimedia platform to analyze the multimedia. In order to easily adapt the platform to the service requirements, we propose a modular architecture based on plug-in multimedia analyzers to generate the contextual description of the media. Besides, we provide an interactive scene generator to dynamically create related interactive scenes. We choose the MPEG-7 standard to implement the multimedia’s description and MPEG-4 BIFS standard to implement interactive scenes into multimedia. We also present experimental results on different kind of interactive services using video real time information extraction. The main implemented example of interactive services concerns an interactive mobile TV application related to parliament session. This application aims to provide additional information to users by inserting automatically interactive contents (complementary information, subject of the current session…) into original TV program. In addition, we demonstrate the capacity of the platform to adapt to multiple domain applications through a set of simple interactive services (goodies, games...).

Cette th`ese traite de l'estimation statistique distribu ́e, avec la motivation de, et l'application `a l'indexation multim ́edia par le contenu. Les algorithmes et les donn ́ees de divers contributeurs coop ́ereront vers un apprentissage statistique collectif. La contribution est un arrangement pour estimer une densit ́e de probabilit ́e multivariable, dans le cas ou` cette densit ́e prend la forme d'un mod`ele de m ́elange gaussien. Dans ce cadre, l'agr ́egation des mod`eles probabilistes de m ́elanges gaussiens de la mˆeme classe, mais estim ́es `a plusieurs nœuds sur diff ́erents ensembles de donn ́ees, est une n ́ecessit ́e typique `a laquelle nous nous int ́eressons dans cette th`ese. Les approches propo- s ́ees pour la fusion de m ́elanges gaussiens exigent uniquement le calcul mod ́er ́e `a chaque nœud et peu de donn ́ees de transit entre les nœuds. Ces deux propri ́et ́es sont obtenues en agr ́egeant des mod`eles via leurs (peu) param`etres plutˆot que par les donn ́ees multim ́edia. Dans la premi`ere approche, en supposant que les m ́elanges sont estim ́es ind ́ependamment, nous propageons leurs param`etres de fa ̧con d ́ecentralis ́ee (gossip), dans un r ́eseau, et agr ́egeons les mod`eles `a partir des nœuds reli ́es entre eux, pour am ́eliorer l'estimation. Les mod`eles de m ́elange sont en fait concat ́en ́es puis r ́eduits `a un nombre appropri ́e de composants gaussiens. Une modification de la divergence de Kullback conduit `a un processus it ́eratif pour estimer ce mod`ele agr ́eg ́e. Afin d'ap- porter une am ́elioration, l'agr ́egation est r ́ealis ́ee par la mod ́elisation bay ́esienne du probl`eme de groupement de composant de mod`ele de m ́elange gaussien et est r ́esolue en utilisant la m ́ethode variationnelle, appliqu ́ee au niveau de composant. Cela permet de d ́eterminer, par un processus simple, peu couˆteux et pr ́ecis, les attributions des composants qui devraient ˆetre agr ́eg ́es et le nombre de composants dans le m ́elange apr`es l'agr ́egation. Comme seulement les param`etres du mod`ele sont ́echang ́es sur le r ́eseau, le calcul et la charge du r ́eseau restent tr`es mod ́er ́es.

Fin 2004, un quart des foyers Européens étaient connectés à l'Internet haut débit. Avec le faible coût des machines toujours plus puissantes, de nombreuses applications multimédias ont pu être élaborées pour satisfaire la demande croissante du grand public. Le besoin d'adaptation des protocoles de communication sous-jacents est essentiel pour ce type d'applications. Les protocoles doivent pouvoir passer à l'échelle et s'adapter aux caractéristiques hétérogènes de ces nouvelles applications. Parallèlement, les transmissions sans fil ont connu un essor sans égal, permettant un accès à l'Internet de n'importe quel endroit. La multiplicité des technologies d'accès (GPRS, UMTS, WIFI, WiMAX, Bluetooth, etc.) et la grande variabilité des caractéristiques des canaux de transmission sans fil ont encore accru ce besoin d'adaptation. Dans ce document d'habilitation, je présente quatre contributions qui mettent en relief le besoin d'adaptation des protocoles de communication. La première concerne un protocole de communication robuste au facteur d'échelle élaboré pour des applications d'environnements virtuels qui mettent en jeu un grand nombre de participants. La seconde décrit un algorithme pour contrôler la transmission de vidéo hiérarchique vers un ensemble hétérogène de récepteurs sur Internet. Les deux contributions suivantes portent sur la transmission<br />sans fil. Je décris un mécanisme de différenciation de services efficace pour transmettre des flots multimédias à débit variable dans les réseaux IEEE 802.11e, ainsi qu'un mécanisme d'adaptation intercouches pour la transmission multimédia dans les réseaux WIFI.