Digitalization throughout the industry leads to rapidly increasing amounts of data captured and stored which brings forth challenges for indexing and ac- cessing large digital repositories. Very often, the data takes form of complex multi-part entities, such as images with relational attributes, photos with ge- ographical coordinates or textual posts with multimedia content and implicit social relationships. The complexity of such entities and lack of fixed struc- ture makes it impossible to use classical information retrieval methods based on attribute filtering, ranking or grouping, as it is not easy or sometimes even possible to define an exact query. In this thesis, we target data exploration as an act of exploring an unfamiliar area via a series of intuitive, effective and efficient system-supported steps. We present methodologies, demo applications and evaluation results targeting different data sources of multimedia data. Fur- thermore, we focus on the ability to utilize multiple modalities within a single session and on integrating the results into widely used software solutions.

Le développement d'applications pour l'informatique pervasive présente un certain nombre de défis pour l'ingénierie des logiciels. En particulier, l'adaptation des applications sensibles au contexte : adaptation à l’environnement (localisation, temps, condition, …), à la connectivité (débit, protocole, …), aux limitations de l'appareil (écran, format de média, …) et même à l’utilisateur (handicap physique, capacité, …). Dans ce contexte où le multimédia, la mobilité des utilisateurs et l'ubiquité des applications se généralisent, les fournisseurs de logiciel souhaitent offrir des applications adaptables (sensibles au contexte). Beaucoup d’efforts ont été consacrés à l’assemblage et au réassemblage de composants, ainsi qu’à l’adaptation fonctionnelle par remplacement ou reconfiguration des composants afin de satisfaire le nouveau besoin ou le nouveau contexte. La problématique que nous abordons dans cette thèse est celle de l’hétérogénéité comportementale ou sémantique des composants. L’objectif est de fournir des mécanismes permettant l’adaptation des flux de données multimédia dans des applications basées composants. Pour cela, l’architecture doit être capable de vérifier la possibilité d’assemblage des composants à partir de leurs manifestes (un manifeste doit contenir les informations techniques d’un composant). L’assemblage peut ne pas se faire pour deux raisons : incompatibilité fonctionnelle et/ou comportementale. Notre travail porte sur la deuxième raison, dans le cas où les interfaces d’un composant ne seront pas compatibles avec celles des composants voisins. Par exemple un composant fournit des images de type PNG, alors que l’autre n’accepte que des images JPEG. La mise en évidence de l’interopérabilité des composants dans un assemblage est une nécessité dans de telles approches. En effet, les architectures logicielles valident les aspects fonctionnels, ce qui n’est pas suffisant pour garantir un assemblage réaliste et remédier aux problèmes d’hétérogénéité des flux de données échangés. Nous proposons, pour mettre en évidence l’interopérabilité et permettre de trouver des solutions aux problèmes d’hétérogénéité, une approche basée modèle appelée MMSA (Meta-model for MultiMedia Software Architecture). Elle permet la description d’architectures logicielles exprimant un système logiciel comme une collection de composants qui manipulent différents types et formats de données et qui interagissent par l’intermédiaire de connecteurs d’adaptation. Nous définissons aussi un profil UML 2.0 pour exprimer et modéliser les nouveaux concepts et contraintes du méta modèle MMSA. La transition vers un profil UML est assurée par les mécanismes d'extension fournis par UML 2.0 afin d'améliorer la vérification et la cohérence des architectures décrites en MMSA. Nous proposons pour assurer la cohérence des applications vis à vis des changements du contexte, une plate-forme d’adaptation dynamique. Cette plate-forme surveille et contrôle l’exécution des applications multimédia afin de détecter les changements éventuels du contexte. En cas d’un changement, la plate-forme cherche les solutions possibles et prend la décision adéquate pour l’adaptation de l’application au nouveau contexte. Ensuite, la plate-forme cherche et choisit les services d’adaptation nécessaires afin de les intégrer dans des connecteurs d’adaptation et les réassembler avec les composants métiers de l’application. Afin d’examiner la projection de MMSA en UML 2.0, les contraintes OCL ont été évaluées dynamiquement sur un modèle de système de surveillance. Nous proposons aux architectes logiciels, un outil qui donne la possibilité de vérifier le modèle d’architecture à chaque modification afin d’assurer sa cohérence structurelle et sémantique. Les différents tests et validations effectués sur les modèles d’architecture garantissent parfaitement notre projection. / The development of applications for pervasive computing presents a number of challenges for software engineering. In particular, the adaptation of context-aware applications: adapting to the environment (location, time, condition, etc.), connectivity (bit-rate, protocol, etc.), the limitations of the device (screen size media ...) and even the user (physical handicaps, ability, etc.). The programmer is always faced with a complex combination of factors that occur throughout the application. In this context where the multimedia, the mobility of user and the ubiquitous application generalizes, providers want to offer adaptable software applications (context sensitive). Much effort has been devoted to assembly and reassembly of components, thus to the functional adaptation by replacement or reconfiguration of the components in order to satisfy the new need or the new context. The problem we tackle in this thesis is that of semantic and behavioral heterogeneity of components. The objective is to provide mechanisms for adapting multimedia data flows in applications based components, i.e. ensuring the assembly of heterogeneous components. For this, the architecture must be able to check the possibility of assembling components from the manifest (a manifest must contain the technical information of component). The assembly may not accept for two reasons: functional and/or behavioral incompatibility. Our work focuses on the second reason, in case the interfaces of component will not be compatible with the interfaces of adjacent components. For example, it provides images of PNG type, while the other accepts only JPEG images. The taken into account of components interoperability in an assembly is a necessity in such approaches. Indeed, software architectures validate the functional aspects, which is not sufficient to ensure a realistic assembly and to remedy the problems of heterogeneous of data flow exchanged. We propose to take into account the interoperability and to find solutions to problems of heterogeneity, an approach called model MMSA (Meta-Model for Multimedia Software Architecture). It allows the description of software architectures expressing a software system as a collection of components that handle various data types and formats and which interact through connectors to adaptation. We also define a UML 2.0 profile to express and model the new concepts and constraints of MMSA meta-model. The transition to a UML profile is provided by the extension mechanisms provided by UML 2.0 in order to improve the verification and consistency of architectures described in MMSA. We propose for ensure the coherence of applications aim at screw of changing context, a platform of dynamic adaptations. The dynamic adaptation is the process by which a software application is modified in order to take into account a change, be it level of the environment or the application itself, the platform monitors and controls the execution of multimedia applications to detect any change of context. In the event of a change, the platform seeks the possible solutions and takes the appropriate decision to adapt the application to the new context. Then, the platform seeks and selected the services of adaptation necessary in order to integrate them in connectors of adaptation and reassembled with the business components of application. In order to examine the projection of MMSA in UML 2.0, the OCL constraints were dynamically evaluated on a model of monitoring system. We have proposed to the software architects, a tool which gives the possibility of checking the model of architecture to each modification in order to ensure its structural and semantic coherence. The various tests and validations carried out on the models of architecture guarantee our projection perfectly. This visual model supports the creation and the management of models MMSA for software applications.

Cette HDR traite de la conception de documents numériques utilisés en contexte professionnel et étudie en particulier les deux thèmes suivants : le découpage de l'information pour la mise en écran, les organisateurs de structure, de navigation et de mise en relief de l'information. L'influence sur la lecture des dispositifs de mise en forme matérielle et des organisateurs de structure et de navigation est souvent méconnue. Aussi les méthodes destinées à tester le rôle des dispositifs de mise en forme revêtent-elles une importance capitale et sont présentées à la fin de cet ouvrage. Les spécificités des supports (document papier et document numérique) sont également abordées en termes de cognition, de perception physiologique et d'usage.

Les travaux présentés dans ce mémoire ont pour cadre la recherche de nouveaux services et protocoles de Transport, aptes à supporter le transfert de données multimédia en tenant compte des exigences applicatives en termes de hauts débits et de synchronisation. L'approche proposée repose sur la définition et le développement d'un nouveau concept: la connexion d'ordre partiel (POC - Partial Order Connection), établissant un lien conceptuel entre les modes de service/protocole orientés-connexion tels que TCP, et sans connexion tels que UDP. Une POC est une connexion de bout en bout permettant de définir et de mettre en œuvre tous les services et protocoles d'ordre partiel entre deux entités communicantes ; dans une POC, la délivrance des données à l'utilisateur récepteur peut être effectuée dans un ordre différent de l'ordre de soumission de ces données par l'utilisateur émetteur: la différence (acceptable) entre ces deux ordres résulte de la définition, par l'utilisateur, d'un ordre partiel de délivrance lors de l'ouverture de la connexion. Une formalisation des mécanismes correspondants est proposée au moyen de la technique de description formelle Estelle. Les caractéristiques intrinsèques des différents média d'un flux multimédia ont conduit ces dernières années au développement d'architectures de communication intégrant la prise en compte des contraintes applicatives à différents niveaux conceptuels, et notamment au niveau Transport du modèle OSI ; à partir d'une modélisation de ces contraintes utilisant le formalisme des réseaux de Petri (le modèle TSPN), l'auteur propose d'intégrer le concept de POC dans une architecture de Transport multimédia autorisant une prise en compte globale des contraintes d'ordre et de fiabilité d'un flux multimédia. Les mécanismes de gestion de l'ordre et de la fiabilité qui sont proposés permettent de définir un service de Transport multimédia offrant une hypothèse nouvelle aux utilisateurs vis à vis de la problématique de la synchronisation. Une étude de la faisabilité d'un protocole multimédia d'ordre partiel à l'aide des procédures XTP est finalement présentée: elle conclut en la possibilité d'une telle réalisation

L'application MédiclP est un logiciel de télémédecine permettant à des spécialistes de la santé d'entrer en communication lors de situations d'urgence. Ce prototype, développé depuis 2005, permet des communications audio ainsi que le transfert d'électrocardiogrammes en temps réel. Le scénario typique visé par ce projet était de permettre à une équipe ambulancière qui récupère un blessé sur la route, ou quelqu'un victime d'un malaise cardiaque, d'entrer en contact avec les hôpitaux les plus près afin de déterminer lequel est le plus apte à recevoir adéquatement ce patient. Cette approche permettrait d'améliorer la préparation, la qualité et la rapidité des opérations médicales à l'hôpital lorsque le patient se présente. Le présent projet, SécureMédic, se veut un moyen d'aborder le problème de la sécurité entourant ce prototype, étant donné son utilisation dans un contexte médical. Une analyse de MédicIP a permis d'identifier quatre failles de sécurité critiques reliées aux authentifications usagers, aux établissements des conférences, aux transferts des données audio ainsi qu'aux transferts des électrocardiogrammes. La contribution majeure de ce projet a été la création d'une infrastructure dédiée au processus d'authentification des usagers. Le système développé permet deux types d'authentification, fournissant ainsi un excellent niveau de robustesse. De plus, le serveur principal développé dans cette infrastructure intègre des mesures de protection permettant de minimiser les impacts de certains types d'attaque. Le projet SécureMédic a permis de démontrer la faisabilité de la sécurisation d'une application de télémédecine en utilisant les techniques de protection et les standards actuels de l'industrie. Les résultats de tests comparatifs ont cependant permis de constater que des impacts reliés à la performance ont été engendrés par l'ajout des mesures de sécurité, dus principalement aux ressources requises pour le chiffrement et le déchiffrement des données dans un environnement multimédia temps réel. Bien qu'il soit encore trop tôt pour envisager le déploiement du système actuel dans le milieu de la santé, les projets MédicIP et SécureMédic sont un pas dans la bonne direction. Le prototype actuel répond aux exigences techniques voulues, répond à un besoin bien réel et est parmi les premières solutions concrètes à démontrer la faisabilité d'un tel système. D'ici quelques années, l'apparition de solutions similaires est assurée.

Ce mémoire traite la problématique de la mobilité des sessions pour le transfert des communications multimédias basées sur le protocole SIP. Plusieurs aspects sont étudiés et des mécanismes proposés afin de permettre la mobilité des sessions avant, durant et après leur établissement. En plus d'une communication impliquant deux intervenants, Il a été possible d'étendre l'utilisation de la mobilité des sessions pour l'appliquer aux scénarios de communications en mode conférence regroupant plusieurs intervenants. Les mécanismes de mobilité de session développés au cours de cette thèse sont par la suite déployés pour (1) permettre des transformations entre différentes topologies de conférences et (2) construire un modèle de conférence adapté pour l'échange de la voix au sein des groupes de communication à large échelle.

Le travail de recherche qui suit est réalisé dans le cadre d’un mémoire de maîtrise de type production : au-delà de l’analyse, il vise la création d’un objet. La production prend ici la forme de 17 miniguides autonomes, contenant les notions essentielles à la rédaction Web selon les auteurs phares sur le sujet et les praticiens du domaine. Pour définir ces notions essentielles et les hiérarchiser, ce mémoire identifie d’abord celles qui allient fréquence et dispersion : elles sont couvertes abondamment, par plusieurs ouvrages. Pour qu’elles puissent être évaluées et comparées, ces notions ont ensuite été divisées en connaissances et en savoir-faire. Puis, l’importance théorique de chaque connaissance et savoir-faire, qui est attribuée par la littérature, est confrontée à son importance pratique, accordée par le domaine du Web québécois. Cette dernière a été évaluée par un sondage administré en ligne auprès de rédacteurs et de gestionnaires de projets Internet, c’est-à-dire les gens qui travaillent en rédaction Web ou qui jugent de la qualité d’un texte écrit pour ce média. Enfin, le contenu des miniguides et leur hiérarchisation dépendent de leur importance combinée. Elle additionne l’importance théorique à l’importance pratique et permet l’établissement d’une double architecture de consultation des miniguides. Ces modules autonomes s’adressent à des rédacteurs ou à des communicateurs désirant peaufiner leur maîtrise de l’écriture multimédia.

La complexité et l'hétérogènité des MPSoC sont accentuées par l'émergence de nouvelles applications multimédia. Pour ce genre d'architectures MPSoC, les environnements de programmation classiques ne sont pas adaptés. Cette thèse propose un flot de conception du logiciel pour MPSoC. Le flot commence par un modèle de haut niveau de l'application et de l'architecture en Simulink. La génération et la validation du logiciel sont effectuées graduellement en partant de ce premier modèle, correspondant à différents niveaux d'abstraction. Des plateformes spécifiques de développement sont employées pour permettre le débogage des différents composants logiciels. Le flot proposé a été appliqué pour la génération et validation du logiciel pour plusieurs architectures MPSoC, qui contiennent plusieurs processeurs interconnectés par un bus ou un réseau sur puce, et exécutent des applications, comme l'encodeur H.264, le décodeur M-JPEG et le décodeur MP3.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

L'exploitation des documents multimédias pose des problèmes de représentation des informations textuelles et visuelles contenues dans ces documents. Notre but est de proposer un modèle permettant de représenter chacune de ces informations et de les combiner en vue de deux tâches : la catégorisation et la recherche d'information. Ce modèle représente les documents sous forme de sacs de mots nécessitant la création de vocabulaires spécifiques. Le vocabulaire textuel, généralement de très grande taille, est constitué des mots apparaissant dans les documents. Le vocabulaire visuel est quant à lui construit en extrayant des caractéristiques de bas niveau des images. Nous étudions les différentes étapes de sa création et la pondération tfidf des mots visuels dans les images, inspirée des approches classiquement utilisées pour les mots textuels. Dans le contexte de la catégorisation de documents textuels, nous introduisons un critère qui sélectionne les mots les plus discriminants pour les catégories afin de réduire la taille du vocabulaire sans dégrader les résultats du classement. Nous présentons aussi dans le cadre multilabel, une méthode permettant de sélectionner les différentes catégories à associer à un document. En recherche d’information, nous proposons une approche analytique par apprentissage pour combiner linéairement les résultats issus des informations textuelles et visuelles, permettant d'améliorer significativement la recherche. Notre modèle est validé pour ces différentes tâches en participant à des compétitions internationales telles que XML Mining et ImageCLEF et sur des collections de taille conséquente / Exploiting multimedia documents leads to representation problems of the textual and visual information within documents. Our goal is to propose a model to represent these both information and to combine them for two tasks: categorization and information retrieval. This model represents documents as bags of words, which requires to define adapted vocabularies. The textual vocabulary, usually very large, corresponds to the words of documents while the visual one is created by extracting low-level features from images. We study the different steps of its creation and the tf.idf weighting of visual words in images usually used for textual words. In the context of the text categorization, we introduce a criterion to select the most discriminative words for categories in order to reduce the vocabulary size without degrading the results of classification. We also present in the multilabel context, a method that lets us to select the number of categories which must be associated with a document. In multimedia information retrieval, we propose an analytical approach based on machine learning techniques to linearly combine the results from textual and visual information which significantly improves research results. Our model has shown its efficiency on different collections of important size and was evaluated in several international competitions such as XML Mining and ImageCLEF