Les systèmes complexes, naturels et artificiels, ont reçu récemment une attention renouvelée : les systèmes naturels, notamment biologiques, du fait de la nécessité de les appréhender dans une démarche systémique ; les systèmes artificiels, du fait de la dématérialisation de l'ordinateur amorcée avec l'informatique ubiquitaire. L'art, de son côté, explore depuis toujours le détournement des dernières avancées scientifiques et technologiques pour la création d'oeuvres singulières. Le travail mené depuis dix ans se situe à la croisée de ces chemins, dans le cadre unificateur des systèmes multi-agents. Je me suis intéressé plus particulièrement à l'interaction homme-machine dans le contexte de l'informatique ambiante, dans l'idée d'une construction automatique et d'une régulation dynamique de systèmes d'interaction. Ce travail est alimenté par la recherche menée dans le cadre de la simulation à base d'agents, aussi bien du point de vue des concepts et outils développés, que du point de vue de l'inspiration tirée des mécanismes d'auto-organisation et de régulation des systèmes étudiés. L'art fournit quant à lui un cadre expérimental original par la mise en scène métaphorique, dans des performances numériques interactives, des situations étudiées.

Cette thèse explore la reconnaissance de gestes à partir de capteurs inertiels pour Smartphone. Ces gestes consistent en la réalisation d'un tracé dans l'espace présentant une valeur sémantique, avec l'appareil en main. Notre étude porte en particulier sur l'apprentissage de métrique entre signatures gestuelles grâce à l'architecture "Siamoise" (réseau de neurones siamois, SNN), qui a pour but de modéliser les relations sémantiques entre classes afin d'extraire des caractéristiques discriminantes. Cette architecture est appliquée au perceptron multicouche (MultiLayer Perceptron). Les stratégies classiques de formation d'ensembles d'apprentissage sont essentiellement basées sur des paires similaires et dissimilaires, ou des triplets formés d'une référence et de deux échantillons respectivement similaires et dissimilaires à cette référence. Ainsi, nous proposons une généralisation de ces approches dans un cadre de classification, où chaque ensemble d'apprentissage est composé d’une référence, un exemple positif, et un exemple négatif pour chaque classe dissimilaire. Par ailleurs, nous appliquons une régularisation sur les sorties du réseau au cours de l'apprentissage afin de limiter les variations de la norme moyenne des vecteurs caractéristiques obtenus. Enfin, nous proposons une redéfinition du problème angulaire par une adaptation de la notion de « sinus polaire », aboutissant à une analyse en composantes indépendantes non-linéaire supervisée. A l'aide de deux bases de données inertielles, la base MHAD (Multimodal Human Activity Dataset) ainsi que la base Orange, composée de gestes symboliques inertiels réalisés avec un Smartphone, les performances de chaque contribution sont caractérisées. Ainsi, des protocoles modélisant un monde ouvert, qui comprend des gestes inconnus par le système, mettent en évidence les meilleures capacités de détection et rejet de nouveauté du SNN. En résumé, le SNN proposé permet de réaliser un apprentissage supervisé de métrique de similarité non-linéaire, qui extrait des vecteurs caractéristiques discriminants, améliorant conjointement la classification et le rejet de gestes inertiels. / As consumer devices become more and more ubiquitous, new interaction solutions are required. In this thesis, we explore inertial-based gesture recognition on Smartphones, where gestures holding a semantic value are drawn in the air with the device in hand. In our research, speed and delay constraints required by an application are critical, leading us to the choice of neural-based models. Thus, our work focuses on metric learning between gesture sample signatures using the "Siamese" architecture (Siamese Neural Network, SNN), which aims at modelling semantic relations between classes to extract discriminative features, applied to the MultiLayer Perceptron. Contrary to some popular versions of this algorithm, we opt for a strategy that does not require additional parameter fine tuning, namely a set threshold on dissimilar outputs, during training. Indeed, after a preprocessing step where the data is filtered and normalised spatially and temporally, the SNN is trained from sets of samples, composed of similar and dissimilar examples, to compute a higher-level representation of the gesture, where features are collinear for similar gestures, and orthogonal for dissimilar ones. While the original model already works for classification, multiple mathematical problems which can impair its learning capabilities are identified. Consequently, as opposed to the classical similar or dissimilar pair; or reference, similar and dissimilar sample triplet input set selection strategies, we propose to include samples from every available dissimilar classes, resulting in a better structuring of the output space. Moreover, we apply a regularisation on the outputs to better determine the objective function. Furthermore, the notion of polar sine enables a redefinition of the angular problem by maximising a normalised volume induced by the outputs of the reference and dissimilar samples, which effectively results in a Supervised Non-Linear Independent Component Analysis. Finally, we assess the unexplored potential of the Siamese network and its higher-level representation for novelty and error detection and rejection. With the help of two real-world inertial datasets, the Multimodal Human Activity Dataset as well as the Orange Dataset, specifically gathered for the Smartphone inertial symbolic gesture interaction paradigm, we characterise the performance of each contribution, and prove the higher novelty detection and rejection rate of our model, with protocols aiming at modelling unknown gestures and open world configurations. To summarise, the proposed SNN allows for supervised non-linear similarity metric learning, which extracts discriminative features, improving both inertial gesture classification and rejection.

Sugere-se a hipótese de uma Cidade Instantânea identificada no cotidiano em situações condicionadas por tecnologias de comunicação e informação, e especialmente a computação ubíqua, também conhecida como computação pervasiva ou computação ambiente. A investigação aponta para o entendimento de uma Cidade Instantânea que emerge em coletivos sem escala, sem localização e com fronteiras e limites extremamente frágeis, fluidos e temporários. A Cidade Instantânea se infiltra em todas as formas de cidades existentes sem anulá-las; substituí-las. A Cidade Instantânea não tem um objetivo traçado, ela é pura subjetividade que ganha força e presença nas multidões de indivíduos conectados. / We suggest the hypothesis of an Instant City identified in everyday situations conditioned by information and communication technologies, especially the ubiquitous computing, also known as pervasive computing or ambient computing. The research points to the understanding of an Instant City that emerges in collectives without a precise scale or location, with extremely fragile, fluid and temporary boundaries and limits. The Instant City joins and infiltrate in all forms of existing cities without dismiss them; replace them. The Instant City is pure subjectivity that gains strength and presence in the crowds of connected individuals.

Simplifier notre interaction avec les entités informatiques interconnectées de notre environnement et faciliter l'exploitation des informations générées par celles-ci est l'objectif des environnements et des applications ubiquitaires. Le comportement des applications ubiquitaires dépend de l'état et de la disponibilité des entités (logiciels ou dispositifs) qui composent l'environnement ubiquitaire dans lequel elles évoluent, ainsi que des préférences et localisations des utilisateurs. Développer et exécuter des applications ubiquitaires est un véritable défi que notre approche essaie de relever au travers de l'environnement d'exécution ApAM. Considérant que l'environnement d'exécution est imprévisible, nous partons du principe qu'une application ubiquitaire doit disposer d'une grande flexibilité dans le choix de ses composants et que cette composition doit être automatique. Nous proposons une description abstraite et implicite de la composition (où les composants et les liens entre eux ne sont pas décrits explicitement), ce qui permet de construire l'application incrémentalement pendant la phase d'exécution. La plate-forme d'exécution ApAM implémente ces mécanismes de composition incrémentale et s'en sert pour conférer aux applications ubiquitaires la capacité de " résister " et de s'adapter aux changements imprévisibles de l'environnement d'exécution. Cette propriété dite de résilience est au coeur de notre approche car elle permet aux programmeurs de développer " simplement " des applications " résilientes " sans avoir à décrire les diverses adaptations à réaliser et même sans connaître toutes les perturbations de l'environnement auxquelles elles seront soumises. Notre proposition offre le moyen de développer et d'exécuter des applications ayant un haut niveau de résilience vis-à-vis des évolutions de leur contexte d'exécution, grâce à des mécanismes automatiques capables de construire et de modifier à l'exécution l'architecture logicielle des applications ubiquitaire. Les mécanismes fournis sont génériques mais peuvent être étendus et spécialisés pour s'adapter plus finement à certaines applications ou à des domaines métiers spécifiques.

La progression rapide de la technologie a donné lieu à un panorama riche et varié de dispositifs numériques : caméra, téléphones mobiles, GPS, tablettes tactiles, liseuses numériques, robots, télévisions, éléments de domotique... La majorité de ces appareils sont aujourd'hui connectés à Internet. Et en plus de leurs fonctionnalités principales, ils permettent à leur propriétaire de rester en contact avec " le monde " à l'aide de logiciels de communication, de personnages virtuels ou de robots. Tous ces dispositifs numériques fonctionnent indépendamment les uns des autres. La question qui se pose est de savoir si ces dispositifs numériques doivent être coordonnés afin de partager certaines informations et effectuer certaines actions ensembles. Cette collaboration entre les dispositifs numériques est gérée par le Compagnon Artificiel qui est en contact permanent avec un utilisateur par les biais des divers dispositifs numériques. Une architecture modulaire ArCo permettant de mettre en place un Compagnon Artificiel a été réalisée dans le cadre de ce travail. Les dispositifs numériques sont gérés par des modules spécifiques, créés grâce à un cadriciel MICE (Machines Interaction Control in their Environment). L'utilisateur final du système peut programmer des scenarii d'interaction, qui indiquent les actions que doivent effectuer les dispositifs numériques, grâce à une interface de programmation visuelle AmbiProg. Chaque scénario est interprété par un module AmbiLive. Les conflits d'accès aux dispositifs numériques sont gérés par un module AmbiCop. Un ensemble d'évaluations a permis de valider expérimentalement l'architecture ArCo et de répondre à des problématiques d'interaction homme-machine.

Advances in Internet-of-Things integrate sensors and actuators in everyday items or even people transforming our society at an accelerated pace. This occurs in areas such as agriculture, logistics, transport, healthcare, and smart cities and has created new ways to interact with and experience entertainment, (serious) games, education, etc. Common to these domains is the challenge to realize and maintain complex relations with any object or individual globally, with the requirement for immediacy in maintaining relations of varying complexity. Existing architectures for maintaining relations on the Internet, e.g., DNS and search engines are insufficient in meeting these challenges. Their deficiencies mandate the research presented in this dissertation enabling the maintenance of dynamic and multi-criteria relationships among entities in real-time in an Internet-of-Things while minimizing the overall cost for maintaining such context-centric relationships. A second challenge is the need to represent nearness in context-centric relationships, since solutions need to build on what is closely related. The dissertation shows that the proximity on relations can be used to bring about the scalability of maintaining relationships across the IoT. It successfully demonstrates the concept and feasibility of self-organizing context-centric overlay networks for maintaining scalable and real-time relationships between endpoints co-located with associated physical entities. This is complemented by an object model for annotating objects and their relationships as derived and defined over the underpinning context interactions. Complementing measures of nearness are added through a non-metric multi-criteria approach to evaluating the notion of context proximity. A query language and an extension to the publish-subscribe approaches achieves distributed support for discovering such relationships; locating entities relative to a defined hyper-sphere of interest. Furthermore, it introduces adaptive algorithms for maintaining such relationships at minimal overall costs. The results demonstrate the feasibility of moving towards context-centric approaches to immersion and that such approaches are realizable over vast and distributed heterogeneous collections of user and their associated context information.

Les systèmes d'information mobiles et ambiants liés à la localisation et à la navigation évoluent progressivement vers des environnements à petite échelle. La nouvelle frontière scientifique et technologique concernent les applications qui assistent les utilisateurs dans leurs déplacements et activités au sein d'espaces bâtis dits "indoor" (e.g., aéroports, musées, bâtiments). La recherche présentée par cette thèse développe une représentation de données spatiales d'un environnement "indoor" qui tient compte des dimensions contextuelles centrées sur l'utilisateur et aborde les enjeux de gestion de données mobiles. Un modèle de données "indoor" hiérarchique et sensible au contexte est proposé. Ce modèle intègre différentes dimensions du contexte en plus de la localisation des entités concernées, telles que le temps et les profils des utilisateurs. Ce modèle est basé sur une structure arborescente dans laquelle l'information spatiale est représentée à différents niveaux d'abstraction. Cette conception hiérarchique favorise un traitement adaptatif et efficace des Requêtes Dépendantes de la Localisation (RDL) qui sont considérées comme des éléments clés pour le développement des différentes catégories de services de géolocalisation sensibles au contexte. Un langage de requêtes continues est développé et illustré par des exemples de requêtes RDL. Ce langage exploite le concept des granules spatiaux, et permet de représenter les requêtes continues et dépendantes de la localisation en prenant compte des préférences de l'utilisateur au moment de l'exécution. Cette approche de modélisation est complétée par le développement d'une architecture générique pour le traitement continu des requêtes RDL et par la conception et la mise en œuvre de plusieurs algorithmes qui permettent un traitement efficace des requêtes dépendantes de la localisation sur des objets mobiles en "indoor". Plusieurs algorithmes de traitement continu des requêtes de recherche de chemin hiérarchique et des requêtes de zone appliquées à des objets statiques et/ou en mouvement sont présentés. Ces algorithmes utilisent une approche hiérarchique et incrémentale afin d'exécuter efficacement les requêtes RDL continues. Un prototype encapsulant le modèle de données hiérarchique, les opérateurs et les contraintes introduits dans le langage de requête ainsi que les différents algorithmes et méthodes pour la manipulation de requêtes RDL a été développé comme une extension du SGBD Open Source PostgreSQL. Une étude expérimentale des solutions développées a été menée pour étudier la performance et le passage à l'échelle à l'égard des propriétés intrinsèques des solutions proposées.

Made available in DSpace on 2014-12-17T15:46:57Z (GMT). No. of bitstreams: 1 FredericoASL_TESE.pdf: 2802303 bytes, checksum: be814c8392c7d14ab8b3a30bbd50da04 (MD5) Previous issue date: 2011-11-18 / One of the current challenges of Ubiquitous Computing is the development of complex applications, those are more than simple alarms triggered by sensors or simple systems to configure the environment according to user preferences. Those applications are hard to develop since they are composed by services provided by different middleware and it is needed to know the peculiarities of each of them, mainly the communication and context models. This thesis presents OpenCOPI, a platform which integrates various services providers, including context provision middleware. It provides an unified ontology-based context model, as well as an environment that enable easy development of ubiquitous applications via the definition of semantic workflows that contains the abstract description of the application. Those semantic workflows are converted into concrete workflows, called execution plans. An execution plan consists of a workflow instance containing activities that are automated by a set of Web services. OpenCOPI supports the automatic Web service selection and composition, enabling the use of services provided by distinct middleware in an independent and transparent way. Moreover, this platform also supports execution adaptation in case of service failures, user mobility and degradation of services quality. The validation of OpenCOPI is performed through the development of case studies, specifically applications of the oil industry. In addition, this work evaluates the overhead introduced by OpenCOPI and compares it with the provided benefits, and the efficiency of OpenCOPI s selection and adaptation mechanism / Um dos principais desafios atuais da computa??o ub?qua ? o desenvolvimento de aplica??es complexas, que consistem em mais do que simples alarmes disparados por sensores ou ferramentas para configurar o ambiente de acordo com prefer?ncias dos usu?rios. Tais aplica??es s?o dif?ceis de desenvolver uma vez que envolve uso de servi?os que s?o providos por diferentes middleware, sendo necess?rio conhecer as peculiaridades de cada um deles, principalmente no que diz respeito ao modelo de comunica??o e ao modelo de representa??o de informa??es de contexto. Essa tese de doutorado apresenta o OpenCOPI, uma plataforma para integra??o de diferentes middleware de provis?o de contexto que fornece um servi?o de contexto unificado e baseado em ontologias, bem como um ambiente que facilita o desenvolvimento das aplica??es ub?quas atrav?s da defini??o de workflows sem?nticos com a descri??o abstrata da aplica??o. Esses workflows sem?nticos s?o transformados em workflows concretos, chamados de planos de execu??o. Um plano de execu??o ? em uma inst?ncia de um workflow contendo atividades que s?o automatizadas por um conjunto de servi?os Web. O OpenCOPI suporta composi??o e sele??o autom?tica de servi?os Web, possibilitando o uso transparente de servi?os de contexto providos por diferentes middleware. Essa plataforma tamb?m fornece suporte para adapta??o da execu??o das aplica??es em caso de falha de servi?os, mobilidade do usu?rio ou degrada??o da qualidade do servi?o. A valida??o do OpenCOPI ? realizada atrav?s de estudos de caso, especificamente aplica??es da ind?stria do petr?leo e g?s (monitoramento de po?os e de dutos de transporte de petr?leo). Al?m disso, esse trabalho avalia o overhead introduzido pelo OpenCOPI, contrastando com os seus benef?cios, e tamb?m avalia a efici?ncia dos mecanismos de sele??o e adapta??o

Cette thèse traite du problème du développement d'espaces intelligents par l'utilisateur final sous l'angle de l'Interaction Homme-Machine et de l'Intelligence Ambiante. Dans les processus actuels de développement, l'utilisateur est un consommateur contraint par un système pensé et réalisé par d'autres. L'objectif de cette thèse est de redonner le pouvoir à l'utilisateur final par le biais d'outils adaptés au développement d'espaces intelligents. Cette thèse retient l'habitat intelligent comme lieu de vie privilégié. Ses contributions incluent : (1) DisQo (Dispositifs du QuOtidien), une nouvelle méthode d'investigation des besoins, réalisable au domicile de familles, qui sollicite l'imagination et assure un juste équilibre entre contrôle expérimental, respect de la sphère privée et validité écologique des résultats ; (2) Un espace de classification pour une lecture comparative systématique et synthétique des outils portant sur le développement et la programmation d'habitats intelligents. Cette taxonomie met en évidence le peu d'avancées en édition multisyntaxe de même pour l'aide à la mise au point de programmes ; (3) KISS (Knit Your Ideas into Smart Spaces), un outil de programmation et de mise au point dont le langage de programmation est de type déclaratif orienté règles, avec potentiel d'égale opportunité syntaxique entre langue française pseudonaturelle (LPN) et langage visuel iconique. La technique d'interaction de construction des programmes LPN s'appuie sur l'utilisation de menus dont les options sont calculées dynamiquement assurant ainsi la découverte progressive du langage ainsi que l'extensibilité et la correction syntaxique et sémantique des programmes. La mise au point peut se pratiquer, au choix, dans le monde physique ou dans un monde dual numérique. L'évaluation de KISS dans DOMUS, un habitat intelligent d'expérimentation, montre que les utilisateurs parviennent à programmer un scénario réaliste de la vie réelle. / This dissertation addresses the problem of end-user development for smart spaces from a human-computer interaction perspective in the context of ambient intelligence. End-users are currently doomed to be consumers of systems that have been designed and implemented by others. The goal of this thesis is to provide end-users with tools that will enable them to develop their own smart spaces. This work focuses on the home as a key place for smartness. The contribution of this doctoral research is threefold: (1) DisQo, a new method for field studies that combines several techniques to reach a satisfying balance between experimental control, privacy issues, and ecological validity. Its key element is for observers to be able to “visit” people homes through the pictures of intimate objects taken by the participants themselves and to use these pictures as playful cultural probes to envision future use; (2) A problem space that makes explicit the functional coverage (as well as the limits) of the tools from the state of the art in the area of end-user development for smart homes. In particular, the problem space reveals a lack of support for multi-syntax editing as well as for testing and debugging programs; (3) KISS (Knit your Ideas into Smart Spaces), an end-user development tool that uses a declarative rule-based programming paradigm where programs are expressed in a French pseudo-natural language with potentiality for syntactic equal opportunity with an iconic visual language. Programs are constructed by selecting items from pull down menus that are dynamically updated with the functionalities of the smart home. By so doing, the end-user can learn the programming language incrementally and specify programs that are semantically and syntactically correct. Programs can be tested either in a virtual home or in a real home. The evaluation of KISS in the DOMUS experimental platform, shows that users are able to program a real-life scenario.

Nous nous positionnons dans un contexte d'informatique ambiante dans lequel il arrive que les besoins de l'utilisateur n'aient pas été prévus, notamment en situation exceptionnelle. Dans ce cas, il peut ne pas exister de système préconçu qui réponde exactement à ces besoins. Pour les satisfaire, il faut alors pouvoir composer les systèmes disponibles dans l'environnement, et le système composé doit permettre à l'utilisateur de faire des choix à l'exécution. Ainsi, l'utilisateur a la possibilité d'adapter l'exécution de la composition à son contexte. Cela signifie que la composition intègre des structures de contrôle de l'exécution, destinées à l'utilisateur : la composition est dite flexible. Dans cette thèse, nous proposons de répondre au problème de la composition flexible en contexte d'intelligence ambiante avec un planificateur produisant des plans flexibles. Dans un premier temps, nous proposons une modélisation de la planification flexible. Pour cela, nous définissons les opérateurs de séquence et d'alternative, utilisés pour caractériser les plans flexibles. Nous définissons deux autres opérateurs au moyen de la séquence et de l'alternative : l'entrelacement et l'itération. Nous nous référons à ce cadre théorique pour délimiter la flexibilité traitée par notre planificateur Lambda-Graphplan. L'originalité de Lambda-Graphplan est de produire des itérations en s'appuyant sur une approche par graphe de planification. Nous montrons notamment que Lambda-Graphplan est très performant avec les domaines se prêtant à la construction de structures itératives. / In a context of Ambient Intelligence, some of the user's needs might not be anticipated, e.g. when the user is in an unforeseen situation. In this case, there could exist no system that exactly meets their needs. By composing the available systems, the user could obtain a new system that satisfies their needs. In order to adapt the composition to the context, the composition must allow the user to make choices at runtime. So the composition includes control structures for the user: the composition is flexible. In this thesis, I deal with the problem of the flexible composition by automated planning. I propose a model of flexible planning. The sequence and the choice operators are defined and used to characterize flexible plans. Then, two other operators are derived from the sequence and the choice operators: the interleaving and the iteration operators. I refer to this framework to define the flexibility produced by my planner, Lambda-Graphplan, which is based on the planning graph. The originality of Lambda-Graphplan is to produce iterations. I show that Lambda-Graphplan is very efficient on domains that allow the construction of iterative structures.