La robotique ambiante s'intéresse à l'introduction de robots mobiles au sein d'environnements actifs où ces derniers fournissent des fonctionnalités alternatives ou complémentaires à celles embarquées par les robots mobiles. Cette thèse étudie la mise en concurrence des fonctionnalités internes et externes aux robots, qu'elle pose comme un problème de sélection de services logiciels. La sélection de services consiste à choisir un service ou une combinaison de services parmi un ensemble de candidats capables de réaliser une tâche requise. Pour cela, elle doit prédire et évaluer la performance des candidats. Ces performances reposent sur des critères non-fonctionnels comme la durée d'exécution, le coût ou le bruit. Ce domaine applicatif a pour particularité de nécessiter une coordination étroite entre certaines de ses fonctionnalités. Cette coordination se traduit par l'échange de flots de données entre les fonctionnalités durant leurs exécutions. Les fonctionnalités productrices de ces flots sont modélisées comme des services continus. Cette nouvelle catégorie de services logiciels impose que les compositions de services soient hiérarchiques et introduit des contraintes supplémentaires pour la sélection de services. Cette thèse met en évidence la présence d'un important couplage non-fonctionnel entre les performances des instances de services de différents niveaux, même lorsque les flots de données sont unidirectionnels. L'approche proposée se concentre sur la prédiction de la performance d'une instance de haut-niveau sachant son organigramme à l'issue de la sélection. Un organigramme regroupe l'ensemble des instances de services sollicitées pour réaliser une tâche de haut-niveau. L'étude s'appuie sur un scénario impliquant la sélection d'un service de positionnement en vue de permettre le déplacement d'un robot vers une destination requise. Pour un organigramme considéré, la prédiction de performance d'une instance de haut-niveau de ce scénario introduit les exigences suivantes : elle doit (i)être contextuelle en tenant compte, par exemple, du chemin suivi pour atteindre la destination requise, (ii) prendre en charge le remplacement d'une instance de sous-service suite à un échec ou, par extension, de façon opportuniste. En conséquence, cette sélection de services est posée comme un problème de prise de décision séquentielle formalisé à l'aide de processus de décision markoviens à horizon fini. La dimensionnalité importante du contexte en comparaison à la fréquence des déplacements du robot rend inadaptées les méthodes consistant à apprendre directement une fonction de valeur ou une fonction de transition. L'approche proposée repose sur des modèles de dynamique locaux et exploite le chemin de déplacement calculé par un sous-service pour estimer en ligne les valeurs des organigrammes disponibles dans l'état courant. Cette estimation est effectuée par l'intermédiaire d'une méthode de fouille stochastique d'arbre, Upper Confidence bounds applied to Trees / Ambient robotics aims at introducing mobile robots in active environments where the latter provide new or alternative functionalities to those shipped by mobile robots. This thesis studies the competition between robot and external functionalities, which is set as a service selection problem. Service selection consists in choosing a service or a combination of services among a set of candidates able to fulfil a given request. To do this, it has to predict and evaluate candidate performances. These performances are based on non-functional requirements such as execution time, cost or noise. This application domain requires tight coordination between some of its functionalities. Tight coordination involves setting data streams between functionalities during their execution. In this proposal, functionalities producing data streams are modelled as continuous services. This new service category requires hierarchical service composition and adds some constraints to the service selection problem. This thesis shows that an important non-functional coupling appears between service instances at different levels, even when data streams are unidirectional. The proposed approach focuses on performance prediction of an high-level service instance given its organigram. This organigram gathers service instances involved in the high-level task processing. The scenario included in this study is the selection of a positioning service involved in a robot navigation high-level service. For a given organigram, performance prediction of an high-level service instance of this scenario has to: (i) be contextual by, for instance, considering moving path towards the required destination, (ii) support service instance replacement after a failure or in an opportunist manner. Consequently, this service selection is set as a sequential decision problem and is formalized as a finite-horizon Markov decision process. Its high contextual dimensionality with respect to robot moving frequency makes direct learning of Q-value functions or transition functions inadequate. The proposed approachre lies on local dynamic models and uses the planned moving path to estimate Q-values of organigrams available in the initial state. This estimation is done using a Monte-Carlo tree search method, Upper Confidence bounds applied to Trees

Le développement actuel des moteurs doit répondre à une volonté de réduction de la consommation et à des normes de plus en plus sévères. Les moteurs Diesel, bien que performants, présentent des émissions trop importantes d'oxydes d'azote (NOx) et de particules de suies. Ces émissions polluantes proviennent essentiellement de l'existence de zones riches en carburant ne permettant pas une combustion optimale. La préparation du mélange air / carburant, fortement conditionné par l'entraînement d'air par le spray est donc essentielle. La Vélocimétrie par Images de Particules sur traceurs Fluorescents, associée à un traitement spécifique des champs de vitesses instantanés de la phase gazeuse externe sont utilisés afin d'obtenir des mesures en proche frontière du spray. Dans la zone quasi statique du spray, un effet important de la densité ambiante sur le taux de mélange est mis en évidence. D'autre part, la diminution du diamètre de trou d'injecteur améliore sensiblement le taux de mélange local. Pour compléter cette analyse, un gain du taux de mélange entre les deux injecteurs est calculé pour chaque densité ambiante. Pour les fortes densités, le gain issu de la réduction du diamètre de trou peut at! teindre une valeur importante (> 60%). La phase gazeuse latérale dans la zone instationnaire du spray est ensuite investiguée et la méthodologie de la F-PIV est transposée à cette zone. Un lien entre la longueur de pénétration du spray et des longueurs d'entraînement est défini. La densité ambiante n'a pas d'effet sur ces longueurs d'entraînement. La diminution du diamètre de trou engendre une augmentation du gaz entraîné à une distance plus courte du nez de l'injecteur. Cependant, cette étude montre que les deux sprays n'engendrent pas un entraînement de gaz similaire. / The actual development of the engine must reply to a will of fuel consumption reduction and to stricter norms concerning the pollutant emissions. Although the Diesel engines are competitive, the NOx and soot particle emissions mainly come from the existence of wealthy fuel zone preventing an optimal combustion. Therefore, the air / fuel mixing preparation, highly controlled by the air entrainment in spray, is essential. Particle Image Velocimetry on fluorescent tracers, associated with a specific processing of the instantaneous velocity fields have been applied to obtain measurements in the near vicinity of the spray edge. In the "quasi- teady" region of the spray, the important effect of the ambient density on the mixing rate has been pointed out. On the other hand, an orifice diameter decrease significantly improves the local air / fuel ratio. To complete this analyse, a gain in mixing rate between two different injectors has! been calculated for each gas density. For high densities, the gain due to a reduction of the hole diameter can reach important value (> 60%). Then, lateral gaseous phase in no stationary zone of spray is studying and F-PIV method is transposed to this zone. A link between the penetration length and entrainment lengths is defined. Ambient density has not effect on entrainment lengths. The hole diameter decrease generates entrained gas increase at shorter distance of injector nozzle. However, this study shows two sprays do not generated the same gas entrainment

L’automobile étant le premier moyen de déplacement en France, la présence de Composés Organiques Volatils (COVs) et de monoxyde de carbone à l’intérieur de l’habitacle, constitue un problème de santé publique. Plusieurs systèmes de dépollution, basés sur des méthodes d'adsorption, existent sur le marché, mais ne permettent qu'une simple rétention des COVs en surface. Parallèlement, des méthodes moins conventionnelles telle que la photocatalyse utilisant le dioxyde de titane, permettent d'oxyder les COVs sous irradiation, en présence d'humidité et à température ambiante. Cependant, la photocatalyse ne permet pas l’oxydation de certains polluants comme le monoxyde de carbone sans ajout de co-catalyseur. Pour éliminer le CO, la catalyse d’oxydation à froid sur dioxyde de manganèse a été étudiée.L’objectif de cette thèse est de développer une solution économique permettant la dépollution de l’habitacle automobile. Ce projet vise à allier à terme l’oxydation photocatalytique d’un COV modèle le n-pentane sur TiO2 P25 et l’oxydation catalytique du monoxyde de carbone à température ambiante sur des MnO2 synthétisés. En photocatalyse, les résultats mettent en évidence que la vitesse de dégradation diminue avec le taux d’humidité relative et augmente avec la puissance lumineuse et la concentration en n-pentane. Les concentrations des intermédiaires réactionnels sont de l’ordre du ppbv pour des ppmv de n-pentane injectés. L’operando DRIFTS a mis en évidence la présence de carbonates à la surface du photocatalyseur. Parallèlement, les expériences de PTR-MS-TOF-SRI et GC-MS ont permis d’identifier la présence de composés carbonylés parmi lesquels du formaldéhyde et la pentan-2-one. Ces intermédiaires ont permis de proposer un mécanisme de la dégradation du n-pentane sur TiO2 P25. Il a également été démontré que l’oxydation photocatalytique du n-pentane par TiO2 P25 permet une minéralisation pratiquement complète quelles que soient les conditions de travail. Pour le système catalytique, des oxydes de manganèse ont été synthétisés par co-précipitation puis calcinés sous oxygène à trois différentes températures : 100°C, 200°C et 300°C. Les performances catalytiques pour l’oxydation du CO ont été évaluées à température ambiante en l’absence d’humidité relative. Des méthodes en température programmée (TPD, TPO, TPR) ont permis de caractériser l’impact de la température de calcination sur la surface du dioxyde de manganèse. Les caractérisations DRX et BET ont mis en évidence la formation de la phase γ-MnO2 stable de 100°C à 300°C et de grande surface spécifique (178-197 m²/g). Les résultats montrent que les catalyseurs permettent une oxydation du monoxyde de carbone à température ambiante. Le catalyseur calciné à 100°C (MnO2-100) présente les meilleures performances avec un taux de conversion initiale de 60% à température ambiante pour 500 ppmv de CO à 10 L/h, 20%O2, (VVH = 25 000 h-1). Les catalyseurs, notamment MnO2-100, se désactivent au cours du temps à température ambiante. Cette désactivation pourrait être due à la capacité du catalyseur à renouveler ses oxygènes du réseau, impliquer dans le processus catalytique / The presence of Volatile Organic Compounds (VOCs) and carbon monoxide in indoor air is a major health issue. The vehicle cabin air is also affected by this problem, being the first mode of transportation. Most of the current depollution systems are based on trapping using adsorption methods, while photocatalytic processes offer the potential to fully degrade VOCs at room temperature in presence of relative humidity. However, carbon monoxide cannot be degraded by photocatalysis without a co-catalyst. Consequently, the room temperature oxidation catalysis of carbon monoxide has been studied. This thesis aims to develop an economical solution for cleaning the vehicle cabin air. This solution is based on crossing the photocatalytic oxidation of a target molecule the n-pentane over by TiO2 P25 and the room temperature oxidation of CO over synthesized MnO2. Results show that the n-pentane degradation rate decreases with the humidity level, and linearly increases with the irradiance power and the VOC concentration. Intermediates species are lowed concentrates (ppbv order) for ppmv of n-pentane used. Operando DRIFTS experiments highlighted the presence of formates surface species during the photocatalytic degradation of n-pentane. PTR-MS-TOF-SRI and GC-MS experiments highlighted the presence of carbonyl compounds as formaldehyde and pentan-2-one in gas phase during the degradation. Those intermediates species allowed us to propose a mechanism for the photocatalytic oxidation of n-pentane over TiO2 P25. Moreover, the efficiency of the photocatalytic degradation of n-pentane over TiO2 has been proved given that an almost complete mineralization is obtained whatever the working conditions. In catalysis, manganese oxides were synthesized by a co-precipitation method then calcined under oxygen at three different temperature: 100°C, 200°C and 300°C. The catalyst performances were evaluated for CO oxidation at room temperature in dry conditions. Temperature programmed methods were used for probing the impact of the calcination temperature on the catalyst surface. DRX and BET characterizations confirmed the formation of the phase γ-MnO2 stable between 100°C and 300°C, and a large surface area (178-197 m²/g). Results highlighted that the synthesized catalysts can oxide the CO at room temperature. The catalyst calcined at 100°C (MnO2-100) show the best performances with an initial conversion rate of 60% for 500 ppmv CO, at 10 L/h at 20% O2 (VVH = 25 000 h-1). However, a deactivation over the time of all the catalysts was observed, especially for MnO2-100. This deactivation could be related to the capacity of the catalyst to renew the oxygen bulk implied in the catalytic process

La communication multimodale, qui est primordiale dans les relations interpersonnelles, reste encore très limitée dans les interfaces homme-machine actuelles. Parmi les différentes modalités qui ont été adoptées par les recherches en interaction homme-machine, la modalité posturale a été moins explorée que d’autres modalités comme la parole ou les expressions faciales. Les postures corporelles sont pourtant indispensables pour interpréter et situer l’interaction entre deux personnes, que ce soit en termes de contexte spatial ou de contexte social. Les briques de base que sont les dispositifs et les modalités d’interaction (par exemple la kinect ou les avatars) sont pourtant disponibles. Il manque cependant des modèles informatiques reliant ces médias et modalités aux fonctions de communication pertinentes dans les interactions interpersonnelles comme celles liées à l’espace ou aux émotions.L’objectif de cette thèse est de concevoir un premier modèle informatique permettant d’exploiter les postures dans les interactions homme-machine. Cela soulève plusieurs questions de recherche : comment représenter symboliquement des postures exprimées durant des interactions interpersonnelles ? Comment spécifier les comportements posturaux de personnages virtuels ? Quelles doivent être les caractéristiques d’un modèle d’interaction corporel permettant des interactions entre un personnage virtuel et un utilisateur dans différents contextes physiques ou sociaux ?L’approche proposée consiste dans un premier temps à prendre comme point de départ des corpus vidéo filmés dans différentes situations. Nous avons défini un schéma de codage pour annoter manuellement les informations posturales à différents niveaux d’abstraction et pour les différentes parties du corps. Ces représentations symboliques ont été exploitées pour effectuer des analyses des relations spatiales et temporelles entre les postures exprimées par deux interlocuteurs.Ces représentations symboliques de postures ont été utilisées dans un deuxième temps pour simuler des expressions corporelles de personnages virtuels. Nous nous sommes intéressés à un composant des émotions particulièrement pertinent pour les études sur les postures : les tendances à l’action. Des animations impliquant deux personnages virtuels ont été ainsi conçues puis évaluées perceptivement.Enfin, dans un troisième temps, les expressions corporelles d’un personnage virtuel ont été conçues dans une application mixte faisant intervenir un personnage virtuel et un utilisateur dans un cadre d’interaction ambiante. Les postures et gestes du personnage virtuel ont été utilisées pour aider l’utilisateur à localiser des objets du monde réel.Cette thèse ouvre des perspectives sur des études plus spécifiques de l’interaction corporelle nécessitant par exemple des annotations automatiques via des dispositifs de capture de mouvement ou la prise en compte des différences individuelles dans l’expression posturale. / Multimodal communication is key to smooth interactions between people. However, multimodality remains limited in current human-computer interfaces. For example, posture is less explored than other modalities, such as speech and facial expressions. The postural expressions of others have a huge impact on how we situate and interpret an interaction. Devices and interfaces for representing full-body interaction are available (e.g., Kinect and full-body avatars), but systems still lack computational models relating these modalities to spatial and emotional communicative functions.The goal of this thesis is to lay the foundation for computational models that enable better use of posture in human-computer interaction. This necessitates addressing several research questions: How can we symbolically represent postures used in interpersonal communication? How can these representations inform the design of virtual characters' postural expressions? What are the requirements of a model of postural interaction for application to interactive virtual characters? How can this model be applied in different spatial and social contexts?In our approach, we start with the manual annotation of video corpora featuring postural expressions. We define a coding scheme for the manual annotation of posture at several levels of abstraction and for different body parts. These representations were used for analyzing the spatial and temporal relations between postures displayed by two human interlocutors during spontaneous conversations.Next, representations were used to inform the design of postural expressions displayed by virtual characters. For studying postural expressions, we selected one promising, relevant component of emotions: the action tendency. Animations were designed featuring action tendencies in a female character. These animations were used as a social context in perception tests.Finally, postural expressions were designed for a virtual character used in an ambient interaction system. These postural and spatial behaviors were used to help users locate real objects in an intelligent room (iRoom). The impact of these bodily expressions on the user¡¯s performance, subjective perception and behavior was evaluated in a user studyFurther studies of bodily interaction are called for involving, for example, motion-capture techniques, integration with other spatial modalities such as gaze, and consideration of individual differences in bodily interaction.

Nous proposons donc un modèle original d'apprentissage constructiviste adapté pour un système d'AmI. Ce modèle repose sur une approche décentralisée, permettant de multiples implémentations convenant à un environnement hétérogène. Dans les environnements réels continus sans modélisation à priori, se pose la question de la modélisation des structures élémentaires de représentation et particulièrement le problème d'amorçage de l'apprentissage sensorimoteur (comme décrit par [Kuipers06]). Dans le cadre du modèle général proposé, nous explicitons ce problème particulier et proposons de le traiter comme une forme d'auto-organisation modélisée par un système multi-agent. Cette approche permet de construire des motifs d'interaction élémentaires à partir des seules données brutes, sur lesquels peut reposer la construction d'une représentation plus élaborée (voir [Mazac14]). Nous présentons enfin une série d'expérimentations illustrant la résolution de ce problème d'amorçage : tout d'abord grâce à un environnement simulé, qui permet de maitriser les régularités de l'environnement et autorise des expérimentations rapides ; ensuite en implémentant ce système d'apprentissage au sein d'un environnement d'AmI réel. Pour cela le modèle est intégré dans le système d'AmI développé par l'entreprise partenaire de cette thèse CIFRE. Puis nous présentons une possible application industrielle des résultats de cette première étape implémentée d'amorçage de l'apprentissage sensorimoteur. Nous concluons par l'analyse des résultats et des perspectives de ce type d'approche pour l'AmI et l'application en général de l'IA aux systèmes réels en environnements continus / The theory of cognitive development from Jean Piaget (1923) is a constructivist perspective of learning that has substantially influenced cognitive science domain. Within AI, lots of works have tried to take inspiration from this paradigm since the beginning of the discipline. Indeed it seems that constructivism is a possible trail in order to overcome the limitations of classical techniques stemming from cognitivism or connectionism and create autonomous agents, fitted with strong adaptation ability within their environment, modelled on biological organisms. Potential applications concern intelligent agents in interaction with a complex environment, with objectives that cannot be predefined. Like robotics, Ambient Intelligence (AmI) is a rich and ambitious paradigm that represents a high complexity challenge for AI. In particular, as a part of constructivist theory, the agent has to build a representation of the world that relies on the learning of sensori-motor patterns starting from its own experience only. This step is difficult to set up for systems in continuous environments, using raw data from sensors without a priori modelling.With the use of multi-agent systems, we investigate the development of new techniques in order to adapt constructivist approach of learning on actual cases. Therefore, we use ambient intelligence as a reference domain for the application of our approach

Comme dans de nombreux autres domaines, la construction des applications en Informatique Ambiantes (IAm) se fait par réutilisation d’entités logicielles disponibles. Pour des raisons de conductivités, de pannes, de charge de batterie mais aussi de nombreuses autres, la disponibilité de ces entités est imprévisible ce qui implique que l’auto-adaptation dynamique des applications est une nécessité. Cela passe par la spécification en parallèle des adaptations par des experts de divers domaines. Ce parallélisme de construction, peut amener des problèmes d’interférences lors de la composition dynamique de plusieurs adaptations. Dans cette thèse, par l’utilisation de graphes, nous contribuons à la définition d’un cadre formel pour la détection et la résolution de ces interférences. L’assemblage des entités logicielles repose sur des connecteurs d’assemblage qui sont utilisés dans la spécification des adaptations. Des règles de réécriture de graphe permettront de résoudre les interférences détectées, cette résolution étant guidée par la connaissance de connecteurs définis. De plus, pour pouvoir étendre dynamiquement et automatiquement notre mécanisme de gestion des interférences, nous proposons la modélisation comportementale de ces connecteurs. Ceci permet de ne pas reposer sur une connaissance à priori des connecteurs et autorise par la même d’étendre dynamiquement l’ensemble des connecteurs disponibles pour la spécification des adaptations. / Like many other fields, application construction in ubiquitous computing is done by reuse of available software entities. For reasons of conductivity, breakdown, battery charge, but also many others reasons, the availability of these entities is unpredictable. As consequence, the self-adaptation of applications becomes necessary. This requires the specification of parallel adaptations by experts from various fields. This parallel specification can cause interference problems when several adaptations are composed. In this thesis, using graph formalism, we contribute to the definition of a formal approach for the detection and the resolution of interferences. The specification of adaptation uses connectors in order to assemble software entities. Graph rewriting rules are defined to solve the detected interferences. This resolution is guided by the knowledge of defined connectors. In addition, in order to extend dynamically and automatically our interference management mechanism, we propose behavioral modeling of these connectors. This allows us extending our mechanism without an a priori knowledge of connectors and allows afterwards to extend the set of available connectors used for adaptations' specifications.

Ces travaux de recherche doctorale s'inscrivent dans le domaine de l'Interaction Homme-Machine (IHM) en informatique ambiante avec, comme sujet d'étude, le couplage de ressources d'interaction. Coupler deux ressources, c'est l'action de les lier de manière à ce qu'elles opèrent conjointement pour fournir de nouveaux services. En réponse au foisonnement d'exemples et de techniques d'interaction ad hoc, cette étude propose une définition formelle de la notion de couplage, un cadre analytique ainsi qu'un intergiciel pour l'expérimentation. Le cadre d'analyse inclut d'une part, une taxonomie qui permet de comprendre l'espace problème et d'identifier des pistes de recherche encore inexplorées, et d'autre part des outils formels couvrant le cycle de vie d'un couplage, la composition de couplages, et les techniques d'interaction pour que l'utilisateur puisse façonner son espace interactif par le biais de couplages.

Cette étude a trait aux systèmes interactifs sensibles au contexte, c'est-à-dire aux systèmes capables d'identifier les circonstances qui entourent l'action de l'utilisateur en vue d'offrir des services adaptés. En réponse au foisonnement de propositions sur le sujet, cette étude présente trois contributions complémentaires servant la conception amont, la conception logicielle et la mise en oeuvre : • Une définition de la notion de contexte qui doit se comprendre comme un ensemble de situations, une situation comprenant un ensemble de variables périphériques à la tâche utilisateur considérée mais susceptibles de l'influencer. On propose de distinguer le contexte système, du contexte utilisateur et leur intersection : le contexte net. • Un modèle conceptuel visant la mise en oeuvre de systèmes sensibles au contexte fondé sur la notion de contexteur. Un contexteur est une abstraction logicielle qui fournit la valeur d'un observable relevant du contexte système. Par composition de contexteurs, il est possible de construire une application sensible au contexte. • Une validation du modèle par la mise en oeuvre de contexteurs dans des exemples d'applications sensibles au contexte.

L'objectif de l'informatique ubiquitaire ou ambiante, telle que définit par Weiser dans son article de référence, est de faire disparaître l'informatique traditionnelle au profit d'un espace informatisé. L'ordinateur ambiant doit également offrir des capacités d'interaction plus naturelles, être transparent et utilisable sans effort. L'intelligence ambiante est la rencontre de l'intelligence artificielle et de l'informatique ambiante. Il s'agit de déterminer, grâce à l'ensemble des dispositifs de perception présents, l'activité des utilisateurs (le contexte) afin de mieux comprendre et anticiper leurs besoins et leur proposer automatiquement des services appropriés (assistants virtuels). On parle d'applications sensibles au contexte. La conception et la réalisation d'une application sensible au contexte est une tâche complexe, aussi bien du point de vue du développeur que de l'utilisateur final. Il est important de proposer une approche adaptée à ces deux catégories d'acteurs. Nous avons tout d'abord proposé un modèle formel de spécification de contexte permettant d'établir le dialogue entre l'utilisateur et le développeur de l'application. Notre objectif est ensuite de proposer des approches permettant d'automatiser une partie de la production du code de manière à raccourcir le chemin entre cette spécification du modèle de contexte et sa mise en oeuvre au sein d'une application. Dans le cadre de l'aide au développeur, nous avons proposé une approche basée sur l'apprentissage supervisé pour l'interprétation des données capteurs sous forme d'entités et de rôles. Cette interprétation des données capteurs sert d'entrée à la reconnaissance de contexte (scénarios). En nous appuyant sur une approche de type Ingénierie Dirigée par les Modèles, nous avons projeté la spécification du contexte vers deux méta-modèles pour la reconnaissance de scénarios : les réseaux de Petri synchronisés, et les réseaux de Petri Flous. Nous nous sommes également intéressés à l'apprentissage automatique d'un modèle de situations basé sur un ensemble d'observations annotées. Dans le cadre de l'aide à l'utilisateur final, nous avons proposé deux approches permettant à l'usager d'adapter précisément l'application à ses besoins réels. La première approche est basée sur une analyse hors ligne du comportement de l'application (apprentissage supervisé). La seconde approche propose une modification en situation (punition – récompense) en s'appuyant sur une approche de type apprentissage renforcé indirect.

Cette thèse étudie l'acquisition automatique par apprentissage d'un modèle de contexte pour un utilisateur dans un environnement ubiquitaire. Dans un tel environnement, les dispositifs peuvent communiquer et coopérer afin de former un espace informatique cohérent. Certains appareils ont des capacités de perception, utilisées par l'environnement pour détecter la situation - le contexte - de l'utilisateur. D'autres appareils sont capables d'exécuter des actions. La problématique que nous nous sommes posée est de déterminer les associations optimales pour un utilisateur donné entre les situations et les actions. L'apprentissage apparaît comme une bonne approche car il permet de personnaliser l'environnement sans spécification explicite de la part de l'usager. Un apprentissage à vie permet, par ailleurs, de toujours s'adapter aux modifications du monde et des préférences utilisateur. L'apprentissage par renforcement est un paradigme d'apprentissage qui peut être une solution à notre problème, à condition de l'adapter aux contraintes liées à notre cadre d'application.