Les travaux présentés dans ce document visent à mieux comprendre la relation entre la structure (ou morphologie) acoustique des sons et le sens communiqué par ces derniers. Ils s'appuient sur une approche pluridisciplinaire associant mathématiques, acoustique, traitement du signal, perception et cognition, dans laquelle la synthèse numérique des sons constitue le point central. Ce travail aborde les aspects fondamentaux liés à la compréhension du traitement cognitif et perceptif des sons mais aussi les aspects appliqués où le contrôle évocateur des processus de synthèse joue un rôle privilégié. Les principaux résultats obtenus ont été déclinés suivant deux axes: les sons musicaux et les sons environnementaux et industriels. Dans le cadre des sons musicaux des questions liées à la caractérisation perceptive des instruments de musique ainsi qu'au contrôle exercé par le musicien lors du jeu instrumental ont été traités. On a notamment montré que l'évaluation subjective de notes isolés de sons de piano dépend de l'expertise des sujets et permet difficilement d'évaluer la musicalité de l'instrument. La prise en compte du contexte musical nous a conduit a étudier l'influence du contrôle du musicien sur le son lors de l'interprétation musicale. On a montré que l'instrumentiste contrôle de façon systématique les variations de timbre de l'instrument et que ces variations influent notablement sur l'interprétation musicale. Dans le cadre plus général de sons environnementaux et industriels, on s'est attaché à mieux comprendre les relations entre la structure morphologique des sons et la perception qui en découle. Par une approche « neuro-acoustique » associant imagerie cérébrale et analyses acoustiques, des invariants caractéristiques de certaines catégories sonores ont été identifiés. Ces invariants sont à la base d'un modèle de contrôle « haut niveau » permettant la synthèse de sons à partir d'évocations. Ces résultats nous permettent d'envisager la construction d'un véritable langage de sons basé sur la génération de métaphores sonores.

Nous nous intéressons au lien entre l'image numérique et un système d'information dans un cadre de conception de produit centré sur l'usager. Dans une première partie, nous nous intéressons à la perception par l'usager des environnements virtuels représentant un système d'information. La fidélité perceptive de l'environnement virtuel est étudié à plusieurs niveaux : psychophysique, fonctionnel et enfin sensible. La seconde partie est consacrée à la construction d'environnements virtuels fidèles au monde réel : nous abordons d'abord leur fidélité géométrique via la vision par ordinateur, puis la fidélité comportementale en reproduisant le comportement humain dans les environnements virtuels. Enfin, dans la dernière partie, nous proposons de considérer l'interaction entre le monde réel et le système d'information comme un système fonctionnant en boucle fermée : le système peut être représenté par des images mais aussi construit et mis à jour directement avec des images. Le domaine d'application visé est le système d'information géographique.

Après une introduction visant à mieux définir le domaine émergent du grand public qu'est la réalité augmentée, nous décrivons nos contributions en réalité augmentée pour une meilleure perception, cognition et interaction avec notre environnement. La perception est vue sous l'angle de la perception active, celle du mouvement et de l'anticipation. La pédagogie active, mais aussi la pédagogie inductive et déductive, sont utilisées pour améliorer nos facultés de raisonnement. Une meilleure interaction avec notre environnement est d'une part envisagée sous l'angle des systèmes supervisés à travers internet qui favorisent le travail collaboratif, et d'autre part grâce à la réalité augmentée mobile en faisant appel à des guides virtuels humains.

Depuis les travaux fondateurs de R. Bolt « Mets ça là » combinant la voix et le geste, les modalités<br />d'interaction se sont multipliées, diversifiées et améliorées. Les récents paradigmes d'interaction<br />comme les interfaces tangibles incarnées ou la réalité augmentée, couplés aux progrès des systèmes<br />de localisation, à la miniaturisation des dispositifs, à la qualité des réseaux sans fils, à l'amélioration de<br />la reconnaissance de la parole ou de gestes ouvrent un vaste champ de possibilités d'interaction pour<br />les systèmes multimodaux. Dans ce contexte, et bien que de nombreux systèmes multimodaux soient<br />disponibles, leur développement et leur maintien restent encore des tâches difficiles, notamment<br />par manque de réutilisabilité de l'existant. Ce travail de thèse aborde ce problème de conception et<br />de développement pour la multimodalité en entrée (de l'utilisateur vers le système informatique).<br />Nous décrivons un modèle conceptuel de la multimodalité qui organise dans un canevas unificateur<br />les modalités et leurs formes de combinaison. Basé sur ce modèle, nous définissons une approche<br />générique à composants logiciels, notée ICARE, facilitant et accélérant la conception, le développement<br />et le maintien des interfaces multimodales. Nous démontrons l'apport de cette approche par l'outil<br />ICARE qui est une opérationnalisation de notre approche à composants. Un éditeur graphique est fourni,<br />simplifiant la phase d'assemblage des composants et générant automatiquement le code correspondant<br />à l'interaction multimodale. Cinq systèmes multimodaux aux caractéristiques distinctes (systèmes de<br />réalité augmentée, de virtualité augmentée et mobiles) ont été développés avec l'outil ICARE.

La réalité augmentée (RA) mobile consiste à faire coexister en temps-réel des mondes virtuel et réel. La mobilité est facilitée par l'utilisation de nouveaux dispositifs de types smartphones, et mini-PC embarquant un certain nombre de capteurs (visuels, inertiels,...). Ces dispositifs disposent toutefois d'une puissance de calcul limitée, qui peut s'avérer critique au vu des applications envisagées. L'une des solutions est de recourir à des mécanismes de distributions pour répartir les calculs sur un ensemble hétérogène de machines (serveurs ou autre terminaux mobiles). L'objectif de cette thèse est de concevoir une architecture logicielle dédiée à la réalité augmentée distribuée et plus particulièrement aux applications distribuées capable de fonctionner sur des réseaux ad-hoc constitués de terminaux hétérogènes déployées au travers d'un réseau dans un premier temps. Dans un deuxième temps, il conviendra de démontrer l'applicabilité de la solution proposée à des applications concrètes et d'explorer différentes possibilités d'exploitation originales de la distribution dans les applications de Réalité Augmentée en mettant l'accent sur la plus value apportée en terme de fonctionnalités ou d'opérations possibles en comparaison avec une solution de Réalité Augmentée classique (non distribuée) et en comparaison avec les performances des environnements dédiés à la RA existants offrant la possibilité de créer des applications distribuées.

Dans cette thèse, nous nous intéressons aux structures d'une image en général, et plus particulièrement aux gradients et aux contours. Ces dernières se sont révélées très importantes ces dernières années pour de nombreuses applications en infographie,telles que la réalité augmentée et la stylisation d'images et de vidéos. Le but de toute analyse des structures d'une image est de décrire à un haut-niveau la compréhension que l'on peut avoir de son contenu et de fournir les bases nécessaires à l'amélioration de la qualité des applications citées au-dessus, notamment la lisibilité, la précision, la cohérence spatiale et temporelle.Dans une premier temps, nous démontrons le rôle important que ces structures jouent pour des applications de type composition "Focus+Context". Une telle approche est utilisée en réalité augmentée pour permettre la visualisation de parties d'une scènes qui sont normalement derrières ce que l'on peut observer dans un flux vidéo. L'utilisation d'une segmentation et de lignes caractéristiques permettent de mettre en avant et/ou de révéler les relations d'ordre entre les différents objets de la scène. Pour la synthèse d'images guidée par une fonction d'importance, de multiples styles de rendu sont combinés de manière cohérente grâce à l'utilisation d'une carte de gradients et une de saillance.Dans un deuxième temps, nous introduisons une nouvelle techniques qui permet de reconstruire de manière continue un champ de gradient, et ceci sans trop lisser les détails originaux contenus dans l'image. Pour cela, nous développons une nouvelle méthode d'approximation locale et de plus haut-degré pour des champs de gradients discrets et non-orientés. Cette méthode est basée sur le formalisme"moving least square" (MLS). Nous démontrons que notre approximation isotrope et linéaire est de meilleure qualité que le classique tenseur de structure : les détails sont mieux préservés et les instabilités sont réduites de manière significative. Nous démontrons aussi que notre nouveau champ de gradients apporte des améliorations à de nombreuses techniques de stylisation.Finalement, nous démontrons que l'utilisation d'une technique d'analyse de profil caractéristique par approximation polynomiale permet de distinguer les variations douces des zones dures. Les paramètres du profil sont utilisés comme des paramètres de stylisation tels que l'orientation des coups de pinceau, leur taille et leur opacité. Cela permet la création d'une large variété de styles de ligne.

Découvrir les environs tout en marchant à l'aide d'un appareil mobile est désormais possible en associant les nouvelles technologies telles que la réalité augmentée (RA) et les services basés sur la localisation. De nombreuses applications mobiles ont été conçues à cet effet récemment. Les environs d'un utilisateur en mouvement sont présentés sur l'écran de son appareil mobile en utilisant les données de géo-localisation et elle peut interagir avec son environnement grâce à une couche d'information numérique superposée sur la scène capturée. Toutefois, la quantité d'informations géo-référencées produites et accessibles augmentant chaque jour, il y a un besoin croissant d'une approche générique qui vise à présenter l'information de manière structurée et adaptée aux différents domaines d'application et à la diversité des profils des utilisateurs.Notre travail se concentre sur la définition d'un modèle de données pour les objets 3D destiné à être intégré dans des applications de RA mobiles. Le modèle de données que nous proposons donne accès à l'information spatio-temporelle et thématique disponible sur les objets du monde réel. Alors que la réalité augmentée semble être bien adaptée pour la recherche d'informations à partir de la localisation, la plupart des approches basées sur la RA se concentre sur des scénarios spécifiques à un domaine d'application. D'autre part, le nuage des données ouvertes et liées (LOD Cloud en anglais) est un ensemble en constante extension de données structurées et publiées sur le Web. Il contient donc de grandes quantités d'informations à références spatio-temporelles qui peuvent être exploitées par les applications mobiles et présentées en utilisant la RA pour favoriser l'interaction. Dans notre recherche, ce nuage du Web des Données sert de source principale d'information au cours de l'expérience de découverte des environs à l'aide de la RA proposée à l'utilisateur.À cette fin, nous publions sur le Web les objets 3D correspondant aux objets du monde réel en utilisant notre modèle de données, ce qui permet de les lier avec le nuage du Web des Données. De fait, un objet du monde réel peut être représenté selon trois dimensions d'information : thématique (qui décrit les rôles ou fonctions de l'objet), spatiale (à travers sa géométrie 3D), et temporelle (par la période qui correspond à son existence). De plus, chaque changement dans la vie d'un objet du monde réel est représenté dans le modèle par des informations sémantiques. En conséquence, sur son appareil mobile, l'utilisateur visualise une vue de RA construite avec des modèles 3D légers et transparents. Il peut interagir avec ces objets de RA afin d'accéder aux informations relatives aux objets du monde réel correspondants qui se trouvent aux alentours et vers lesquels il pointe son téléphone mobile. Ces objets de RA permettent à l'utilisateur de construire mentalement la relation référentielle entre les objets virtuels et réels, tandis que le développeur de l'application mobile peut créer des expériences basées sur des thématiques différentes disponibles à travers sur le nuage du Web des Données (architecture, histoire, gastronomie, loisirs, etc.).En nous appuyant sur cette base de connaissances conceptualisée, nous proposons une architecture appelée ARCAMA-3D (Réalité Augmentée et 3D pour les applications mobiles sensibles au contexte), dont les modules permettent aux concepteurs et développeurs de créer leurs propres applications de RA pour différents domaines en étant en mesure d'étendre le modèle de données, de lier les modèles 3D avec d'autres ensembles de données ouvertes et liées disponibles dans le nuage, et d'alimenter ces applications de découverte à partir de sources de données spécifiques. Notre proposition est illustrée sur le cas d'étude que constitue le Monastère Royal de Brou, en France, à travers un scénario de cas d'utilisation pour un utilisateur visitant ce monument historique. / Discovering the surroundings while walking using a mobile device is now possible by coupling new technologies such as Augmented Reality (AR) and location-based services. Many mobile applications have been designed for that purpose recently. The surroundings of the user are presented on the screen of her mobile device using the location data and she can interact with her environment through a digital information layer superimposed on the captured scene. However, since the amount of geo-referenced information increases every day, there is a growing need for a generic approach that aims at presenting information in a structured manner and adapted to different application domains and users profiles.Our work focuses on the definition of a data model for 3D objects to be used in mobile AR applications. The data model we propose prioritizes access to available spatiotemporal and thematic information about real-world objects. While Augmented Reality appears to be well-suited for searching location-based information, most of the AR approaches focus on domain specific scenarios and we observe that there is no generic data model dedicated to information search and discovery that could be re-used in various AR applications. On the other hand, Linked Open Data (LOD) cloud is an ever-growing set of structured and interlinked datasets published on the Web. It contains vast amounts of spatiotemporal information that can be exploited by location-based mobile applications and presented using AR for fostering interaction. In our research, the LOD cloud serves as a basis for information retrieval during the AR experience of the user.For this purpose, we first publish 3D objects that correspond to real-world objects (buildings, monuments, etc.) on the Web by using our data model and interlink them with data sources on the LOD cloud. Then, using our data model, any real-world object can be represented by three informational dimensions: themes (describing the roles or functions of this object), space (through its 3D geometry), and time (the period linked to its existence). Each change in the life of a real-world object is represented in the model by semantic information following the LOD publishing principles. This allows a binding between the content of our data model and the LOD cloud. As a consequence, on her mobile device, the user visualizes an AR view built with light and transparent 3D models. She can interact with these AR objects in order to access to information related to the corresponding real-world objects of her surroundings she is pointing at. These AR objects allow the user to mentally construct the referential relationships between virtual and real-world objects, while the mobile application developer can create experiences based on different concepts found on the cloud (thematic and temporal concepts, etc.). This way, the LOD cloud, as a growing and updated structured source of semantic data, becomes the main source of information and facilitates knowledge discovery in AR applications.Using this conceptualized knowledge base, we propose our architecture, called ARCAMA-3D (Augmented Reality for Context Aware Mobile Applications with 3D), whose modules allow application designers and developers to create their own AR applications for different domains by being able to extend the data model, bind 3D models with other data sources on the LOD cloud, cover a selected part of LOD and feed their application only with these specific data sources. We develop our ideas working on the case study of the Royal Monastery of Brou, in France, and implement a use case scenario for a user visiting the monastery.

La création d'informations 3D denses à partir d'images endoscopiques intraopératoires, ainsi que le calcul de la position relative de la caméra endoscopique, sont des éléments fondamentaux pour un guidage de qualité durant la chirurgie guidée par l'image. Par exemple, cela permet de superposer modèle pré-opératoire via la réalité augmentée. Cette thèse présente une approche pour l'estimation de ces deux information basées sur une approche de localisation et cartographie simultanées (SLAM). Nous découplons la reconstruction dense de l'estimation de la trajectoire de la caméra, aboutissant à un système qui combine la précision du SLAM, et une reconstruction plus complète. Les solutions proposées dans cette thèse ont été validées sur de séquences porcines provenant de différents ensembles de données. Ces solutions n'ont pas besoin de matériel de suivi externe ni d'intervention. Les seules entrées nécessaires sont les trames vidéo d'un endoscope monoculaire. / Recovering dense 3D information from intra-operative endoscopic images together with the relative endoscope camera pose are fundamental blocks for accurate guidance and navigation in image-guided surgery. They have several important applications, e.g., augmented reality overlay of pre-operative models. This thesis provides a systematic approach for estimating these two pieces of information based on a pure vision Simultaneous Localization And Mapping (SLAM). We decouple the dense reconstruction from the camera trajectory estimation, resulting in a system that combines the accuracy and robustness of feature-based SLAM with the more complete reconstruction of direct SLAM methods. The proposed solutions in this thesis have been validated on real porcine sequences from different datasets and proved to be fast and do not need any external tracking hardware nor significant intervention from medical staff. The sole input is video frames of a standard monocular endoscope.

La complexité de l’anatomie fait de son apprentissage une tâche difficile. Au fil des années, différents supports de connaissances ont vu le jour dans le but de représenter et structurer l’anatomie : des dessins au tableau, aux livres d’anatomie, en passant par l’étape incontournable de la dissection, et des travaux pratiques sur maquettes 3d. Il est néanmoins difficile d’appréhenderla dimension dynamique de l’anatomie avec les outils d’apprentissage conventionnels ; connaissance qui est pourtant essentielle à la formation des médecins. A travers ces travaux de thèse nous proposons un système original et innovant pour l’apprentissage de l’anatomie intitulé « Living Book of Anatomy » (LBA). L’idée étant, pour un utilisateur donné, de superposer à sa propre image une maquette anatomique 3d (peau, squelette, muscles et viscères) et del’animer en mimant les mouvements de celui-ci. Nous parlons ici d’une application temps-réel de type « miroir augmenté ». Nous utilisons la Kinect comme capteur de mouvement.Le premier défi à relever est l’identification de caractéristiques morphologiques qui nous permettront de recaler notre maquette anatomique 3d sur l’utilisateur. Nous proposons ici deux technologies interchangeables en fonction des besoins. La première méthode, temps-réel, est basée sur l’utilisation de transformations affines attachées entre les repères positionnés à chaque articulation du squelette donné par la Kinect pour déformer la maquette 3d à l’aide de poids de skinning prédéfinis. La seconde méthode, plus couteuse en temps (de l’ordre de quelques minutes), se découpe en trois parties : dans un premier temps nous déformons la peau à l’aide de la position des articulations du squelette d’animation Kinect et du nuage de pointpartiel de l’utilisateur ; à partir de cela et de règles anatomiques strictes nous déformons le squelette ; pour finir nous déformons les tissus mous pour qu’ils comblent l’espace entre le squelette et la peau. Le second défi concerne la capture réaliste et temps-réel des mouvements utilisateurs. Reproduire le comportement des structures anatomiques est une tâche complexe due aux informations Kinect souvent partielles et très bruitées. Nous proposons ici l’utilisation de règles anatomiques concernant les articulations du corps (axes de rotation et butées articulaires) pour contraindre les mouvements donnés par la Kinect et obtenir des mouvements réalistes. Pour obtenir des mouvements fluides nous nous proposons d’utiliser des filtrages, notamment le filtre de Kalman. Le dernier défi concerne la dominante de retour visuel et d’interaction.Lors de ces travaux nous nous sommes tout particulièrement intéressés à un renducorps complet pour montrer le fonctionnement général du corps humain et de ces différentes articulations. Nous avons également choisi le membre inférieur comme structure anatomique d’intérêt avec pour but la mise en avant de phénomènes anatomiques spécifiques, comme l’activité musculaire.Les différents éléments ont été intégrés dans un système opérationnel présenté en détails dans ce manuscrit de thèse. Grâce à des expérimentations - avec des étudiants et des professionnels de différents domaines - et la présentation de ces travaux sous forme de démonstrations lors de différents congrès, nous avons validé cet outil / To ease the complex task of anatomy learning, there exist many ways to represent and structure anatomy : illustrations, books, cadaver dissections and 3d models. However, it is difficult to understand and analyse anatomy motion, which is essential for medicine students. We present the "Living Book of Anatomy" (LBA), an original and innovative tool to learn anatomy. For a specific user, we superimpose a 3d anatomical model (skin, skeleton, muscles and visceras) onto the user’s color map and we animate it following the user’s movements. We present a real-time mirror-like augmented reality (AR) system. A Kinect is used to capturebody motions.The first innovation of our work is the identification of the user’s body measurements to register our 3d anatomical model. We propose two different methods to register anatomy.The first one is real-time and use affine transformations attached to rigid positioned on each joint given by the Kinect body tracking skeleton in order to deform the 3d anatomical model using skinning to fit the user’s measurements.The second method needs a few minutes to register the anatomy and is divided in 3 parts : skin deformation (using Kinect body tracking skeleton and the Kinect partial point cloud), with it and strict anatomical rules we register the skeleton. Lastly we deformm the soft tissues to completly fill the space inbetween the registered skeleton and skin.Secondly, we want to capture realistically and in real-time the user’s motion. To do that we need to reproduce anatomical structure motion but it is a complex task due to the noisy and often partial Kinect data. We propose here the use of anatomical rules concerning body articulations (angular limits and degrees of freedom) to constraint Kinect captured motion in order to obtain/gain plausible motions. a kalman filter is used to smooth the obtaiined motion capture.Lastly, to embed visual style and interaction, we use a full body reproduction to show general knowledge on human anatomy and its differents joints. We also use a lower-limb as structure of interest to higlight specific anatomical phenomenon, as muscular activity.All these tools have been integrated in a working system detailed in this thesis.We validated our tool/system by presenting it as a live demo during different conferences and through user studies done with students and professionnals from different backgrounds

Un jeu pédagogique constitue une déclinaison relative à l’apprentissage du concept de jeu sérieux (serious game). Ce type d'outil permet la ludification (gamification) de l'activité afin d'utiliser des éléments de jeu dans un contexte non ludique et conduit à catalyser l’attention, faire accroître l’engagement et augmenter la motivation des joueurs-apprenants dans les situations d’apprentissage. Les jeux pédagogiques reposent sur la mise en situation et l’immersion des apprenants, utilisant les ressorts ludiques dans des simulations axées vers la résolution de problèmes. Parmi des recherches antérieures, certains retours d’expériences font écho d’une trop grande artificialité de l’activité notamment par manque de contextualisation de l’apprentissage dans l’environnement d’utilisation des connaissances apprises. Nous avons proposé la mise en place un environnement mixte (physique et numérique) et l’utilisation de techniques collaboratives pour raffiner l’approche pédagogique. Ces orientations nous ont menés à la mise en place de ce que nous appelons des «Jeux Pédagogiques Collaboratifs Situés » (JPCS). Les deux questions de recherche qui nous ont été posées dans le cadre du projet SEGAREM et qui sont devenues les nôtres sont : 1/ comment accompagner les jeux sérieux par l’approche Réalité Augmentée (RA) et l'approche Interface Tangible (IT)? 2/ comment rendre la conception et la mise en œuvre des JPCS (Jeux Pédagogiques Collaboratifs Situés) plus explicite et plus systématique ? Les réponses que nous présentons dans cette thèse sont les suivantes : 1/ la conception et la mise en œuvre des pupitres interactifs supportant des objets réels augmentés, associés à un protocole de communication existant, proposant un support générique des techniques d’interaction détectée et de prise en compte du contexte physique d’utilisation ; 2/ une approche de production de JPCS se situant après l’étape de scénarisation ludo-pédagogique qui constitue notre cahier des charges. Nous avons basé notre approche sur des modèles pour permettre un support d’expression qui précise les caractéristiques des JPCS. Ces modèles sont soutenus par des éditeurs contextuels et produisent comme résultat des fichiers de descriptions en XML. La projection des descriptions obtenues sur une architecture générique d’exécution du JPCS permet une spécialisation pour obtenir une version exécutable. Dans les six modèles, certains sont adaptés des travaux antérieurs de l’équipe, d'autres issues de la littérature et les derniers sont directement proposés ici. Ces six modèles décrivent l’activité (un modèle d’orchestration de l’activité et un modèle de tâches), la structure de différents environnements, l’état initial de l’environnement et les conditions nécessaires d’un état final et les interactions possibles entre les joueurs et l’environnement. Nos travaux tant sur les pupitres que sur les modèles et le support d’exécution ont été concrétisés dans la mise en place de Lea(r)nIt. Ce JPCS avait pour but de consolider des acquis méthodologiques en Lean Manufacturing par l’utilisation et l’optimisation d’une chaîne de production simulée sur pupitres (supportant interactions tactiles, interactions tangibles et pouvant être assemblés) et sur téléphones mobiles (permettant la mobilité des joueurs-apprenants). / A Learning game is a declension of the serious game concept dedicated to the learning activity. A Learning game is based on a scenario and immersion of the learners with use of game mechanics on problem based simulation. The gamification concept is the use of game elements in a non-playful activity with as impact attention, motivation and engagement. However, some research feedback explains that too much artificiality on learning activity caused by a lack of contextualization of the activity on the professional environment. We propose to use Mixed Reality and Collaborative Supported Computer Work as technological solution to support situated and collaborative situation in aim to enhance pedagogical strategy and allow a better learning. We call it “Situated Collaborative Learning Game” (SCLG) as a concept of pedagogical tools to enhance learning of content with use of collaborative learning (when learners interactions is useful to learn), situated learning (when the environment context is meaningful) and human-physical objet interaction (with use of mixed reality, with kinesthetic and tangible interaction in augmented reality) and game based learning (when learner's motivation is improved by the learning activity). In these contexts, our two research questions are: 1 / How to create a serious games support by use of Augmented Reality (AR) approach and Tangible Interface (IT) approach? 2 / How to make design and development of SCLG (situated collaborative learning game) more explicit and systematic? We propose two solutions: 1/ the design and the production of four interactive desks with support of tangible interaction on and above the table. These devices are linked to a communication protocol which allows a generic support of technical interaction. 2/ A generic way to design the CSLG system, with integration of advanced human computer interaction support (as augmented reality and tangible interaction) and ubiquitous computing in Learning Games. For that, we propose, with a user centered oriented and model oriented design, a way to make a CSLG factory. For that, we propose use of six models to determinate the behavior of the CSLG. These six models describe learners’ activity (with use of three different models to follow the activity theory’s), the mixed game environment, deployment of entities on the environment, and human computer interactions. All of these models are linked by an orchestration model and can be project on a multi-agent multi-layers architecture by use of XML description file. We propose tools to help each step of our design and production process. Our work on interactive desks, on the six models and on the runtime support has been realized in the production of Lea(r)nIT. This SCLG consolidate methodological knowledge of Lean Manufacturing by use and optimization of a simulated chain production on four desks (which support touch and tangible interactions and can be assembled) and on mobile phones (to allow movement of learners).