I denna studie har problematik kring avancerad gestbaserad navigering bejakats. Detta främst för att de riktlinjer som länge studerats inom Människa-Datorinteraktion (MDI) inte har etablerats på de plattformar där gestbaserad navigering är central. Det råder tvetydigheter angående hur bra interaktion bör tillämpas, då främst genom att stora aktörer inom området valt att applicera sina egna riktlinjer på sina enskilda plattformar.   Tidigare har forskare undersökt naturliga gestmönster hos användare genom att simulera ett händelseförlopp och sedan ge användaren möjligheten att skapa interaktionen. Detta har genomförts med en användargrupp utan tidigare erfarenheter inom denna typ av plattform.   Det denna studie haft som mål att belysa är ifall erfarenheter och behov har en påverkan på hur användare kan tänkas använda sig av avancerad gester. Utöver detta har också designprinciper inom MDI studerats för att se dess relevans till gestbaserad navigation.    Metoden för att samla in denna data har varit två workshops som fokuserat på att finna nya användningsområden för fyra unika gester samt en diskussionsworkshop baserad på kort med frågor.   Från den data som samlats in från representanterna kan man tydligt se att tidigare erfarenheter har en stor påverkan på de konceptuella modeller som representanterna har av användningsområden för avancerade gester. Resultatet visar också på att representanterna fann syften för avancerade gesterna baserat på behov som de själva saknade i dagsläget. Generellt tenderade de förslag som representanterna tagit fram att vara anpassade för  en snäv målgrupp och för  expertfunktionalitet. I denna studie har det varit tydligt att designprinciper inom MDI har en stor påverkan på hur vi interagerar och uppfattar användning av digitala artefakter då främst rörande förståelse, återkoppling, effektivitet och synlighet. / In this study problems concerning advanced gesture-based navigation is affirmed. This is mainly because the guidelines that have long been studied within the field of Human-Computer Interaction (HCI) has not been established on the platforms where gesture-based navigation is central. There is ambiguity about how good interaction should be applied, primarily by major players in the area which have chosen to apply their own guidelines on individual platforms.   Previously, researchers have investigated the natural gesture patterns of users by simulating a series of events and then give the user the ability to create interaction. This has been carried out with a group of users with no previous experience in this type of platform.   The present study had the objective to highlight if experience have an impact on how users may use advanced gestures. In addition, design principles within HCI where studied to see its relevance to gesture-based navigation.   The methodology for collecting data has been two workshops that focused on finding new uses for four unique gestures and a discussion workshop based on cards with questions.   From the data gathered from representatives its confirmed that past experiences have a major impact on the conceptual models of uses for advanced gestures. The results also show that representatives found the purposes for advanced gestures based on the needs that they themselves lacked in the current situation. The proposals that representatives developed for the gestures tended to be adapted to a narrow audience and expert functionality. This study, also confirmed that design principles of HCI has a huge impact on how we interact and perceive the use of digital artefacts, mainly regarding understanding, feedback, effectiveness and visibility.

Cette recherche vise d’abord à éclairer l’esthétique du théâtre de Marivaux de façon inédite en se centrant surle concept d’action. Elle cherche également de façon concrète, à travers les pièces de ce dramaturge, à réfléchirsur ce concept polysémique, polyvalent et complexe. On constitue ainsi une ‘Anatomie de l’action’. Elles’inscrit dans le fil de la réflexion globale sur l’action qui remonte à Aristote et dans laquelle théoricienscomme créateurs/penseurs ont croisé leur regard s’affrontant sur la définition du terme, son essence éventuelleet les inflexions esthétiques nouvelles qu’on pouvait lui donner.L’analyse se concentre sur trois pièces, ‘expériences’ et modèles qui révèlent de manière emblématique lavariété de ce théâtre et qui ouvrent sur ses autres créations dramatiques. Un modèle Italien merveilleux,Arlequin poli par l’amour (1720) conduit à explorer les fondamentaux marivaudiens : l’inconstance commeaction, l’action redevable à une hybridité générique élevée et la crise du protagoniste à l’origine d’uneinstabilité du centre de l’action. Un anti-modèle tragique fructueux, Annibal (1719) permet de trouver unestructure profonde pour trois chefs-d’oeuvre, comédies « à éclats tragiques » (La Fausse Suivante, Le PrinceTravesti, Le Triomphe de l’Amour) en utilisant les outils classiques de la tragédie (‘noeuds de gloire’, sublime,reconnaissance, choix du protagoniste). Et un modèle utopique, L’Île des Esclaves (1725) oeuvre de pensée,permet de remonter par ce biais à l’action et de comprendre comment Marivaux parvient à construire celle-cien usant de systèmes de compensation avec les aspects ludiques et romanesques. / This research targets to bring new lights on the aesthetic of the theatre of Marivaux by focusing on the conceptof action. Also, through the plays of Marivaux, it looks concretely for a new thinking about this polyvalent andcomplex notion. It constitutes an ‘Anatomy of action’. It takes place in the global reflection on this term, whichgoes back to Aristotle and in which philosophers and creators/theoreticians confronted their conceptions on thedefinition, its essence and the new aesthetic inflexions which could be reached then.The analysis is mostly based on three plays, both ‘experiments’ and patterns which reveal in an emblematicway the diversity of this theatre and open on the other dramatic creations of Marivaux. A fairy Italian pattern,Arlequin polished by love (1720) leads to the exploration of the basics : the inconstancy as action, the actionresulting from a highly hybrid mixed genres theatre and the crisis of the protagonist and its consequences onthe centre of action. A tragic fruitful anti-pattern, Annibal (1719) gives a deep structure for three masterpieces,comedies with “tragic basement” (The False Servant, The Travestied Prince, The Triumph of Love) by usingthe traditional tools of the tragedy (knot of glory, sublime, recognition, choice of the protagonist). And autopian pattern, The Island of slaves (1725) creation of thought leads to the concept of action and gives key forunderstanding how Marivaux builds up this action by mixing and balancing it with cheerful and eventfulaspects.

Rheumatoid Arthritis (RA) is a disease in which the body has "turned on itself", with its immune system attacking mobility. In RA, an immune mechanism attacks and destroys the joints and limits mobility, in some circumstances to the point of needing replacement of joints. The aim of this research is the development of a less costly, widely accessible, passive sensing technology that provides a quantitative assessment of RA and that monitors the therapeutic effectiveness on joint-debilitating diseases. The proposed solution relies on a quantitative evaluation of human gestures. Such a quantitative assessment supports the comparison between the motion capabilities of a patient and that of a healthy person, using a kinematic model of the human skeleton. Criteria for the classification of severity were established, and tables were generated to classify the levels of severity as a function of the measurements extracted from processed videos of a subject performing predefined movements. This research project, while contributing a new tool to the process of classification of RA level of severity, opens the way for using widely accessible digital imaging for diagnosing and monitoring the evolution of the illness. Replacing MRI or HRUS with a cheaper and more accessible technology would have a major impact on health care services. From the clinical point of view, the proposed techniques based on digital images processing combined with a monitoring approach based on infrared images that was previously developed may provide a utility of care for patients with RA, as well as an alternative and automated approach for early detection of RA and active inflammation at a critical time.

L’avènement du numérique a déplacé et découplé l’acte d’écriture de sa forme graphique et ainsi ouvert des possibilités de recherche au sujet des performances graphomotrices. Ces dernières peuvent, en particulier, prendre une autre dimension dans le contexte de création d’une écriture. Les langues des signes (LS) n’ont pas trouvé à ce jour de système d’écriture à même de rendre compte de leur spatialité et multidimensionnalité. Elles offrent ainsi des circonstances propices à cette recherche. Notre étude cherche à savoir jusqu’à quel point une part de l’activité du langage oral (gestuelle, corporelle) peut être maintenue dans l’activité du langage écrit et vise à comprendre le lien, en première personne, entre gestes et sens. L’objectif est de préserver une signification profonde pour le locuteur/scripteur. Pour répondre à cette question, nous proposons de réinvestir une gestuelle porteuse de sens dans le cadre de la conception d’un environnement technique favorisant la création scripturale. Dans un premier temps, cette étude pluridisciplinaire explore ce qui peut être transférable d’une sphère gestuelle à l’autre. En d’autres termes, quels éléments de l’oral peuvent être rapportés à l’écriture. Dans un second temps, elle envisage l’instrument permettant ce transfert. Pour cela, nous employons une démarche phénoménologique entendue comme méthodologie descriptive du point de vue en première personne. Cette méthode s’appuie sur des techniques de verbalisation de l’expérience vécue lors d’entretiens. La construction de la méthode adaptée à la LS française permet d’accéder à des descriptions fines des locuteurs sourds sur leur gestuelle. Le corpus de données est ensuite mis en dialogue avec une analyse en troisième personne établie à l’aide d’études linguistiques et kinésiologiques. Les résultats sur les dimensions du geste sémiotique nous amènent à penser les conditions d’une expérience habilitée, dans une perspective d’appropriation et de création scripturale des LS. Nous suivons pour cela la démarche de conception du design d’expérience utilisateur, du design d’énaction et de l’approche instrumentale pour l’immersion et l’interaction. La conception d’un tel dispositif vient non seulement changer le regard des personnes sourdes sur leur langue, mais également de manière plus générale, changer la relation que tout utilisateur a avec sa production gestuelle. / The digital revolution has evolved the act of writing; its forms have changed. From this phenomenon, new Graphomotor oriented research opportunities have emerged. The knowledge gathered by this research introduces a new angle for setting up a new writing system. Until today, no writing system has been able to transcribe the multidimensional nature of sign languages (SL). For that reason, sign languages offer the perfect opportunity for this kind of research. In this study we try to understand the link between gestures and meaning for the speaker and discover what features and how much of signing (gestures, body language) can be kept in the act of writing. Our objective is to maintain the integral meaning of gestures for the signer/writer. To do so, we offer the creation of a technologically advanced scriptural environment in which meaningful gestures can be put into perspective. First, this multidisciplinary research focuses on what can be transferred from the former gestural act (signing) to the latter (writing). Then, we consider the tool that will enable this transfer. To do so, we follow a phenomenological approach, or in other terms, a descriptive methodology from the firstperson point of view. This methodology is built upon signers’ feedback gathered of the experience lived during interviews. Shaping this method to fit the French SL offers precise gestural descriptions from signers themselves. This database is then compared with alinguistic and kinesiological analysis from the third-person point of view. These gestural meaning results enable us to reflect on how to create a guided experience tool enabling the assimilation of SL’s gestural matter and the creation of scriptural forms. To do that, we follow a UX design, an enaction design, and a tool based approach in order to offer immersion and interaction. This kind of device offers a new perspective to signers on their own language and more generally, offers the possibility for any user to form a new relationship with her or his own gestures.

La phase d’idéation constitue les premiers grands pas d’itération dans le processus de design. Elle est dans une position d’amorce propice pour influencer fortement la direction des propositions conceptuelles fondatrices des projets et leur raffinement ultérieur. Ainsi, la possibilité d’intervenir sur la démarche du travail d’idéation présente une excellente occasion d’inclure et d’outiller des participants non-professionnels du design de manière à leur accorder un rôle qui outrepasse celui de personnes ordinairement consultées qu’en aval. Cependant, les formes de représentation traditionnellement employées pendant le processus d’idéation introduisent un décalage important entre la manière courante de vivre les environnements et la manière de les penser lors de leur conception, un décalage où le contexte de l’activité de conception marque une rupture vis-à-vis le contexte préexistant du projet. Nous proposons d’explorer l’utilisation de la représentation photogrammétrique immersive de contextes en réalité virtuelle (RV) – i.e. la numérisation spatio-visuelle d’environnements réels en tant que modèles 3D – comme piste de réponse aux problèmes soulevés par les représentations traditionnelles. Dès lors, une question se pose : quelle incidence porte la RV sociale et sans lunette, couplée à la photogrammétrie immersive du contexte du projet de design, sur la cognition de design des collaborateurs lors de la co-idéation ? Partant du design comme processus social où s’opère une négociation collaborative, nous identifions l’expression verbale comme principal outil des designers et l’expression graphique par la production d’esquisses comme mode complémentaire de communication et de réflexion. Toutefois, en approchant l’activité de design sous l’angle d’une activité fondamentalement cognitive, et plus spécifiquement dans le cadre de la cognition incarnée, la gestuelle ressort comme troisième mode essentiel pour peindre un portrait plus détaillé du rôle de la représentation contextuelle immersive en design. Nous proposons une étude comparative entre trois différentes conditions de travail observées lors des séances d’un atelier de design industriel universitaire : (i) la co-idéation en atelier traditionnel avec papier et crayon, (ii) la co-idéation en RV sans contexte, et (iii) en RV avec contexte 3D immersif. Nous avons retenu 21 enregistrements audio-vidéos (environ 20 minutes chaque) pour l’analyse, soit : un par condition pour sept équipes de trois collaborateurs. Sur le plan verbal, les séquences observées ont été segmentées puis codées selon le cadre des conversations de design. Notre codage de la gestuelle organise quant à lui chaque occurrence de geste co-discours selon le caractère dominant parmi les types communément distingués dans la littérature (organisationnel, déictique, iconique, et métaphorique) ; puis précise diverses caractéristiques intra-gestuelles dont la deixis de mise en place. En opérationnalisant ainsi la deixis gestuelle selon un ancrage disjoint ou conjoint de l’imagerie gestuelle avec la représentation graphique utilisée, nous mettons au jour les moments de dissociation ou de symbiose de la cognition de design avec les différents types de représentation. Les résultats indiquent que, malgré des processus de co-idéation semblables au niveau des dynamiques de conversation, la production d’esquisse est la moins fréquente en RV avec contexte, mais que dans cette même condition les gestes iconiques spontanés sont presque trois fois plus souvent liés à la représentation (64%) qu’en RV sans contexte (24%) et en papier et crayon (20%). Nous interprétons ces résultats comme l’annonce d’un processus créatif qui se retrouve, à ses fondements, plus souvent marié à l’expérience de l’environnement visuo-spatial représenté lorsqu’un modèle contextuel immersif est utilisé. Les résultats de l’analyse des gestes déictiques nous mènent aussi à explorer l’idée de qualités cognitivement plus affordantes pour le support de ce qui paraît être une perception « augmentée », où les participants projettent plus fréquemment des éléments imaginés dans la représentation lorsqu’en RV avec contexte. / The ideation phase constitutes the first great iterative steps in the design process. Holding a launch position in the process, this phase encompasses developments that can have a strong influence on the creative directions of the core conceptual propositions and their subsequent refinements. Thus, one can foresee the possibility of revisiting some of the common tools and practices ideation adheres to as an access-point to foster participation from people of varied backgrounds beyond a passive stance of providing input on propositions conceived upstream. Yet, the forms of representation traditionally put in place throughout the ideation process induce a significant gap between the way we live environments in our daily experiences – at their reception – and the way they are reflected upon, grasped and imagined during their conception, a shift that tends to bear with it a rupture from the pre-existing contexts of projects. We propose to explore the use of immersive photogrammetric representations of contexts in virtual reality (VR) – where photogrammetry implies visuo-spatial scanning, or digitization, of actual environments to produce textured 3D models – as a means to overcome these problems of traditional representations. One can then ask: what influence does headset-free social VR have on the design cognition of collaborators during co-ideation when coupled with the immersive photogrammetric representation of the design project’s context? Viewing the design process as an inherently social one where takes place a collaborative negotiation, we identify verbal expression as the primary tool of designers and graphical expression, through the production of sketches, as a complementary mode of communication and reflection. However, moving to a cognitive view of the design activity, more specially under the lens of embodied cognition, gesturing emerges as a third fundamental mode to in a quest to depict a more detailed portrait of the role of immersive contextual representations in design. This research is structured as a comparative study contrasting three studio conditions observed during the sessions of an undergraduate level industrial design studio: (i) the traditional pen and paper design studio, (ii) collaborative VR without context, and (iii) collaborative VR with 3D immersive context. A total of 21 audio-video recordings (around 15 to 20 minutes each) were analyzed, corresponding to one per condition for each of seven teams of three collaborators. Verbal-wise, the observed session recordings were segmented and coded according to the design conversations framework. Gesture-wise, every occurrence of co-speech gesturing was defined and organized according to the dominant dimension among the types commonly established in literature (organisational, deictic, iconic, and metaphoric) before being coded with various intra-gestural characteristics including their deixis of enaction. Through this characterisation of gestures’ deixis, operationalized as the independent or joint anchoring of gestural imagery with the graphical representation at hand, we reveal the instances of dissociation or symbiosis of the participants’ design cognition with the different representational setups. Results indicate that, despite similar co-ideation processes in terms of verbal dynamics, sketching is least used in VR with context, yet in this same condition spontaneous iconic gestures were observed to be representation-dependant (anchored) nearly three times (64%) the proportions observed in VR without context (24%) and pen and paper (20%). We interpret these results as highlighting a creative process that is, at its foundations, notably more often wed to the experience of the represented environment when an immersive contextual model is used. Furthermore, our analysis of deictic gestures also confronts us with the idea of greater affordance for supporting what appears to be a form of “augmented” perception, where participants more frequently project mentally imagined elements in the representation when in VR with context.

This master’s thesis is dealing with recognition of an easy static gestures in order to computer controlling. First part of this work is attended to the theoretical review of methods used to hand segmentation from the image. Next methods for hang gesture classification are described. The second part of this work is devoted to choice of suitable method for hand segmentation based on skin color and movement. Methods for hand gesture classification are described in next part. Last part of this work is devoted to description of proposed system.

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum für Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 Domänenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte Formalisierungsansätze 3.1 Räumliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen für Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 Domänenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 Flächige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 Reguläre Ausdrücke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung für Multitouch 5.1 Ausgangslage für die Konzeption 5.1.1 Ikonographische Einordnung flächiger Gesten 5.1.2 Voruntersuchung zur Programmierung flächiger Gesten 5.1.3 Anforderungskatalog für die Formalisierung 5.2 Semiotische Analyse flächiger Gesten 5.2.1 Syntax flächiger Gesten 5.2.2 Semantik flächiger Gesten 5.2.3 Pragmatik flächiger Gesten 5.3 Präzedenzfälle für die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 Präzision bei flächigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der Beschreibungsfähigkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung für JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flächige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 Flächige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 Räumliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische Oberflächen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und Beiträge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukünftige Arbeiten Anhang Vergleichsmaterial Formalisierungsansätze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiele

The following thesis highlights intercultural misunderstandings that can occur due to different semantic values of emblems, a gesture generally defined as having an accepted verbal translation in a certain culture or community. To illustrate such problems, the semantic meanings of sixteen emblems in Colombia and Germany are analyzed. Misunderstandings caused by the use of these emblems are then explained from a communicative point of view, using Austin’s speech-act theory.

Aujourd’hui, les recherches portant sur le geste manquent de modèles génériques. Les spécialistes du geste doivent osciller entre une formalisation excessivement conceptuelle et une description purement visuelle du mouvement. Nous reprenons les concepts développés par le chorégraphe Rudolf Laban pour l’analyse de la danse classique contemporaine, et proposons leur extension afin d’élaborer un modèle générique du geste basé sur ses éléments expressifs. Nous présentons également deux corpus de gestes 3D que nous avons constitués. Le premier, ORCHESTRE-3D, se compose de gestes pré-segmentés de chefs d’orchestre enregistrés en répétition. Son annotation à l’aide d’émotions musicales est destinée à l’étude du contenu émotionnel de la direction musicale. Le deuxième corpus, HTI 2014-2015, propose des séquences d’actions variées de la vie quotidienne. Dans une première approche de reconnaissance dite « globale », nous définissons un descripteur qui se rapporte à l’entièreté du geste. Ce type de caractérisation nous permet de discriminer diverses actions, ainsi que de reconnaître les différentes émotions musicales que portent les gestes des chefs d’orchestre de notre base ORCHESTRE-3D. Dans une seconde approche dite « dynamique », nous définissons un descripteur de trame gestuelle (e.g. défini pour tout instant du geste). Les descripteurs de trame sont utilisés des poses-clés du mouvement, de sorte à en obtenir à tout instant une représentation simplifiée et utilisable pour reconnaître des actions à la volée. Nous testons notre approche sur plusieurs bases de geste, dont notre propre corpus HTI 2014-2015 / Nowadays, researches dealing with gesture analysis suffer from a lack of unified mathematical models. On the one hand, gesture formalizations by human sciences remain purely theoretical and are not inclined to any quantification. On the other hand, the commonly used motion descriptors are generally purely intuitive, and limited to the visual aspects of the gesture. In the present work, we retain Laban Movement Analysis (LMA – originally designed for the study of dance movements) as a framework for building our own gesture descriptors, based on expressivity. Two datasets are introduced: the first one is called ORCHESTRE-3D, and is composed of pre-segmented orchestra conductors’ gestures, which have been annotated with the help of lexicon of musical emotions. The second one, HTI 2014-2015, comprises sequences of multiple daily actions. In a first experiment, we define a global feature vector based upon the expressive indices of our model and dedicated to the characterization of the whole gesture. This descriptor is used for action recognition purpose and to discriminate the different emotions of our orchestra conductors’ dataset. In a second approach, the different elements of our expressive model are used as a frame descriptor (e.g., describing the gesture at a given time). The feature space provided by such local characteristics is used to extract key poses of the motion. With the help of such poses, we obtain a per-frame sub-representation of body motions which is available for real-time action recognition purpose

Dans cette étude qualitative descriptive/interprétative, nous cherchons comment des enseignantes réputées expertes au deuxième cycle du primaire au Québec prévoient la différenciation pédagogique en résolution de problèmes mathématiques. Pour comprendre les contraintes et conditions de cette prévision, nous avons utilisé le modèle de Verschaffel, Greer et De Corté (2000) qui un modèle didactique crée pour comprendre les différentes phases de la démarche par laquelle passe l’élève pour résoudre un problème. Nous avons couplé ce modèle avec les dispositifs de la différenciation pédagogique de Tomlinson (2000) à savoir la différenciation des processus, la différenciation des productions, la différenciation des structures et la différenciation des contenus. Dans chaque phase de la démarche et chaque dispositif évoqué par les enseignantes, nous avons décrit les adaptations en général et les adaptations pour un ou des élèves en particulier. Il en ressort que prévoir comment différencier en résolution de situations-problèmes mathématiques relève d’un défi. En effet, même si les enseignantes rapportent prévoir utiliser un grand nombre de gestes de pratique pour tenir compte des besoins diversifiés de leurs élèves, elles semblent vouloir garder prise sur la plupart des explications avant de laisser les élèves se lancer seuls dans la résolution de la situation-problème mathématique. Cela s’explique par les contraintes nombreuses à gérer ainsi que leur perception de l’étayage à mettre en place pendant la recherche des élèves. Cela a pour conséquence de ne pas toujours exposer les élèves à risque au travail avec leurs pairs -bien qu’ils bénéficient alors grandement des rétroactions immédiates de l’enseignante- et a tendance à laisser de côté les besoins des élèves avancés. / In this qualitative study in a descriptive/interpretative model, we look for how teachers, supposedly experts in second grade in primary school in Québec predict differenciated instruction in solving problems. To understand the constraints and conditions around this prediction, we used Verschaffel, Greer and De Corté’s model (2000) wich is a didactic model to understand the different steps of the student to solve a problem. To complete this model, we used the differenciated devices of Tomlinson (2000) : differenciated process, differenciated productions, differenciated structures and differenciated contents. In the five phases of the process and in each device evocated by the teachers, we explained adaptation in general and adaptation for one or several students. It shows that predicting how to differenciate in solving problems is a challenge. Indeed, even if the teachers say they predict to use a certain amount of adaptations to take in consideration the needs of all the students, they seem to wanting to keep hold on most of the explanation before letting the student to start to try and solve the problem on their own. We explain this by the constraints to deal with and their perception of the scaffolding to be put in place during the search of solving. As consequence, it does not expose enough the at risk students to the work with their peers – altough they get great advantage of the immediate retroactions of the teacher- and has the tendency to left on side the needs of the advanced students.