La sélection de caractéristiques acoustiques appropriées est essentielle dans tout système de traitement de la parole. Pendant près de 40 ans, la parole a été généralement considérée comme une séquence de signaux quasi-stables (voyelles) séparés par des transitions (consonnes). Bien qu‟un grand nombre d'études documentent clairement l'importance de la coarticulation, et révèlent que les cibles articulatoires et acoustiques ne sont pas indépendantes du contexte, l‟hypothèse que chaque voyelle présente une cible acoustique qui peut être spécifiée d'une manière indépendante du contexte reste très répandue. Ce point de vue implique des limitations fortes. Il est bien connu que les fréquences de formants sont des caractéristiques acoustiques qui présentent un lien évident avec la production de la parole, et qui peuvent participer à la distinction perceptive entre les voyelles. Par conséquent, les voyelles sont généralement décrites avec des configurations articulatoires statiques représentées par des cibles dans l'espace acoustique, généralement par les fréquences des formants correspondants, représentées dans les plans F1-F2 et F2-F3. Les consonnes occlusives peuvent être décrites en termes de point d'articulation, représentés par locus (ou locus équations) dans le plan acoustique. Mais les trajectoires des fréquences de formants dans la parole fluide présentent rarement un état d'équilibre pour chaque voyelle. Elles varient avec le locuteur, l'environnement consonantique (co-articulation) et le débit de parole (relative à un continuum entre hypo et hyper-articulation). En vue des limites inhérentes aux approches statiques, la démarche adoptée ici consiste à étudier les transitions entre les voyelles et les consonnes (V1V2 et V1CV2) d‟un point de vue dynamique. / Speech plays a vital role in human communication. Selection of relevant acoustic speech features is key to in the design of any system using speech processing. For some 40 years, speech was typically considered as a sequence of quasi-stable portions of signal (vowels) separated by transitions (consonants). Despite a wealth of studies that clearly document the importance of coarticulation, and reveal that articulatory and acoustic targets are not context-independent, the view that each vowel has an acoustic target that can be specified in a context-independent manner remains widespread. This point of view entails strong limitations. It is well known that formant frequencies are acoustic characteristics that bear a clear relationship with speech production, and that can distinguish among vowels. Therefore, vowels are generally described with static articulatory configurations represented by targets in the acoustic space, typically by formant frequencies in F1-F2 and F2-F3 planes. Plosive consonants can be described in terms of places of articulation, represented by locus or locus equations in an acoustic plane. But formant frequencies trajectories in fluent speech rarely display a steady state for each vowel. They vary with speaker, consonantal environment (co-articulation) and speaking rate (relating to continuum between hypo- and hyper-articulation). In view of inherent limitations of static approaches, the approach adopted here consists in studying both vowels and consonants from a dynamic point of view.Firstly we studied the effects of the impulse response at the beginning, at the end and during transitions of the signal both in the speech signal and at the perception level. Variations of the phases of the components were then examined. Results show that the effects of these parameters can be observed in spectrograms. Crucially, the amplitudes of the spectral components distinguished under the approach advocated here are sufficient for perceptual discrimination. From this result, for all speech analysis, we only focus on amplitude domain, deliberately leaving aside phase information. Next we extent the work to vowel-consonant-vowel perception from a dynamic point of view. These perceptual results, together with those obtained earlier by Carré (2009a), show that vowel-to-vowel and vowel-consonant-vowel stimuli can be characterized and separated by the direction and rate of the transitions on formant plane, even when absolute frequency values are outside the vowel triangle (i.e. the vowel acoustic space in absolute values).Due to limitations of formant measurements, the dynamic approach needs to develop new tools, based on parameters that can replace formant frequency estimation. Spectral Subband Centroid Frequency (SSCF) features was studied. Comparison with vowel formant frequencies show that SSCFs can replace formant frequencies and act as “pseudo-formant” even during consonant production.On this basis, SSCF is used as a tool to compute dynamic characteristics. We propose a new way to model the dynamic speech features: we called it SSCF Angles. Our analysis work on SSCF Angles were performed on transitions of vowel-to-vowel (V1V2) sequences of both Vietnamese and French. SSCF Angles appear as reliable and robust parameters. For each language, the analysis results show that: (i) SSCF Angles can distinguish V1V2 transitions; (ii) V1V2 and V2V1 have symmetrical properties on the acoustic domain based on SSCF Angles; (iii) SSCF Angles for male and female are fairly similar in the same studied transition of context V1V2; and (iv) they are also more or less invariant for speech rate (normal speech rate and fast one). And finally, these dynamic acoustic speech features are used in Vietnamese automatic speech recognition system with several obtained interesting results.

Cette recherche vise d’abord à éclairer l’esthétique du théâtre de Marivaux de façon inédite en se centrant surle concept d’action. Elle cherche également de façon concrète, à travers les pièces de ce dramaturge, à réfléchirsur ce concept polysémique, polyvalent et complexe. On constitue ainsi une ‘Anatomie de l’action’. Elles’inscrit dans le fil de la réflexion globale sur l’action qui remonte à Aristote et dans laquelle théoricienscomme créateurs/penseurs ont croisé leur regard s’affrontant sur la définition du terme, son essence éventuelleet les inflexions esthétiques nouvelles qu’on pouvait lui donner.L’analyse se concentre sur trois pièces, ‘expériences’ et modèles qui révèlent de manière emblématique lavariété de ce théâtre et qui ouvrent sur ses autres créations dramatiques. Un modèle Italien merveilleux,Arlequin poli par l’amour (1720) conduit à explorer les fondamentaux marivaudiens : l’inconstance commeaction, l’action redevable à une hybridité générique élevée et la crise du protagoniste à l’origine d’uneinstabilité du centre de l’action. Un anti-modèle tragique fructueux, Annibal (1719) permet de trouver unestructure profonde pour trois chefs-d’oeuvre, comédies « à éclats tragiques » (La Fausse Suivante, Le PrinceTravesti, Le Triomphe de l’Amour) en utilisant les outils classiques de la tragédie (‘noeuds de gloire’, sublime,reconnaissance, choix du protagoniste). Et un modèle utopique, L’Île des Esclaves (1725) oeuvre de pensée,permet de remonter par ce biais à l’action et de comprendre comment Marivaux parvient à construire celle-cien usant de systèmes de compensation avec les aspects ludiques et romanesques. / This research targets to bring new lights on the aesthetic of the theatre of Marivaux by focusing on the conceptof action. Also, through the plays of Marivaux, it looks concretely for a new thinking about this polyvalent andcomplex notion. It constitutes an ‘Anatomy of action’. It takes place in the global reflection on this term, whichgoes back to Aristotle and in which philosophers and creators/theoreticians confronted their conceptions on thedefinition, its essence and the new aesthetic inflexions which could be reached then.The analysis is mostly based on three plays, both ‘experiments’ and patterns which reveal in an emblematicway the diversity of this theatre and open on the other dramatic creations of Marivaux. A fairy Italian pattern,Arlequin polished by love (1720) leads to the exploration of the basics : the inconstancy as action, the actionresulting from a highly hybrid mixed genres theatre and the crisis of the protagonist and its consequences onthe centre of action. A tragic fruitful anti-pattern, Annibal (1719) gives a deep structure for three masterpieces,comedies with “tragic basement” (The False Servant, The Travestied Prince, The Triumph of Love) by usingthe traditional tools of the tragedy (knot of glory, sublime, recognition, choice of the protagonist). And autopian pattern, The Island of slaves (1725) creation of thought leads to the concept of action and gives key forunderstanding how Marivaux builds up this action by mixing and balancing it with cheerful and eventfulaspects.

Les assistances circulatoires mécaniques de longue durée (ACM) sont une stratégie de plus en plus répandue pour le traitement des patients porteurs d’insuffisance cardiaque avancée. Cependant, cette option thérapeutique reste associée à des complications immédiates at au suivi parfois particulièrement graves (telles que la thrombose de pompe, les évènements thromboemboliques et le dysfonctionnement du dispositif). Nous formulons l’hypothèse que l’analyse du positionnement postopératoire du dispositif (et notamment, de sa canule d’admission intraventriculaire) peut fournir des informations utiles à la prédiction des évènements cliniques cités ci-dessus. Nous formulons aussi l’hypothèse qu’il est possible d’optimiser la prise en charge de ces patients (choix du dispositif, choix du site ventriculaire et des modalités d’implantation) par le moyen d’une planification préopératoire assistée par ordinateur. Nous avons donc mis en place deux axes de recherche. Dans le premier, nous proposons un système original d’analyse d’orientation intraventriculaire de la canule d’admission (par rapport à la valve mitrale native) ; celui-ci démontre une association significative entre orientation de la canule en direction du septum interventriculaire et apparition clinique des complications. Ce moyen supplémentaire de prédiction spécifique-patient sera validé sur des cohortes plus large et testé dans le cadre d’une étude prospective. Dans le deuxième axe, nous proposons une solution d’implantation virtuelle spécifique patient. Elle est basée sur une segmentation semi-automatique des structures cardiaques, une visualisation augmentée du scanner préopératoire, un positionnement virtuel d’une représentation numérique des différents dispositifs, et une analyse de collision de celui-ci avec la paroi thoracique (ACM mono-ventriculaire et coeur artificiel total) ou le ventricule droit (ACM mono-ventriculaires). Nous ouvrons enfin les perspectives vers une approche d’analyse et prédiction physiologique basée sur la simulation par ordinateur de l’hémodynamique du ventricule gauche assisté. / Long-term circulatory mechanical assist devices are increasingly employed in the management of patients with advanced heart failure. Nonetheless, this therapeutic strategy is still associated with immediate and long-term complications; among these, pump thrombosis, thromboembolic events and pump dysfunction are particularly dreadful. Mechanical factors are involved in their pathogenesis. We hypothesize that the analysis of the post-implantation positioning of the devices (and particularly of the admission cannula for left ventricular assist devices) might provide additional useful information for the prediction of the above events. We also hypothesize that it is possible to optimize the management of these patients (under the perspective of device selection, choice of the left ventricular implantation site and implantation modalities) through computer-assisted preoperative planning. We have therefore established two axes of research. With the first axis, we propose an original system for orientation analysis of the intraventricular admission cannula with respect to the mitral valve (postoperative CT scan). This analysis indicates a significant association between the cannula orientation towards the interventricular septum and the occurrence of early/delayed complications. This novel method will be validated in larger cohorts and tested in a prospective clinical investigation. With the second axis, we propose a virtual implantation solution (environment Cami-TK), based on semi-automatic segmentation of cardiac structures (preoperative CT scan), augmented visualization of the CT scan images, virtual positioning of a 3D mesh representing the devices, and collision analysis with the thoracic structures (left ventricular assist devices and total artificial heart) or the right ventricle (ventricular assist devices only). We finally indicate future investigations concerning the application of computational fluid dynamics to facilitate computer simulation of the hemodynamics within the assisted left ventricle, and refined prediction of adverse events.

L'une des tâches les plus difficiles de l'enseignement en chirurgie, consiste à expliquer aux étudiants quelles sont les amplitudes des forces et des couples à appliquer pour guider les instruments au cours d'une opération. Ce problème devient plus important dans le domaine de la chirurgie mini-invasive (MIS) où la perception de profondeur est perdue et le champ visuel est réduit. Pour cette raison, l'évaluation de l'habileté chirurgicale associée est devenue un point capital dans le processus d'apprentissage en médecine. Des problèmes évidents de subjectivité apparaissent dans la formation des médecins, selon l'instructeur. De nombreuses études et rapports de recherches concernent le développement de techniques automatisées d'évaluation du geste. La première partie du travail présenté dans cette thèse introduit une nouvelle méthode de classification de gestes médicaux 3D reposant sur des modèles cinématiques et biomécaniques. Celle-ci analyse de manière qualitative mais aussi quantitative les mouvements associés aux tâches effectuées. La classification du geste est réalisée en utilisant un paramétrage reposant sur la longueur d'arc pour calculer la courbure pour chaque trajectoire. Les avantages de cette approche sont l'indépendance du temps, un système de repérage absolu et la réduction du nombre de données. L'étude inclue l'analyse expérimentale de plusieurs gestes, obtenus avec plusieurs types de capteurs et réalisés par différents sujets. La deuxième partie de ce travail se concentre sur la classification reposant sur les données cinématiques et dynamiques. En premier lieu, une expression empirique, entre la géométrie du mouvement et les données cinématiques, sert à calculer une nouvelle variable appelée vitesse affine. Les expériences conduites dans ce travail de thèse montrent la nature constante de cette grandeur lorsque les gestes médicaux sont simples et identiques. Une dernière technique de classification a été implémentée en utilisant un calcul de l'énergie utilisée au cours de chaque segment du geste. Cette méthode a été validée expérimentalement en utilisant six caméras et un laparoscope instrumenté. La position 3-D de l'extrémité de l'effecteur a été enregistrée, pour plusieurs participants, en utilisant le logiciel OptiTrack Motive et des marqueurs réfléchissants montés sur le laparoscope. Les mesures de force et de couple, d'autre part, ont été acquises à l'aide des capteurs fixés sur l'outil et situés entre la pointe et la poignée de l'outil afin de capturer l'interaction entre le participant et le matériau manipulé. Les résultats expérimentaux présentent une bonne corrélation entre les valeurs de l'énergie et les compétences chirurgicales des participants impliqués dans ces expériences. / One of the most difficult tasks in surgical education is to teach students what is the optimal magnitude of forces and torques to guide the instrument during operation. This problem becomes even more relevant in the field of Mini Invasive Surgery (MIS), where the depth perception is lost and visual field is reduced. In this way, the evaluation of surgical skills involved in this field becomes in a critical point in the learning process. Nowadays, this assessment is performed by expert surgeons observation in different operating rooms, making evident subjectivity issues in the results depending on the trainer in charge of the task. Research works around the world have focused on the development of the automated evaluation techniques, that provide an objective feedback during the learning process. Therefore, first part of this thesis describe a new method of classification of 3D medical gestures based on biomechanical models (kinematics). This new approach analyses medical gestures based on the smoothness and quality of movements related to the tasks performed during the medical training. Thus, gesture classification is accomplished using an arc length parametrization to compute the curvature for each trajectory. The advantages of this approach are mainly oriented towards time and location independence and problem simplification. The study included several gestures that were performed repeatedly by different subjects; these data sets were acquired, also, with three different devices. Second part of this work is focused in a classification technique based on kinematic and dynamic data. In first place, an empirical expression between movement geometry and kinematic data is used to compute a different variable called the affine velocity. Experiments carried out in this work show the constant nature of this feature in basic medical gestures. In the same way, results proved an adequate classification based on this computation. Parameters found in previous experiments were taken into account to study movements more complex. Likewise, affine velocity was used to perform a segmentation of pick and release tasks, and the classification stage was completed using an energy computation, based on dynamic data, for each segment. Final experiments were performed using six video cameras and an instrumented laparoscope. The 3-D position of the end effector was recorded, for each participant, using the OptiTrack Motive Software and reflective markers mounted on the laparoscope. Force and torque measurements, on the other hand, were acquired using force and torque sensors attached to the instrument and located between the tool tip and the handle of the tool in order to capture the interaction between participant and the manipulated material. Results associated to these experiments present a correlation between the energy values and the surgical skills of the participants involved in these experiments.

La phase d’idéation constitue les premiers grands pas d’itération dans le processus de design. Elle est dans une position d’amorce propice pour influencer fortement la direction des propositions conceptuelles fondatrices des projets et leur raffinement ultérieur. Ainsi, la possibilité d’intervenir sur la démarche du travail d’idéation présente une excellente occasion d’inclure et d’outiller des participants non-professionnels du design de manière à leur accorder un rôle qui outrepasse celui de personnes ordinairement consultées qu’en aval. Cependant, les formes de représentation traditionnellement employées pendant le processus d’idéation introduisent un décalage important entre la manière courante de vivre les environnements et la manière de les penser lors de leur conception, un décalage où le contexte de l’activité de conception marque une rupture vis-à-vis le contexte préexistant du projet. Nous proposons d’explorer l’utilisation de la représentation photogrammétrique immersive de contextes en réalité virtuelle (RV) – i.e. la numérisation spatio-visuelle d’environnements réels en tant que modèles 3D – comme piste de réponse aux problèmes soulevés par les représentations traditionnelles. Dès lors, une question se pose : quelle incidence porte la RV sociale et sans lunette, couplée à la photogrammétrie immersive du contexte du projet de design, sur la cognition de design des collaborateurs lors de la co-idéation ? Partant du design comme processus social où s’opère une négociation collaborative, nous identifions l’expression verbale comme principal outil des designers et l’expression graphique par la production d’esquisses comme mode complémentaire de communication et de réflexion. Toutefois, en approchant l’activité de design sous l’angle d’une activité fondamentalement cognitive, et plus spécifiquement dans le cadre de la cognition incarnée, la gestuelle ressort comme troisième mode essentiel pour peindre un portrait plus détaillé du rôle de la représentation contextuelle immersive en design. Nous proposons une étude comparative entre trois différentes conditions de travail observées lors des séances d’un atelier de design industriel universitaire : (i) la co-idéation en atelier traditionnel avec papier et crayon, (ii) la co-idéation en RV sans contexte, et (iii) en RV avec contexte 3D immersif. Nous avons retenu 21 enregistrements audio-vidéos (environ 20 minutes chaque) pour l’analyse, soit : un par condition pour sept équipes de trois collaborateurs. Sur le plan verbal, les séquences observées ont été segmentées puis codées selon le cadre des conversations de design. Notre codage de la gestuelle organise quant à lui chaque occurrence de geste co-discours selon le caractère dominant parmi les types communément distingués dans la littérature (organisationnel, déictique, iconique, et métaphorique) ; puis précise diverses caractéristiques intra-gestuelles dont la deixis de mise en place. En opérationnalisant ainsi la deixis gestuelle selon un ancrage disjoint ou conjoint de l’imagerie gestuelle avec la représentation graphique utilisée, nous mettons au jour les moments de dissociation ou de symbiose de la cognition de design avec les différents types de représentation. Les résultats indiquent que, malgré des processus de co-idéation semblables au niveau des dynamiques de conversation, la production d’esquisse est la moins fréquente en RV avec contexte, mais que dans cette même condition les gestes iconiques spontanés sont presque trois fois plus souvent liés à la représentation (64%) qu’en RV sans contexte (24%) et en papier et crayon (20%). Nous interprétons ces résultats comme l’annonce d’un processus créatif qui se retrouve, à ses fondements, plus souvent marié à l’expérience de l’environnement visuo-spatial représenté lorsqu’un modèle contextuel immersif est utilisé. Les résultats de l’analyse des gestes déictiques nous mènent aussi à explorer l’idée de qualités cognitivement plus affordantes pour le support de ce qui paraît être une perception « augmentée », où les participants projettent plus fréquemment des éléments imaginés dans la représentation lorsqu’en RV avec contexte. / The ideation phase constitutes the first great iterative steps in the design process. Holding a launch position in the process, this phase encompasses developments that can have a strong influence on the creative directions of the core conceptual propositions and their subsequent refinements. Thus, one can foresee the possibility of revisiting some of the common tools and practices ideation adheres to as an access-point to foster participation from people of varied backgrounds beyond a passive stance of providing input on propositions conceived upstream. Yet, the forms of representation traditionally put in place throughout the ideation process induce a significant gap between the way we live environments in our daily experiences – at their reception – and the way they are reflected upon, grasped and imagined during their conception, a shift that tends to bear with it a rupture from the pre-existing contexts of projects. We propose to explore the use of immersive photogrammetric representations of contexts in virtual reality (VR) – where photogrammetry implies visuo-spatial scanning, or digitization, of actual environments to produce textured 3D models – as a means to overcome these problems of traditional representations. One can then ask: what influence does headset-free social VR have on the design cognition of collaborators during co-ideation when coupled with the immersive photogrammetric representation of the design project’s context? Viewing the design process as an inherently social one where takes place a collaborative negotiation, we identify verbal expression as the primary tool of designers and graphical expression, through the production of sketches, as a complementary mode of communication and reflection. However, moving to a cognitive view of the design activity, more specially under the lens of embodied cognition, gesturing emerges as a third fundamental mode to in a quest to depict a more detailed portrait of the role of immersive contextual representations in design. This research is structured as a comparative study contrasting three studio conditions observed during the sessions of an undergraduate level industrial design studio: (i) the traditional pen and paper design studio, (ii) collaborative VR without context, and (iii) collaborative VR with 3D immersive context. A total of 21 audio-video recordings (around 15 to 20 minutes each) were analyzed, corresponding to one per condition for each of seven teams of three collaborators. Verbal-wise, the observed session recordings were segmented and coded according to the design conversations framework. Gesture-wise, every occurrence of co-speech gesturing was defined and organized according to the dominant dimension among the types commonly established in literature (organisational, deictic, iconic, and metaphoric) before being coded with various intra-gestural characteristics including their deixis of enaction. Through this characterisation of gestures’ deixis, operationalized as the independent or joint anchoring of gestural imagery with the graphical representation at hand, we reveal the instances of dissociation or symbiosis of the participants’ design cognition with the different representational setups. Results indicate that, despite similar co-ideation processes in terms of verbal dynamics, sketching is least used in VR with context, yet in this same condition spontaneous iconic gestures were observed to be representation-dependant (anchored) nearly three times (64%) the proportions observed in VR without context (24%) and pen and paper (20%). We interpret these results as highlighting a creative process that is, at its foundations, notably more often wed to the experience of the represented environment when an immersive contextual model is used. Furthermore, our analysis of deictic gestures also confronts us with the idea of greater affordance for supporting what appears to be a form of “augmented” perception, where participants more frequently project mentally imagined elements in the representation when in VR with context.

Mémoire en recherche-création / Creative dissertation / Cette thèse de maîtrise traite du processus créatif et de la recherche qui y est associée afin de produire deux performances en direct dans le domaine de la musique électroacoustique. À l’aide de ces deux œuvres, mon intention était de concevoir une pratique artistique qui réunit plusieurs modes autour de la gestuelle et du son, influencée par des algorithmes. Une tentative approfondie d’extraire un processus de composition à partir des réactions de la matière en vibration englobe une grande partie de la recherche. Cette recherche découle de ma transition d’une pratique artistique basée sur la représentation (soucieuse des haut-parleurs, manettes et boutons) vers une pratique imprégnée par la performance (soucieuse de la transformation continuelle du son en relation avec les modulations de la matière). Tout au long de cette recherche, j’ai mené un examen approfondi des rythmes au-delà de la pure mesure de leurs expressions musicales, pour considérer les nombreuses notions du rythme qui se dévoilent dans les interactions quotidiennes de l’expérience vécue. Les micro-rythmes perçus par l’oreille comme des textures, les gestes répétitifs perçus par l’œil comme un mouvement linéaire et les rythmes observés lors de circonstances sociales communes, comme la cadence de la conversation sont, parmi les caractéristiques du rythme qui ont suscité mon intérêt. Le tout se situe dans un récit historique éclairé qui étudie l’influence de l’algorithme et de la matière tout au long de la musique et de l’art sonore du XXe siècle. La recherche conceptuelle est enrichie par des expériences exhaustives en composition algorithmique, analyse gestuelle et modélisation gestuelle. Dans chacun de ces domaines, bien que soutenue par des lectures fondamentales en philosophie et en art, une approche primaire de la création s’est faite dans un processus « réfléchir-en-faisant » qui ont généré de nombreuses ex- périences tant avec la matière physique qu’avec la conception d’instruments numériques. Au- delà de la création des performances qui constituent la base des résultats de cette recherche, un vaste ensemble d’outils interopérables d’analyse gestuelle en temps réel, de modélisation, de composition algorithmique et de traitement du son a été développé et publié pour l’environnement Max/MSP. / This master’s thesis concerns the creative process and related research for the production of two live performances in the domain of electroacoustic music. Across the creation of the two works, my intention has been to develop a unified multi-modal gesture, sound, and algorithm influenced performance practise. Encompassing the largest portion of the research is an earnest attempt to derive compositional process from the behavior of vibrating matter. This research is precipitated by my movement from an artistic practice based on representation (concerned with speakers, knobs, and buttons) towards a practice steeped in performance (concerned with the continuous transformation of sound correlated to material modulation). Across this research, an in-depth investigation was conducted into rhythms beyond their purely metric musical manifestations, and into the numerous alternative notions of rhythm which are revealed through daily interactions and lived experience. Rhythmic artifacts of interest have included micro-rhythms perceived by the ear as textures, repetitive gestures perceived by the eye as linear motion, and rhythms observed in ordinary social situations such as the cadence of conversation. This is all situated within an informed historical narrative which considers the influence of the algorithm and material primarily across 20th century music and sound art. The conceptual research is augmented by extensive experiments in algorithmic composition, gesture analysis, and gesture mapping. In each of these areas, though tied to fundamental readings in philosophy and art, a primary approach to creation has been thinking-through-making, which has led to extensive experimentation with both physical materials and digital instrument design. Beyond the performance creations which form the basis of this research output, a large set of interoperable tools for real-time gesture analysis, mapping, algorithmic composition, and sound processing was developed and published for the Max/MSP environment.

Aujourd’hui, les recherches portant sur le geste manquent de modèles génériques. Les spécialistes du geste doivent osciller entre une formalisation excessivement conceptuelle et une description purement visuelle du mouvement. Nous reprenons les concepts développés par le chorégraphe Rudolf Laban pour l’analyse de la danse classique contemporaine, et proposons leur extension afin d’élaborer un modèle générique du geste basé sur ses éléments expressifs. Nous présentons également deux corpus de gestes 3D que nous avons constitués. Le premier, ORCHESTRE-3D, se compose de gestes pré-segmentés de chefs d’orchestre enregistrés en répétition. Son annotation à l’aide d’émotions musicales est destinée à l’étude du contenu émotionnel de la direction musicale. Le deuxième corpus, HTI 2014-2015, propose des séquences d’actions variées de la vie quotidienne. Dans une première approche de reconnaissance dite « globale », nous définissons un descripteur qui se rapporte à l’entièreté du geste. Ce type de caractérisation nous permet de discriminer diverses actions, ainsi que de reconnaître les différentes émotions musicales que portent les gestes des chefs d’orchestre de notre base ORCHESTRE-3D. Dans une seconde approche dite « dynamique », nous définissons un descripteur de trame gestuelle (e.g. défini pour tout instant du geste). Les descripteurs de trame sont utilisés des poses-clés du mouvement, de sorte à en obtenir à tout instant une représentation simplifiée et utilisable pour reconnaître des actions à la volée. Nous testons notre approche sur plusieurs bases de geste, dont notre propre corpus HTI 2014-2015 / Nowadays, researches dealing with gesture analysis suffer from a lack of unified mathematical models. On the one hand, gesture formalizations by human sciences remain purely theoretical and are not inclined to any quantification. On the other hand, the commonly used motion descriptors are generally purely intuitive, and limited to the visual aspects of the gesture. In the present work, we retain Laban Movement Analysis (LMA – originally designed for the study of dance movements) as a framework for building our own gesture descriptors, based on expressivity. Two datasets are introduced: the first one is called ORCHESTRE-3D, and is composed of pre-segmented orchestra conductors’ gestures, which have been annotated with the help of lexicon of musical emotions. The second one, HTI 2014-2015, comprises sequences of multiple daily actions. In a first experiment, we define a global feature vector based upon the expressive indices of our model and dedicated to the characterization of the whole gesture. This descriptor is used for action recognition purpose and to discriminate the different emotions of our orchestra conductors’ dataset. In a second approach, the different elements of our expressive model are used as a frame descriptor (e.g., describing the gesture at a given time). The feature space provided by such local characteristics is used to extract key poses of the motion. With the help of such poses, we obtain a per-frame sub-representation of body motions which is available for real-time action recognition purpose

Dans cette étude qualitative descriptive/interprétative, nous cherchons comment des enseignantes réputées expertes au deuxième cycle du primaire au Québec prévoient la différenciation pédagogique en résolution de problèmes mathématiques. Pour comprendre les contraintes et conditions de cette prévision, nous avons utilisé le modèle de Verschaffel, Greer et De Corté (2000) qui un modèle didactique crée pour comprendre les différentes phases de la démarche par laquelle passe l’élève pour résoudre un problème. Nous avons couplé ce modèle avec les dispositifs de la différenciation pédagogique de Tomlinson (2000) à savoir la différenciation des processus, la différenciation des productions, la différenciation des structures et la différenciation des contenus. Dans chaque phase de la démarche et chaque dispositif évoqué par les enseignantes, nous avons décrit les adaptations en général et les adaptations pour un ou des élèves en particulier. Il en ressort que prévoir comment différencier en résolution de situations-problèmes mathématiques relève d’un défi. En effet, même si les enseignantes rapportent prévoir utiliser un grand nombre de gestes de pratique pour tenir compte des besoins diversifiés de leurs élèves, elles semblent vouloir garder prise sur la plupart des explications avant de laisser les élèves se lancer seuls dans la résolution de la situation-problème mathématique. Cela s’explique par les contraintes nombreuses à gérer ainsi que leur perception de l’étayage à mettre en place pendant la recherche des élèves. Cela a pour conséquence de ne pas toujours exposer les élèves à risque au travail avec leurs pairs -bien qu’ils bénéficient alors grandement des rétroactions immédiates de l’enseignante- et a tendance à laisser de côté les besoins des élèves avancés. / In this qualitative study in a descriptive/interpretative model, we look for how teachers, supposedly experts in second grade in primary school in Québec predict differenciated instruction in solving problems. To understand the constraints and conditions around this prediction, we used Verschaffel, Greer and De Corté’s model (2000) wich is a didactic model to understand the different steps of the student to solve a problem. To complete this model, we used the differenciated devices of Tomlinson (2000) : differenciated process, differenciated productions, differenciated structures and differenciated contents. In the five phases of the process and in each device evocated by the teachers, we explained adaptation in general and adaptation for one or several students. It shows that predicting how to differenciate in solving problems is a challenge. Indeed, even if the teachers say they predict to use a certain amount of adaptations to take in consideration the needs of all the students, they seem to wanting to keep hold on most of the explanation before letting the student to start to try and solve the problem on their own. We explain this by the constraints to deal with and their perception of the scaffolding to be put in place during the search of solving. As consequence, it does not expose enough the at risk students to the work with their peers – altough they get great advantage of the immediate retroactions of the teacher- and has the tendency to left on side the needs of the advanced students.

Dans cette thèse, nous nous sommes intéressé aux très bons élèves et à leur façon d'étudier les mathématiques, en tenant compte du fait que tout ce qu'il y a à étudier mathématiquement n'est pas désigné par les professeurs. Partant de l'hypothèse que leur façon d'étudier leur permet de mieux réussir, nous avons suivi pendant deux années scolaires de très bons élèves de cinq établissements différents. Par une enquête anthropologique et ethnologique de terrain, nous les avons observés après les séances de cours en classe, sur leur lieu de travail (le bureau, la chambre ou un coin spécialement aménagé); en train de faire des exercices, des enquêtes, des recherches mathématiques sur les objets d'études des grands chapitres de la classe terminale scientifique (l'analyse, lois de probabilités continues, la géométrie, les similitudes...) ; chacun à sa manière, avec des supports didactiques de son choix. Cette forme d'observation particulière que nous appelons avec Mercier la méthode des épisodes biographiques, nous a permis de constituer des épisodes de leur biographie en mathématique, c'est-à-dire des moments où l'on peut attester qu'une question nouvelle se pose à eux, qu'ils apprennent quelque chose de nouveau en cherchant la réponse à la question donnée, et qu'ils identifient ce qu'ils ont appris en l'interrogeant depuis ce qu'ils savaient déjà. Nous montrons ainsi, comment les très bons élèves de terminales scientifiques fabriquent un répertoire de savoirs efficaces: leur répertoire épistémologique et heuristique. Pour construire ce répertoire, ils ont besoin d'aller enquêter loin de la classe, dans l'espace ou dans le temps (dans de nombreux manuels, scolaires ou non, dans des anciens livres, sur internet, quelques fois avec l'aide d'un membre de la famille ou d'un copain). C'est cette manière d'enquêter que nous appelons la transhumance didactique. / In this thesis, we were interested in the very good students and their way studying mathematics taking account of the fact that what there is to study mathematically is not always indicated by the professor in the courses of the various school grades. Based on the hypothesis that their way of studying enables them to succeed better in mathematics, we followed very good students from five different schools for two school years. Thus, using anthropological and ethnological field study methods, we observed the students after classroom hour, in their individual workplace settings (office, room or an especially arranged corner) doing exercises, investigations, mathematical research studies, each one in different way, with different didactic supports. This particular kind of observation, that we are calling the biographic episode method, enabled us to constitute episodes of their cognitive biography in mathematics, in other words moments of independent study where one can observe that they are faced with a news question, they learn something new by seeking the answer to a given problem, and they identify what they learned by questioning it in what they knew already. Thus we show how last year secondary school science students manufacture or build a directory of effective knowledge: the epistemological and heuristic directory. To build this directory, they need to seek learning away from the classroom, physically or temporally (using many textbooks or not, old textbooks, the Internet, or with the help of a family member or friend). It is this need for investigation which we call didactic transhumance.

Cette thèse explore la reconnaissance de gestes à partir de capteurs inertiels pour Smartphone. Ces gestes consistent en la réalisation d'un tracé dans l'espace présentant une valeur sémantique, avec l'appareil en main. Notre étude porte en particulier sur l'apprentissage de métrique entre signatures gestuelles grâce à l'architecture "Siamoise" (réseau de neurones siamois, SNN), qui a pour but de modéliser les relations sémantiques entre classes afin d'extraire des caractéristiques discriminantes. Cette architecture est appliquée au perceptron multicouche (MultiLayer Perceptron). Les stratégies classiques de formation d'ensembles d'apprentissage sont essentiellement basées sur des paires similaires et dissimilaires, ou des triplets formés d'une référence et de deux échantillons respectivement similaires et dissimilaires à cette référence. Ainsi, nous proposons une généralisation de ces approches dans un cadre de classification, où chaque ensemble d'apprentissage est composé d’une référence, un exemple positif, et un exemple négatif pour chaque classe dissimilaire. Par ailleurs, nous appliquons une régularisation sur les sorties du réseau au cours de l'apprentissage afin de limiter les variations de la norme moyenne des vecteurs caractéristiques obtenus. Enfin, nous proposons une redéfinition du problème angulaire par une adaptation de la notion de « sinus polaire », aboutissant à une analyse en composantes indépendantes non-linéaire supervisée. A l'aide de deux bases de données inertielles, la base MHAD (Multimodal Human Activity Dataset) ainsi que la base Orange, composée de gestes symboliques inertiels réalisés avec un Smartphone, les performances de chaque contribution sont caractérisées. Ainsi, des protocoles modélisant un monde ouvert, qui comprend des gestes inconnus par le système, mettent en évidence les meilleures capacités de détection et rejet de nouveauté du SNN. En résumé, le SNN proposé permet de réaliser un apprentissage supervisé de métrique de similarité non-linéaire, qui extrait des vecteurs caractéristiques discriminants, améliorant conjointement la classification et le rejet de gestes inertiels. / As consumer devices become more and more ubiquitous, new interaction solutions are required. In this thesis, we explore inertial-based gesture recognition on Smartphones, where gestures holding a semantic value are drawn in the air with the device in hand. In our research, speed and delay constraints required by an application are critical, leading us to the choice of neural-based models. Thus, our work focuses on metric learning between gesture sample signatures using the "Siamese" architecture (Siamese Neural Network, SNN), which aims at modelling semantic relations between classes to extract discriminative features, applied to the MultiLayer Perceptron. Contrary to some popular versions of this algorithm, we opt for a strategy that does not require additional parameter fine tuning, namely a set threshold on dissimilar outputs, during training. Indeed, after a preprocessing step where the data is filtered and normalised spatially and temporally, the SNN is trained from sets of samples, composed of similar and dissimilar examples, to compute a higher-level representation of the gesture, where features are collinear for similar gestures, and orthogonal for dissimilar ones. While the original model already works for classification, multiple mathematical problems which can impair its learning capabilities are identified. Consequently, as opposed to the classical similar or dissimilar pair; or reference, similar and dissimilar sample triplet input set selection strategies, we propose to include samples from every available dissimilar classes, resulting in a better structuring of the output space. Moreover, we apply a regularisation on the outputs to better determine the objective function. Furthermore, the notion of polar sine enables a redefinition of the angular problem by maximising a normalised volume induced by the outputs of the reference and dissimilar samples, which effectively results in a Supervised Non-Linear Independent Component Analysis. Finally, we assess the unexplored potential of the Siamese network and its higher-level representation for novelty and error detection and rejection. With the help of two real-world inertial datasets, the Multimodal Human Activity Dataset as well as the Orange Dataset, specifically gathered for the Smartphone inertial symbolic gesture interaction paradigm, we characterise the performance of each contribution, and prove the higher novelty detection and rejection rate of our model, with protocols aiming at modelling unknown gestures and open world configurations. To summarise, the proposed SNN allows for supervised non-linear similarity metric learning, which extracts discriminative features, improving both inertial gesture classification and rejection.