<p>Cilj disertacije je da se kori&scaron;ćenjem teorije o<br />muzičkom gestu - na sonatama kao<br />reprezentativnom uzorku u kome je gest osnova<br />izgradnje muzičkog značenja, generator<br />kompozicione forme i strukture, ali i determini&scaron;ući<br />faktor analize koji obezbeđuje razumevanje stila i<br />stilskih promena - potvrdi upotreba muzičkog gesta<br />kao elementa naratologije muzičkog toka u muzici<br />Prokofjeva. &Scaron;ire gledano, primena teorije o<br />muzičkom gestu na istraživanje klavirskih sonata<br />Sergeja Prokofjeva potvrdiće njenu univerzalnu<br />profilisanost i primenjivost u analitičkim tumačenjima<br />muzike 20. veka, te pro&scaron;iriti dosada&scaron;nju praksu da se<br />ova teorija isključivo vezuje za muziku 18. i 19. veka.<br />Svojevrsni analitički izazov predstavljaće primena<br />ove teorije na muzički tok koji povremeno izlazi iz<br />okvira tonalnog jezika (u kom je muzički gest<br />originalno utemeljen) čime se pro&scaron;iruje polje njene<br />primene, ali i ukazuje na najproduktivniji aspekt<br />dana&scaron;nje muzičke semiotike - istraživanje relacije<br />muzika-telo.</p>

A computer vision system consists of many stages, depending on its application. Feature extraction and segmentation are two key stages of a typical computer vision system and hence developments in feature extraction and segmentation are significant in improving the overall performance of a computer vision system. There are many inherent problems associated with feature extraction and segmentation processes of a computer vision system. In this thesis, I propose novel solutions to some of these problems in feature extraction and segmentation. First, I explore manifold learning, which is a non-linear dimensionality reduction technique for feature extraction in high dimensional data. The classical manifold learning techniques perform dimensionality reduction assuming that original data lie on a single low dimensional manifold. However, in reality, data sets often consist of data belonging to multiple classes, which lie on their own manifolds. Thus, I propose a multi-manifold learning technique to simultaneously learn multiple manifolds present in a data set, which cannot be achieved through classical single manifold learning techniques. Secondly, in image segmentation, when the number of segments of the image is not known, automatically determining the number of segments becomes a challenging problem. In this thesis, I propose an adaptive unsupervised image segmentation technique based on spatial and feature space Dirichlet tessellation as a solution to this problem. Skin segmentation is an important as well as a challenging problem in computer vision applications. Thus, thirdly, I propose a novel skin segmentation technique by combining the multi-manifold learning-based feature extraction and Vorono\"{i} region-based image segmentation. Finally, I explore hand gesture recognition, which is a prevalent topic in intelligent human computer interaction and demonstrate that the proposed improvements in the feature extraction and segmentation stages improve the overall recognition rates of the proposed hand gesture recognition framework. I use the proposed skin segmentation technique to segment the hand, the object of interest in hand gesture recognition and manifold learning for feature extraction to automatically extract the salient features. Furthermore, in this thesis, I show that different instances of the same dynamic hand gesture have similar underlying manifolds, which allows manifold-matching based hand gesture recognition. / February 2017

The new industry revolution creates a vast transformation in the manufacturing methods. Embedded Intelligence and communication technologies facilitate the execution of the smart factory. It can provide lots of features for strong customization of products. Assembly system is a critical segment of the smart factory. However, the complexity of production planning and the variety of products being manufactured, persuade the factories to use different methods to guide the workers for unfamiliar tasks in the assembly section. Motion tracking is the process of capturing the movement of human body or objects which has been used in different industrial systems. It can be integrated to a wide range of applications such as interacting with computers, games and entertainment, industry, etc. Motion tracking can be integrated to assembly systems and it has the potential to create an improvement in this industry as well. But the integration of motion tracking in industrial processes is still not widespread. This thesis work provides a fully automatic tracking solution for future systems in manufacturing industry and other fields. In general a configurable, flexible, and scalable motion tracking system is created in this thesis work to amend the tracking process. According to our environment, we have done a research between different motion tracking methods and technologies including Kinect and Leap Motion sensor, and finally the leap motion sensor is selected as the most appropriate method, because it fulfils our demands in this project. Multiple Leap motion sensors are used in this work to cover areas with different size. Data fusion between multiple leap motion sensors can be considered as another novel contribution of this thesis work. To achieve this goal data from multiple sensors are combined. This system can improve the lack of accuracy in order to creating a practical industrial application. By fusion of several sensors in order to achieve accuracies that allow implementation in practice, a motion tracking system with higher accuracy is created.

It is a gestural sensibility forever suspended in the material as it cools. With each movement to and fro, I become fully immersed and given over to the activity of glassworking, where the simplest impressions whisper of fantastic melodies. I remain open to it: conducting a collision: a symphony of riffs, vamps and arpeggios. Constructing the chorus in disjunctive phases as if it forms out of its own directive. The polyphonic rhythm of decisions converge into a new composition, now completely obscured from the intro—existing in reference only to itself and you

Cette thèse se présente comme un parcours entre enjeux et devenirs du geste suicidaire, moment traumatique, dont l’une des particularités est la qualité de son inscription dans le temps. Quelque chose du côté de l’insaisissable tente d’être appréhender au fil du travail et à partir de plusieurs points de vue. De la crise à la scène suicidaire, de la singularité du geste suicidaire à la singularité de ce qui est psychiquement remanié, réorganisé, la réflexion s’appuie sur une clinique actuelle, des effets immédiats de l’acte, pour tenter d’en comprendre les enjeux psychiques, de saisir la (les) configuration intrapsychique qui peut « faire » du geste suicidaire une « solution » à un conflit du même ordre. / The thesis is presented as a path between issues and become of suicidal gesture, traumatic moment, one of whose features is the quality of his registration in time. Something on the side of the elusive try to be understanding over work from multiple perspectives. From crisis to the scene of suicide, the singularity of the suicidal gesture to the singularity of what is psychically altered, rearranged, a reflection based on current clinical, immediate effects of the act, to try to understand mental challenges, to grasp the configuration intrapsychiqu e can 'do' a suicidal act of "solution" to a conflict similar.

Cette synthèse du pianisme ravélien vise à éclairer les œuvres de façon inédite. Sans apporter une nouvelle compréhension des œuvres par leur dimension corporelle, elle se révèlerait inutile. Mais au-delà de son intérêt purement musical, elle appelait une question fondamentale : qu’est-ce qui a rendu possibles tel geste et telle posture à l’époque de Ravel ? / This synthesis of Ravelian pianism aims at considering musical works in a new way. Without bringing a new comprehension of works in their body dimension, it would appear useless. But beyond its musical interest, it required a fundamental question: what made possible such gesture and posture during Ravel’s time ?

La présente thèse a pour but d’approfondir l’étude du geste dans le cadre de l’interaction Homme Machine. Il s’agit de créer de nouveaux paradigmes d’interaction qui offrent à l’utilisateur de plus amples possibilités d’expression basées sur le geste. Un des vecteurs d’expression du geste, très rarement traité en Interaction Homme Machine, qui lui confère sa coloration et son aspect, est ce que les théoriciens et praticiens de la danse appellent « les qualités de mouvement ». Nous mettons à profit des collaborations avec le domaine de la danse pour étudier la notion de qualités de mouvement et l’intégrer à des paradigmes d’interaction gestuelle. Notre travail analyse les apports de l’intégration des qualités de mouvement comme modalité d’interaction, fournit les outils propices à l’élaboration de cette intégration (en termes de méthodes d’analyse, de visualisation et de contrôle gestuel), en développe et évalue certaines techniques d’interaction.Les contributions de la thèse se situent d’abord dans la formalisation de la notion de qualités de mouvement et l’évaluation de son intégration dans un dispositif interactif en termes d’expérience utilisateur. Sur le plan de la visualisation des qualités de mouvement, les travaux menés pendant la thèse ont permis de démontrer que les modèles physiques masses-ressorts offrent de grandes possibilités de simulation de comportements dynamiques et de contrôle en temps réel. Sur le plan de l’analyse, la thèse a permis de développer des approches novatrices de reconnaissance automatique des qualités de mouvement de l’utilisateur. Enfin, à partir des approches d’analyse et de visualisation des qualités de mouvement, la thèse a donné lieu à l’implémentation d’un ensemble de techniques d’interaction. Elle a appliqué et évalué ses techniques dans le contexte de la pédagogie de la danse et de la performance. / The thesis studies gesture in the context of Human-Computer interaction. It aims at creating new interaction paradigms that offer the user further expressive possibilities based on gestures. The theorists and practitioners of the dance call "movement qualities” (MQ), a notion that conveys expressive content describing the way a gesture is performed. This notion has been rarely taken into consideration in the field of HCI. Our work draws on collaborations with the field of dance to explore the notion of movement qualities and to integrate it as interaction modality. 

The contributions of the thesis are in the formalism of the notion of movement qualities and evaluation of its integration as interaction modality in terms of user experience. 

We also provide computational tools for considering MQ in interactive systems in terms of analysis, representation and gesture control methods. On the representational level, our work have demonstrated that physical models based on masses and springs systems offer great opportunities for simulating dynamics related to MQs and for real-time gesture control. On the analysis level, we developed innovative approaches to automatic real time recognition of movement qualities. Finally, we implemented of a set of interaction techniques based on movement qualities that we applied and evaluated in the context of dance pedagogy and performance.

L’écrivain Erri De Luca agit comme un passeur d’histoires personnelles, intimes et collectives, ce qui nous conduit à en étudier les origines et les fondements. À nous interroger sur la manière dont l’écriture poétique et sensible du poète rend possible une transmission de l’Histoire. Or, cela pose évidemment la question de la mémoire et de la manière dont elle est restituée : interprétation, manque, oubli, réinvention rétrospective. Mais révèle aussi la possibilité des récits d’offrir au lecteur contemporain la capacité de s’approprier cette Histoire qu’il n’a pas nécessairement vécue. En effet au coeur de cette oeuvre singulière se déploie une force de prédication qui donne au lecteur attentif la possibilité de saisir une phrase sensible où s’exprime la puissance de l’image, de se l’approprier, de la mémoriser et enfin de la transmettre de nouveau en la remodelant. D’où l’importance de ce geste du conteur dans l’écriture d’Erri De Luca et l’intérêt que nous y portons. Dès lors le style narratif où domine cette poétique de la sensation, révèle un art de raconter par excellence. / The writer Erri De Luca acts as a storyteller of personal, intimate and collective stories. It leads us to study the origins and the foundations of his writing. It makes us think about the way his poetic and sensitive writing makes a transmission of History possible. Yet, it inevitably questions memory and the way this memory is reproduced: interpretation, absence, forgetfulness and retrospective reinvention. It also reveals the possibility of story telling to offer today’s reader the capacity to appropriate this History he may not have lived through. A the heart of this singular work indeed, there is a strength of speech which enables the attentive reader to understand a sensitive sentence in which the power of the image is fully expressed. The reader can seize this sentence and memorize it before transmitting it again after remodelling it. Thus the importance of this storytelling particularity in Erri De Luca’s writing. From then on De Luca’s narrative style full of lyrical sensation, reveals a powerful mastery of telling.

Les troubles spécifiques du développement praxique (ou gestuel) sont diagnostiqués comme Dyspraxie ou Trouble de l’Acquisition de la Coordination (TAC). Leur compréhension se heurte à de nombreuses impasses, et dans la définition des concepts de praxies et de coordination motrice et dans l’analyse théorique des déficits qu’ils recouvrent. En l’absence de théorie spécifique à l’enfant, les connaissances concernant le développement atypique des praxies se sont élaborées sur une transposition des modèles « adulte » mais sans en appréhender la pertinence. L’objectif principal ici est de dégager les arguments qui étayeraient l’hypothèse d’un trouble spécifique du développement praxique. Le parti est pris de proposer un examen fondé sur les théories du geste chez l’adulte, et qui cible les différents niveaux cognitifs engagés dans son développement: fonctions perceptives (visuelles, spatiales), exécutives (planification, flexibilité, inhibition) et compréhension orale. Les performances d’enfants diagnostiqués dyspraxiques ou TAC et au développement typique sont comparées dans deux études, de groupes puis de cas multiples. Nos résultats montrent des troubles divers « dans » la production du geste, inconstants dans les profils individuels, et associés avec des déficits non spécifiquement gestuels (perceptifs, exécutifs ou de compréhension). Face à cette hétérogénéité, la thèse propose de déconstruire la conception des troubles spécifiques du développement praxique, au profit d’une analyse qui ne confonde pas un trouble « du » geste avec tout déficit se manifestant « dans » le geste. / Specific deficit in praxic (or gestural) development are diagnosed as Dyspraxia or Developmental Coordination Disorder (DCD). Understanding them proves problematic, both when defining the concepts of praxis/motor coordination and when providing a theoretical analysis of the deficits they cover. In the absence of theory specifically related to children, knowledge about atypical development of praxis is gleaned by applying « adult » models, without really understanding whether this is appropriate. The aim of this thesis is to explore the arguments underlying the hypothesis of a specific deficit in praxis development. Tasks were selected based on adult cognitive models of praxis processing in order to enable a comprehensive and theoretically analysis of gestures. We also examined different cognitive functions involved in the praxis development: perception (both visual and spatial), executive functions (planning, flexibility, inhibition) and oral comprehension. The performance of children diagnosed as dyspraxic or DCD is compared to those considered to show typical development in two studies: on groups and multiple case studies. Our results show various difficulties in producing gestures, mostly inconstant in case studies, and related to deficits that are not specifically gestural. Given the heterogeneity of the disorders that we found, this thesis is aimed at deconstructing the concept of specific deficit in praxis development in favour of an analysis that does not confuse gestural problems with other deficits made apparent through gesture.

L'objectif de cette thèse est d'étudier le développement communicationnel multimodal des jeunes enfants français âgés de 18 mois à 3 ans et demi. Nous nous concentrons donc autant sur l'apparition et le développement des gestes et des combinaisons bimodales alliant un geste et un (ou plusieurs) mot(s) que sur celui de la langue et tâchons d'étudier le rôle du geste dans les étapes précoces de l'acquisition du langage. L'intérêt de cette recherche est qu'elle fait un pont entre (1) les recherches sur la gestualité du jeune enfant durant la période pré-verbale ainsi que sur son entrée dans la période verbale (l'arrivée des énoncés à un mot et deux mots dans ses productions) et (2) les recherches sur l'enfant d'âge scolaire (6 ans et plus) et l'adulte, qui communiquent tous deux en utilisant leur langue maternelle et des gestes co-verbaux. Notre corpus est constitué de 154 vidéos de jeunes enfants en train de jouer avec un ensemble ludique comportant une maison et des personnages en situation de jeu triadique (en présence d'un adulte). Notre premier objectif consistait à vérifier l'hypothèse que la production des gestes communicationnels et l'émergence des combinaisons bimodales annonce l'arrivée des énoncés à deux mots (comme cela a été déjà montré pour les enfants italiens et américains). En fait, il apparaît que ce processus s'étend au-delà des énoncés à deux mots, car ces combinaisons geste+Xmots apparaissent toujours avant les énoncés X+1mot. Il semble donc que le geste joue un rôle dans le développement des verbalisations enfantines avant d'être utilisé comme co-verbal chez l'enfant plus âgé et chez l'adulte. Notre second objectif consistait à observer, qualitativement, l'évolution des conduites communicatives lors de situations de jeux triadique, et plus précisément à voir sur quelles ressources communicationnelles s'appuie l'enfant pour exprimer des suites d'événements (scripts liés à son activité ludique) qui nécessitent non pas une seule, mais deux ou plusieurs prédications. Là encore, il apparaît que les gestes et les combinaisons bimodales sont intégrées aux premières tentatives de verbalisation. Ce travail confirme que le geste joue bien un rôle dans le développement linguistique enfantin. Une meilleure connaissance de ces gestes nous permettra donc une meilleure connaissance du développement de l'enfant et nous aidera à repérer plus efficacement et plus précocement les troubles développementaux de l'enfant. De plus, s'il existe déjà des indices pour mesurer le développement des performances linguistiques, cette recherche soulève la question de la création d'un indice pouvant mesurer les performances communicationnelles multimodales enfantines, c'est-à-dire la création d'un indice prenant en compte l'intégralité des ressources sémiotiques mobilisées par l'enfant et pas seulement la langue. / The aim of this thesis is to study the development of multimodal communication in young French children aged from 18 months to 3 years and a half while acquiring the French language. We will focus on the emergence and development of gestures, gesture-word combinations and language and will try to understand the role of gesture in the early stages of language acquisition. The interest of this research is that it fills the gap between (1) research on the young child first gestures during the pre-verbal period and the period during which he begins to acquire his mother tongue (the appearance of one-word and two-words sets in his productions) AND (2) research about older children (age 6 and older) and adults who both communicate using their mother tongue and co-speech gestures. Our corpus is composed of 154 videos of young children playing with an adult and a house game set (triadic situation). Using these data, we first wanted to test the hypothesis that the production of communicative gestures and the emergence of gesture-word combinations both predict the production of two-words speech in young children (as it has already been shown for Italian and American children). In fact, our results point to a more general developmental scheme with gesture+Xwords combination always preceding the upcoming of X+1words verbal utterances. Gesture use does play a role in the development of language at early stages as well as at later stages, when the child begins to produce long sentences (composed of more than two words) and combines them with co-speech gestures. Our second objective was to observe qualitative changes in the child's communicative behavior in a triadic situation, and more precisely to study the communicative resources the child uses to express sequences of events (scripts related to playful activities) which require not one, but two or more predicates. Again, it appears that gestures and bimodal combinations are integrated within the first attempts to produce verbalizations. This work confirms that gesture use does play a role in language development. A better understanding of these gestures will allow us a better understanding of child development and help us to identify earlier and more effectively developmental disorders in children. In addition, if there already is an index to measure the development of language performance, this research questions the creation of an index that can assess the multimodal communicative performance, that is to say the creation of an index taking into account all the semiotic resources mobilized by the child and not just verbal language.