Thesis (MScEng (Electrical and Electronic Engineering))--University of Stellenbosch, 2007. / In this thesis we present a human-computer interface (HCI) system for disabled persons using only a basic web camera. Mouse movements are simulated by small movements of the head, while clicks are simulated by eye blinks. In this study, a system capable of face tracking, eye detection (including iris detection), blink detection and finally skin detection and face recognition has been developed. A detection method based on Haar-like features are used to detect the face and eyes. Once the eyes have been detected, a support vector machines classifier is used to detect whether the eye is open or closed (for use in blink detection). Skin detection is done using K-means clustering, while Eigenfaces is used for face recognition. It is concluded that using a web camera as a human-computer interface can be a viable input method for the severely disabled.

published_or_final_version / abstract / Psychology / Master / Master of Philosophy

Recent, innovative developments in the field of gesture interfaces as input techniques have the potential to provide a basic, lower-cost, point-and-click function for graphic user interfaces (GUIs). Since these gesture interfaces are not yet widely used, indeed no tilt-based gesture interface is currently on the market, there is neither an international standard for the testing procedure nor a guideline for their ergonomic design and development. Hence, the research area demands more design case studies on a practical basis. The purpose of the research is to investigate the design factors of gesture interfaces for the point-andclick task in the desktop computer environment. The key function of gesture interfaces is to transfer the specific body movement into the cursor movement on the two-dimensional graphical user interface(2D GUI) on a real-time basis, based in particular on the arm movement. The initial literature review identified limitations related to the cursor movement behaviour with gesture interfaces. Since the cursor movement is the machine output of the gesture interfaces that need to be designed, a new accuracy measure based on the calculation of the cursor movement distance and an associated model was then proposed in order to validate the continuous cursor movement. Furthermore, a design guideline with detailed design requirements and specifications for the tilt-based gesture interfaces was suggested. In order to collect the human performance data and the cursor movement distance, a graphical measurement platform was designed and validated with the ordinary mouse. Since there are typically two types of gesture interface, i.e. the sweep-based and the tilt-based, and no commercial tilt-based gesture interface has yet been developed, a commercial sweep-based gesture interface, namely the P5 Glove, was studied and the causes and effects of the discrete cursor movement on the usability was investigated. According to the proposed design guideline, two versions of the tilt-based gesture 3 interface were designed and validated based on an iterative design process. Most of the phenomena and results from the trials undertaken, which are inter-related, were analyzed and discussed. The research has contributed new knowledge through design improvement of tilt-based gesture interfaces and the improvement of the discrete cursor movement by elimination of the manual error compensation. This research reveals that there is a relation between the cursor movement behaviour and the adjusted R 2 for the prediction of the movement time across models expanded from Fitts’ Law. In such a situation, the actual working area and the joint ranges are lengthy and appreciably different from those that had been planned. Further studies are suggested. The research was associated with the University Alliance Scheme technically supported by Freescale Semiconductor Co., U.S.

Enjeu majeur de santé publique, les maladies chroniques nécessitent souvent une approche multidisciplinaire et des contacts multiples entre le patient et le système de soins. La maîtrise de ce parcours, la trajectoire de soins, est un gage de qualité des soins, qualité de vie et d'efficience médico-économique. Pour maîtriser les trajectoires de soins, il faut les connaître. Or, à ce jour en France, aucun système d'information en santé à grande échelle n'est conçu pour décrire les trajectoires de soins, encore moins d'en établir une typologie. Malgré tout, d'énormes quantités de données sont produites chaque année par le système de soins. Dans ce travail, nous proposons un système d'analyse et de représentation des trajectoires de soins à partir de données récoltées à l'origine pour d'autres utilisations. Ce système est fondé sur l'Analyse Formelle de Concepts (AFC), une méthode de classification conceptuelle capable de découvrir des liens naturels dans les données d'un tableau binaire et de les représenter sous forme de treillis de concepts. Nous montrons les apports de l'AFC dans la compréhension du fonctionnement du système de soins et les perspectives en termes d'exploration des réseaux sociaux en général. Par ailleurs, nous étudions, combinons et comparons deux mesures d'intérêt pour réduire la complexité des grands treillis et sélectionner les connaissances les plus pertinentes : la stabilité et le support d'un concept. Dans un parallèle avec la recherche de motifs fréquents simple et séquentiels, nous proposons une méthode de classification non supervisée des trajectoires de soins qui présente d'intéressantes capacités de visualisation et d'interprétabilité.

Cette thèse propose un nouvel éclairage sur le couplage de la vision stéréoscopique avec le mouvement articulé. Elle développe tout particulièrement de nouvelles solutions s'appuyant sur la géométrie projective. Ceci permet notamment l'utilisation des caméras non-calibrées. La contribution de cette thèse est d'abord une nouvelle formulation géométrique du problème. Il en découle des solutions pratiques pour la modélisation, l'étalonnage, et la commande du système. Ces solutions suivent une approche "coordinate-free", généralisées en une approche "calibration-free". C'est à dire, elles sont indépendantes du choix des repères et de l'étalonnage des caméras. Sur le plan pratique, un tel système projectif peut fonctionner sans connaissance a priori, et l'auto-étalonnage projectif se fait de manière automatique. Les modèles proposés sont issues d'une unification projective de la géométrie du système plutôt que d'une stratification métrique. Pour un asservissement visuel, les modèles obtenus sont équivalents aux modèles classiques. D'autres questions pratiques ont ainsi pu être abordées d'une nouvelle manière: la commande de trajectoires visibles et méchaniquement realisables dans l'espace de travail entier. Sur le plan théorique, un cadre mathématique complet est introduit. Il donne à l'ensemble des objets impliqués dans un asservissement visuel une représentation projective. Sont notamment etudiés, l'action des joints rotoïdes et prismatiques, les mouvements rigides et articulés, ainsi que la notion associée de vitesse projective. Le calcul de ces représentations est de plus explicité.

Internet met à la disposition des utilisateurs une large variété d'items dont le volume est sans cesse croissant. Devant cette surcharge d'items, l'utilisateur peine à repérer les items qui correspondent à ses besoins. C'est dans ce contexte que les systèmes de recommandation se sont développés, dans la mesure où ils permettent de faciliter l'accès aux items susceptibles d'intéresser l'utilisateur. Néanmoins, malgré le succès des systèmes de recommandation, certaines questions de recherche restent soulevées telles que : le manque de données, l'identification de voisins fiables, la précision des recommandations et la recommandation de la nouveauté. En vue de répondre à ces questions, nous avons proposé à travers cette thèse une nouvelle approche de recommandation inspirée du web usage mining et du filtrage collaboratif. Cette approche repose sur l'observation du comportement de l'utilisateur et sur l'analyse de ses usages en vue de générer des recommandations. En outre, nous nous sommes inspirés des techniques utilisées dans le domaine de l'analyse des réseaux sociaux afin de prédire les liens à travers un réseau d'utilisateurs construit sur la base des similarités de comportement. L'objectif est de pallier le manque de données et d'améliorer l'identification de voisins fiables. De plus, dans la perspective d'atténuer le problème de démarrage à froid (concernant les nouveaux items), nous avons proposé une approche de recommandation qui repose sur la détection de leaders pour la recommandation de la nouveauté.

La réalité virtuelle représente aujourd'hui une technologie à part entière puisqu'elle autorise la simulation, la navigation et l'interaction avec un univers sensoriel synthétisé de toutes pièces. Les potentialités offertes par la réalité virtuelle ont été très bien perçues lorsque les ordinateurs graphiques ont été capables d'assurer un rendu des images à une cadence interactive. De plus, l'augmentation des capacités des machines coïncide aujourd'hui avec un développement vertigineux des réseaux, ce qui décuple littéralement le champ d'application de la réalité virtuelle. Plusieurs difficultés subsistent toutefois pour développer les services de télécommunications associés : le volume des données est considérable, l'affichage est coûteux en calculs et la nature des données nécessite une prise en compte spécifique dans le contexte client-serveur. Si l'on ajoute à cela l'inégalité des capacités des terminaux et la variabilité des réseaux, on obtient une synthèse du triple challenge de la thèse : le stockage, la transmission et la visualisation de scènes 3D complexes. On pourrait aussi résumer la problématique en endossant le temps d'une phrase, le rôle d'un opérateur de télécommunication : "quels que soient : le terminal, le volume de données à transmettre et le débit du réseau, l'utilisateur doit pouvoir visualiser à tout moment une image attractive". Ce mémoire relève le défi sous la forme de briques technologiques susceptibles de s'assembler pour composer un moteur de transmission et d'affichage de scènes 3D en réseau. Il propose des solutions correspondant à un schéma courant en codage de l'information audiovisuelle : simplification, approximation, et codage échelonnable. Il reste cependant une spécificité propre à la 3D : la visualisation. En effet, il est d'une part plus coûteux de projeter un polygone à l'écran plutôt que d'afficher un pixel, et d'autre part le point de vue hautement variable d'une caméra influence sensiblement la pertinence des données transmises. Le premier chapitre, introductif, fournit une compréhension naturelle de la problématique et les trois autres suivent logiquement l'ordre des opérations appliquées sur les scènes 3D : la simplification et l'approximation, le codage et la visualisation. Plus précisément, les maillages composant les objets d'une scène sont simplifiés par fusion d'arête et approximés par minimisation de volume. Ils sont ensuite encodés par une technique de conquête sur les arêtes exploitant les valences des sommets. L'échelonnabilité est, quant à elle, obtenue sur les positions par une technique apparentée aux plans binaires de raffinement. Le codage des textures est adressé par intégration d'une technique développée au sein du laboratoire, cette dernière combinant la transformée en cosinus discrète et les éléments finis sur une hiérarchie de maillages triangulaires. Sur le terminal, la visualisation dépendant du point de vue est assurée par une technique de reconstruction adaptative des surfaces fonctionnant par subdivision successive des régions d'intérêt et des silhouettes. Nous montrons qu'une telle reconstruction s'applique en cours de transmission et s'adapte aisément à la puissance graphique d'un terminal.

La reconnaissance automatique de la parole est un domaine de recherche très actif depuis de nombreuses années. Bien que les performances des systèmes de transcription automatique aient considérablement progressé depuis tout ce temps, les erreurs commises par ces systèmes ne sont toujours pas acceptables du point de vue des utilisateurs, probablement du fait du référentiel humain qui reste largement inégalé, en particulier en ce qui concerne la robustesse des transcriptions aux conditions d'utilisation dégradées. J'étudie dans ce mémoire l'état de l'art du domaine pour la période allant de 1995 à 2010, en me concentrant sur les aspects liés à la robustesse des modèles acoustiques avec un seul microphone. J'y décris également mes principales contributions, en les classant selon les différents étages composant un système de reconnaissance automatique: paramétrisation, modèle acoustique et algorithme de décodage. Dans le domaine de la paramétrisation, mes deux contributions principales concernent une étude du domaine de l'analyse computationnelle de scènes auditives, ainsi qu'une nouvelle approche de débruitage de la parole s'appuyant sur une modélisation bayésienne des espaces bruités et non-bruités et de leur inter-dépendances. Mes travaux sur les modèles acoustiques ont débuté pendant ma thèse de doctorat, qui concernait l'étude des modèles multi-bandes, dans lesquels le spectre du signal de parole est décomposé en bandes de fréquences indépendantes. Dans ce cadre, j'ai notamment proposé un algorithme d'apprentissage discriminant global et la conception de nouvelles unités phonétiques adaptées à l'information phonétique présente dans les bandes. Une autre contribution importante est l'amélioration de l'adaptation jacobienne, qui est une approximation linéaire de la méthode PMC (Parallel Model Combination) dans le domaine cepstral. J'ai notamment proposé une approche permettant de choisir le compromis précision / complexité souhaité, et étendu l'approche au bruit convolutif. Une partie conséquente de mes travaux a ensuite concerné la reconnaissance avec données manquantes, qui, par ses aspects de marginalisation, peut être interprétée comme une modification de l'algorithme de reconnaissance. Cette modification exploite une nouvelle source d'information concernant la localisation spectro-temporelle du bruit afin de concentrer le décodage sur les observations acoustiques les moins corrompues. J'ai ainsi travaillé sur l'adaptation de cette approche au domaine cepstral, notamment en proposant un nouveau formalisme de calcul des masques minimisant directement le taux d'erreur de reconnaissance. Une autre contribution concerne le développement de modèles bayésiens originaux qui discrétisent l'espace de recherche pour estimer les masques, ou encore d'une nouvelle méthode minimisant la largeur de l'intervalle de marginalisation. Cette première partie du mémoire est guidée par une analyse des progrès réalisés en fonction d'un critère, celui de l'information prise en compte par les différentes méthodes proposées. Ce critère est en effet très important, car il a une grande influence sur les évaluations expérimentales et sur les capacités de généralisation des approches. De plus, alors que d'innombrables modèles théoriques d'apprentissage ont été proposés et testés depuis vingt ans, toutes ces approches exploitent quasiment exclusivement l'information acoustique et lexicale. Je soupçonne les limites des paradigmes actuels d'être en bien plus grande partie dus au déficit d'information et de connaissance qu'aux capacités des modèles eux-mêmes. J'ai donc commencé à m'intéresser depuis 2004 aux autres sources d'information qui pourraient servir en reconnaissance de la parole, notamment au contexte et plus particulièrement aux connaissances syntaxiques et sémantiques. Ce mémoire développe ces aspects essentiellement dans une deuxième partie consacrée à la reconnaissance des actes de dialogue, à la segmentation en phrases, à la sémantique lexicale par le biais de la détection automatique du thème, et enfin à l'analyse syntaxique des transcriptions automatiques de l'oral. Mon ambition est tout d'abord d'étudier et d'adapter les approches en linguistique computationnelle permettant d'extraire ces indices du flux de parole afin de prendre en compte les spécificités des transcriptions automatiques, puis d'exploiter en retour ces nouvelles informations afin d'améliorer le système de transcription automatique.

La quantité d'informations stockée dans les bases de données est en constante augmentation rendant ainsi nécessaire la mise au point de systèmes d'analyse et de visualisation. Nous nous intéressons dans cette thèse aux données relationnelles et plus particulièrement aux données biologiques. Cette thèse s'oriente autour de trois axes principaux : tout d'abord, la décomposition de graphes en groupes d'éléments ”similaires” afin de détecter d'éventuelles structures de communauté ; le deuxième aspect consiste à mettre en évidence ces structures dans un système de visualisation, et dans un dernier temps, nous nous intéressons à l'utilisabilité de l'un de ces systèmes de visualisation via une évaluation expérimentale.<br />Les travaux de cette thèse ont été appliqués sur des données réelles provenant de deux domaines de la biologie : les réseaux métaboliques et les réseaux d'interactions gènes-protéines.

Les technologies récentes d'acquisition de données en trois dimensions fournissent un grand nombre de points non-structurés en trois dimension. Il est important de reconstruire une surface continue à partir de ces points non-structurés et de la visualiser. Dans ce document, nous présentons de nouvelles méthodes pour reconstruire des surfaces implicites à partir de grands ensembles de points non-structurés. Ces méthodes mettent en oeuvre des surfaces variationnelles reconstruites localement à partir de fonctions de base radiales, surfaces qui sont combinées entre elles par un mécanisme de partition de l'unité. Afin d'obtenir une visualisation interactive des surfaces générées, nous présentons également des techniques de rendu qui utilisent non seulement la surface implicite reconstruite, mais également l'ensemble de points initial. Une première technique de rendu à base de points s'adapte automatiquement en fonction de la position de l'observateur et de la taille de la fenêtre de visualisation, grâce à une structure hiérarchique à multirésolution, et une deuxième technique de rendu à base de points utilise la géométrie différentielle locale dans chaque point. Enfin, un grand nombre d'applications effectives ou d'applications potentielles des techniques précédentes sont présentées, telles que la construction interactive de textures solides à partir de points non-structurés, la reconstruction altimétrique de terrain en fonction des lignes de niveaux, ou encore la réparation de photographies abîmées.