Dans cette thèse, nous proposons une approche méthodologique et algorithmique pour la reconnaissance visuelle d'intentions, basée sur la rotation et le mouvement vertical de la tête et de la main. Le contexte dans lequel cette solution s'inscrit est celui d'une personne handicapée, dont la mobilité est assurée par un fauteuil roulant. Le système proposé constitue une alternative intéressante aux interfaces classiques de type manette, boutons pneumatiques, etc. La séquence vidéo, composée de 10 images, est traitée en utilisant différentes méthodes pour construire ce qui dans cette thèse est désigné par « courbe d'intention ». Une base de règles est également proposée pour classifier chaque courbe d'intention. Pour la reconnaissance basée sur les mouvements de la tête, une approche utilisant la symétrie du visage est proposée pour estimer la direction désirée à partir de la rotation de la tête. Une Analyse en Composantes Principales (ACP) est utilisée pour détecter l'intention de varier la vitesse de déplacement du fauteuil roulant, à partir du mouvement vertical de la tête. Pour la reconnaissance de la direction basée sur la rotation de la main, une approche utilisant à la fois la symétrie verticale de la main et un algorithme d'apprentissage (réseaux neuronaux, machines à vecteurs supports ou k-means), permet d’obtenir les courbes d'intentions exploitées par la suite pour la détection de la direction désirée. Une autre approche, s’appuyant sur l'appariement de gabarits de la région contenant les doigts, est également proposée. Pour la reconnaissance de la vitesse variable basée sur le mouvement vertical de la main, deux approches sont proposées. La première utilise également l'appariement de gabarits de la région contenant les doigts, et la deuxième se base sur un masque en forme d'ellipse, pour déterminer la position verticale de la main. Les résultats obtenus montrent de bonnes performances en termes de classification aussi bien des positions individuelles dans chaque image, que des courbes d'intentions. L’approche de reconnaissance visuelle d’intentions proposée produit dans la très grande majorité des cas un meilleur taux de reconnaissance que la plupart des méthodes proposées dans la littérature. Par ailleurs, cette étude montre également que la tête et la main en rotation et en mouvement vertical constituent des indicateurs d'intention appropriés / In this thesis, a methodological and algorithmic approach is proposed, for visual intention recognition based on the rotation and the vertical motion of the head and the hand. The context for which this solution is intended is that of people with disabilities whose mobility is made possible by a wheelchair. The proposed system is an interesting alternative to classical interfaces such as joysticks and pneumatic switches. The video sequence comprising 10 frames is processed using different methods leading to the construction of what is referred to in this thesis as an “intention curve”. A decision rule is proposed to subsequently classify each intention curve. For recognition based on head motions, a symmetry-based approach is proposed to estimate the direction intent indicated by a rotation and a Principal Component Analysis (PCA) is used to classify speed variation intents of the wheelchair indicated by a vertical motion. For recognition of the desired direction based on the rotation of the hand, an approach utilizing both a vertical symmetry-based approach and a machine learning algorithm (a neural network, a support vector machine or k-means clustering) results in a set of two intention curves subsequently used to detect the direction intent. Another approach based on the template matching of the finger region is also proposed. For recognition of the desired speed variation based on the vertical motion of the hand, two approaches are proposed. The first is also based on the template matching of the finger region, and the second is based on a mask in the shape of an ellipse used to estimate the vertical position of the hand. The results obtained display good performance in terms of classification both for single pose in each frame and for intention curves. The proposed visual intention recognition approach yields in the majority of cases a better recognition rate than most of the methods proposed in the literature. Moreover, this study shows that the head and the hand in rotation and in vertical motion are viable intent indicators
| Identifer | oai:union.ndltd.org:theses.fr/2012PEST1092 |
| Date | 10 July 2012 |
| Creators | Luhandjula, Thierry |
| Contributors | Paris Est, Tshwane University of Technology, Amirat, Yacine |
| Source Sets | Dépôt national des thèses électroniques françaises |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation, Text |
Page generated in 0.0019 seconds