Le travail de recherche de cette thèse de doctorat s'inscrit dans le cadre du suivi médical des patients atteints de démences liées à l'âge à l'aide des caméras videos portées par les patients. L'idée est de fournir aux médecins un nouvel outil pour le diagnostic précoce de démences liées à l'âge telles que la maladie d'Alzheimer. Plus précisément, les Activités Instrumentales du Quotidien (IADL: Instrumental Activities of Daily Living en anglais) doivent être indexées automatiquement dans les vidéos enregistrées par un dispositif d'enregistrement portable.Ces vidéos présentent des caractéristiques spécifiques comme de forts mouvements ou de forts changements de luminosité. De plus, la tâche de reconnaissance visée est d'un très haut niveau sémantique. Dans ce contexte difficile, la première étape d'analyse est la définition d'un équivalent à la notion de « plan » dans les contenus vidéos édités. Nous avons ainsi développé une méthode pour le partitionnement d'une vidéo tournée en continu en termes de « points de vue » à partir du mouvement apparent.Pour la reconnaissance des IADL, nous avons développé une solution selon le formalisme des Modèles de Markov Cachés (MMC). Un MMC hiérarchique à deux niveaux a été introduit, modélisant les activités sémantiques ou des états intermédiaires. Un ensemble complexe de descripteurs (dynamiques, statiques, de bas niveau et de niveau intermédiaire) a été exploité et les espaces de description joints optimaux ont été identifiés expérimentalement.Dans le cadre de descripteurs de niveau intermédiaire pour la reconnaissance d'activités nous nous sommes particulièrement intéressés aux objets sémantiques que la personne manipule dans le champ de la caméra. Nous avons proposé un nouveau concept pour la description d'objets ou d'images faisant usage des descripteurs locaux (SURF) et de la structure topologique sous-jacente de graphes locaux. Une approche imbriquée pour la construction des graphes où la même scène peut être décrite par plusieurs niveaux de graphes avec un nombre de nœuds croissant a été introduite. Nous construisons ces graphes par une triangulation de Delaunay sur des points SURF, préservant ainsi les bonnes propriétés des descripteurs locaux c'est-à-dire leur invariance vis-à-vis de transformations affines dans le plan image telles qu'une rotation, une translation ou un changement d'échelle.Nous utilisons ces graphes descripteurs dans le cadre de l'approche Sacs-de-Mots-Visuels. Le problème de définition d'une distance, ou dissimilarité, entre les graphes pour la classification non supervisée et la reconnaissance est nécessairement soulevé. Nous proposons une mesure de dissimilarité par le Noyau Dépendant du Contexte (Context-Dependent Kernel: CDK) proposé par H. Sahbi et montrons sa relation avec la norme classique L2 lors de la comparaison de graphes triviaux (les points SURF).Pour la reconnaissance d'activités par MMC, les expériences sont conduites sur le premier corpus au monde de vidéos avec caméra portée destiné à l'observation des d'IADL et sur des bases de données publiques comme SIVAL et Caltech-101 pour la reconnaissance d'objets. / The research of this PhD thesis is fulfilled in the context of wearable video monitoring of patients with aged dementia. The idea is to provide a new tool to medical practitioners for the early diagnosis of elderly dementia such as the Alzheimer disease. More precisely, Instrumental Activities of Daily Living (IADL) have to be indexed in videos recorded with a wearable recording device.Such videos present specific characteristics i.e. strong motion or strong lighting changes. Furthermore, the tackled recognition task is of a very strong semantics. In this difficult context, the first step of analysis is to define an equivalent to the notion of “shots” in edited videos. We therefore developed a method for partitioning continuous video streams into viewpoints according to the observed motion in the image plane.For the recognition of IADLs we developed a solution based on the formalism of Hidden Markov Models (HMM). A hierarchical HMM with two levels modeling semantic activities or intermediate states has been introduced. A complex set of features (dynamic, static, low-level, mid-level) was proposed and the most effective description spaces were identified experimentally.In the mid-level features for activities recognition we focused on the semantic objects the person manipulates in the camera view. We proposed a new concept for object/image description using local features (SURF) and the underlying semi-local connected graphs. We introduced a nested approach for graphs construction when the same scene can be described by levels of graphs with increasing number of nodes. We build these graphs with Delaunay triangulation on SURF points thus preserving good properties of local features i.e. the invariance with regard to affine transformation of image plane: rotation, translation and zoom.We use the graph features in the Bag-of-Visual-Words framework. The problem of distance or dissimilarity definition between graphs for clustering or recognition is obviously arisen. We propose a dissimilarity measure based on the Context Dependent Kernel of H. Sahbi and show its relation with the classical entry-wise norm when comparing trivial graphs (SURF points).The experiments are conducted on the first corpus in the world of wearable videos of IADL for HMM based activities recognition, and on publicly available academic datasets such as SIVAL and Caltech-101 for object recognition.

El objetivo de esta investigación es analizar la gráfica visual y funcionalidad de los cuatro “Cuadernos de autoaprendizaje” dirigidos a niños de primaria regular en la plataforma de Aprendo en casa, los cuales fueron inicialmente desarrollados para ser usados en un formato físico, pero sus formatos digitales se utilizaron como alternativa educativa virtual durante el Estado de Emergencia sanitaria ocasionado por el Covid-19. Se parte de la hipótesis que la gráfica visual de los “Cuadernos de autoaprendizaje” cumple con su propósito comunicativo, pero la funcionalidad del formato digital del material escolar en la plataforma de Aprendo en casa, se ve interrumpida debido a su inadecuada adaptación a la virtualidad, lo cual impide el desarrollo de la dinámica educativa durante el proceso de aprendizaje de los niños. Para lograr el desarrollo de esta investigación se realizó un análisis gráfico de los “Cuadernos de autoaprendizaje”, también se realizaron entrevistas a expertos y se analizó la interacción entre niños de primaria y el material educativo ya mencionado. Los resultados muestran que el desarrollo de material educativo dirigido a niños en una dinámica virtual, debe tener en cuenta factores externos como las distracciones del entorno, ausencia del profesor o limitaciones propias de la edad de los niños, los cuales deben evitarse mediante el desarrollo de un material lo suficientemente interactivo y gráficamente eficiente que capte la atención de los escolares y además cumpla con su objetivo educativo. Se concluye que si bien el formato físico de los “Cuadernos de autoaprendizaje” puede funcionar en una dinámica presencial, su formato digital no cuenta con herramientas gráficas funcionales, lo cual interfiere durante la interacción de los niños con el material en cuestión perjudicando así su proceso de aprendizaje. / The objective of this research is to analyze the visual graphics and functionality of the four “Cuadernos de autoaprendizaje” directed at regular elementary school children on the Aprendo en casa platform, which were initially developed to be used in a physical format, but their digital formats were used as a virtual educational alternative during the State of Health Emergency caused by Covid-19. It is based on the hypothesis that the visual graphics of the “Cuadernos de autoaprendizaje” fulfills its communicative purpose, but the functionality of the digital format of the school material in the Aprendo en casa platform is interrupted due to its inadequate adaptation to virtuality, which prevents the development of educational dynamic during the learning process of children. To achieve the development of this research, a graphic analysis of the “Cuadernos de autoaprendizaje” was carried out, interviews with experts were also carried out and the interaction between primary school children and the educational material already mentioned was analyzed. The results show that the development of educational material aimed at children in a virtual dynamic must take into account external factors such as distractions from the environment, absence of the teacher or limitations of the children's age, which must be avoided through the development of a sufficiently interactive and graphically efficient material that captures the attention of schoolchildren and also fulfills its educational objective. It is concluded that although the physical format of the “Cuadernos de autoaprendizaje” can work in a face-to-face dynamic, its digital format doesn’t have functional graphic tools, which interferes during the interaction of children with the material in question, thus harming their process learning. / Trabajo de investigación