• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 9
  • 9
  • 9
  • 1
  • Tagged with
  • 28
  • 28
  • 12
  • 11
  • 8
  • 8
  • 8
  • 7
  • 7
  • 7
  • 7
  • 7
  • 7
  • 7
  • 7
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
11

Análisis bayesiano de modelos de clases latentes para variables politómicas: Confianza hacia instituciones públicas

Cruz Sarmiento, Marylía Paola 11 February 2019 (has links)
El modelo de análisis de clases latentes tiene como finalidad describir una variable no observable a través del agrupamiento de los individuos en base a sus patrones de respuestas. La estimación en este modelo se puede realizar mediante el algoritmo de Esperanza-Maximización (EM) y su desarrollo para el caso politómico se encuentra implementado en el paquete poLCA de R. Desde el punto de vista bayesiano, esta estimación ha sido hasta el momento implementada sólo para el caso de variables dicotómicas. En este trabajo, se busca extender este ultimo aporte para el caso politómico, haciendo uso del muestrador de Gibbs. La aplicación del modelo de análisis de clases latentes, bajo el enfoque bayesiano aquí desarrollado, se realizó sobre un conjunto de datos reales relacionados con la con fianza hacia 21 instituciones públicas en una encuesta para Lima Metropolitana. En general, se identificaron tres grupos de encuestados seg un sus niveles de confianza institucional, los cuales se analizaron luego en relación a otras variables.
12

Modelo lineal mixto de clases latentes con respuesta ordinal y su aplicación en la medición de la religiosidad

Renteria Sacha, Ivonne Mireille 16 January 2020 (has links)
Los modelos lineales mixtos de clases latentes desarrollados por Proust-Lima, Philipps y Liquet (2017) son útiles para analizar el aspecto dinámico y la naturaleza multidimensional de un fenómeno de interés en poblaciones no necesariamente homogéneas. Estos permiten identificar las posibles clases latentes en la población bajo estudio y cómo un conjunto de covariables afecta en cada clase a la variable respuesta de interés. En esta tesis se desarrolla el modelo lineal mixto de clases latentes con variable respuesta latente y variable mani-fiesta ordinal, a través de sus dos componentes: el sub-modelo estructural y el sub-modelo de medición, que son complementados con un modelo logístico multinomial para analizar la probabilidad de pertenencia a una clase latente. El modelo se aplicó a un conjunto de datos pertenecientes al Estudio Nacional de Juventud y Religión (NSYR por las siglas en inglés “National Study of Youth and Religion”), con el fin de encontrar clases latentes en el constructo religiosidad y describir su evolución. Como resultado, se identificaron tres clases latentes con trayectorias distintas para cada caso. / Latent class linear mixed models developed by Proust-Lima, Philipps y Liquet (2017) are useful to analyze the dynamic aspect and the multidimensional nature of a phenomenon of interest in populations not necessarily homogeneous. These allow to identify the possible latent classes in the population under study and how a set of covariates affects the response variable of interest in each class. In this thesis, the latent class linear mixed model with latent response variable and ordinal manifest variable is developed, through its two components: the structural sub-model and the measure sub-model, which are complemented with a mul-tinominal logistic model to analyze the probability of belonging to a latent class. The model was applied to a dataset from the National Study of Youth and Religion (NSYR), in order to find latent classes in the religiosity construct and to describe their evolution. As a result, three latent classes were identified with different trajectories for each case.
13

Application of multivariate image analysis to prostate cancer for improving the comprehension of the related physiological phenomena and the development and validation of new imaging biomarkers

Aguado Sarrió, Eric 07 January 2020 (has links)
[ES] El aumento de la esperanza de vida en la población con edad por encima de 50 años está generando un mayor número de casos detectados de cáncer de próstata (CaP). Por este motivo, los recursos se destinan al diagnóstico en etapas tempranas y al tratamiento efectivo. A pesar de la multitud de estudios basados en biomarcadores y discriminación histológica, es difícil diferenciar con efectividad los casos de CaP con baja agresividad de aquellos que progresarán y acabarán produciendo mortalidad o una disminución en la esperanza de vida del paciente. Con el objetivo de mejorar el diagnostico, localización y gradación de los tumores malignos, las técnicas de imagen por Resonancia Magnética (MRI) son las más adecuadas para el estudio del cáncer, proporcionando métodos de diagnóstico no-invasivos, sensibles y específicos, basados en secuencias morfológicas (T2w) y funcionales (perfusión de la sangre y difusión del agua). Las diferentes características y parámetros extraídos de estas secuencias, conocidos como biomarcadores de imagen, pueden evaluar las diferencias asociadas al desarrollo de los procesos tumorales, como los modelos farmacocinéticos para estudiar angiogénesis (perfusión) y los modelos mono- y bi-exponenciales para estudiar la caída de la señal en difusión con el objetivo de estudiar la celularización. Normalmente, estos biomarcadores de imagen se analizan de forma "univariante", sin aprovechar la información de las estructuras de correlación interna que existen entre ellos. Una manera de mejorar este análisis es mediante la aplicación de las técnicas estadísticas que ofrece el Análisis Multivariante de Imágenes (MIA), obteniendo estructuras (latentes) simplificadas que ayudan a entender la relación entre los parámetros (variables) y sus propios procesos fisiológicos, además de reducir la incertidumbre en la estimación de los biomarcadores. En esta tesis, se han desarrollado nuevos biomarcadores de imagen para perfusión y difusión con la aplicación de alguna de las herramientas de MIA como la Resolución Multivariante de Curvas con Mínimos Cuadrados Alternos (MCR-ALS), obteniendo parámetros que tienen interpretación clínica directa. A continuación, los métodos basados en mínimos cuadrados parciales (PLS) se aplicaron para estudiar la capacidad de clasificación de estos biomarcadores. En primer lugar, los biomarcadores de perfusión se utilizaron para la detección de tumores (control vs lesión). Posteriormente, la combinación de perfusión + difusión + T2 se empleó para estudiar agresividad tumoral con la aplicación de métodos PLS multibloque, en concreto (secuencial) SMB-PLS. Los resultados mostrados indican que los biomarcadores de perfusión obtenidos mediante MCR son mejores que los parámetros farmacocinéticos en la diferenciación de la lesión. Con lo que respecta al estudio de la agresividad tumoral, la combinación de los biomarcadores de difusión (empleando ambos métodos: modelos paramétricos y MCR) y los valores de T2w normalizados proporcionaron los mejores resultados. En conclusión, MIA se puede aplicar a las secuencias morfológicas y funcionales de resonancia magnética para mejorar el diagnóstico y el estudio de la agresividad de los tumores en próstata. Obteniendo nuevos parámetros cuantitativos y combinándolos con los biomarcadores más ampliamente utilizados en el ambiente clínico. / [CAT] El increment de la esperança de vida en la població per damunt dels 50 anys està generant un major nombre de casos detectats de càncer de pròstata (CaP). Per aquest motiu, els recursos es destinen al diagnòstic en etapes primerenques i al tractament efectiu. Tot i la multitud de estudis basats en biomarcadors y discriminació histològica, es difícil diferenciar amb efectivitat els casos de CaP que tenen baixa agressivitat dels que progressaran y acabaran produint mortalitat o una disminució en la esperança de vida del pacient. Amb el objectiu de millorar el diagnòstic, localització y gradació dels tumors malignes, les tècniques de imatge per Ressonància Magnètica (MRI) son els mètodes més adequats per al estudi del càncer, proporcionant metodologies de diagnòstic no-invasius, sensibles y específiques basades en seqüències morfològiques (T2w) y funcionals (perfusió de la sang y difusió del aigua). Les diferents característiques i paràmetres extrets de aquestes seqüències, coneguts com biomarcadors d'imatge, poden avaluar les diferències associades al desenvolupament dels processos tumorals. Primer, amb els models farmacocinétics per a estudiar angiogènesis (perfusió) y segon, amb els models mono- i bi-exponencials per a estudiar la caiguda de la senyal en difusió amb el objectiu de estudiar la cel·lularització. Normalment, aquests biomarcadors d'imatge s'analitzen de forma "univariant", sense aprofitar la informació de las estructures de correlació interna que existeixen entre ells. Una forma de millorar aquest anàlisis es mitjançant la aplicació de las tècniques estadístiques aportades pel Anàlisis Multivariant de Imatges (MIA), obtenint estructures (latents) simplificades què ajuden a entendre la relació entre els paràmetres (variables) i els seus processos fisiològics, a més de reduir la incertesa en la estimació dels biomarcadors. En aquesta tesis, s'han desenvolupat nous biomarcadors d'imatge per a perfusió i difusió amb la aplicació de alguna de las ferramentes de MIA com la Resolució Multivariant de Corbes i Mínims Quadrats Alterns (MCR-ALS), obtenint paràmetres què tenen interpretació clínica directa. A continuació, els mètodes basats en mínims quadrats parcials (PLS) s'han aplicat per a estudiar la capacitat de classificació d'aquests biomarcadors. En primer lloc, els biomarcadors de perfusió s'han utilitzat per a la detecció de tumors (control contra lesió). Posteriorment, la combinació de perfusió + difusió + T2 s'ha utilitzat per a estudiar agressivitat tumoral amb la aplicació de mètodes PLS multi-bloc, en concret (seqüencial) SMB-PLS. Els resultats mostren què els biomarcadors de perfusió obtinguts mitjançant MCR són millors què els paràmetres farmacocinètics en la diferenciació de la lesió. En lo què es refereix al estudi de la agressivitat tumoral, la combinació dels biomarcadors de difusió (utilitzant els dos mètodes: models paramètrics i MCR) i els valors de T2w normalitzats proporcionaren els millors resultats. En conclusió, MIA es pot aplicar a les seqüències morfològiques i funcionals de ressonància magnètica per a millorar el diagnòstic i el estudi de l'agressivitat dels tumors en pròstata. Obtenint nous paràmetres quantitatius y combinant-los amb els biomarcadors més utilitzats en el ambient clínic. / [EN] The increase in life expectancy and population with age higher than 50 years is producing a major number of detected cases of prostate cancer (PCa). For this reason, the resources are focused in the early diagnosis and effective treatment. In spite of multiple studies with histologic discriminant biomarkers, it is hard to clearly differentiate the low aggressiveness PCa cases from those that will progress and produce mortality or rather a decrease in the life expectancy. With the objective of improving the diagnosis, location and gradation of the malignant tumors, Magnetic Resonance Imaging (MRI) has come up as the most appropriate image acquisition technique for cancer studies, which provides a non-invasive, sensitive and specific diagnosis, based on morphological and functional (blood perfusion and water diffusion) sequences. The different characteristics and parameters extracted from these sequences, known as imaging biomarkers, can evaluate the different processes associated to tumor development, like pharmacokinetic modeling for angiogenesis assessment (perfusion) or mono- and bi-exponential signal decay modeling for cellularization (diffusion). Normally, these imaging biomarkers are analyzed in a "univariate" way, without taking advantage of the internal correlation structures among them. One way to improve this analysis is by applying Multivariate Image Analysis (MIA) statistical techniques, obtaining simplified (latent) structures that help to understand the relation between parameters (variables) and the inner physiological processes, moreover reducing the uncertainty in the estimation of the biomarkers. In this thesis, new imaging biomarkers are developed for perfusion and diffusion by applying MIA tools like Multivariate Curve Resolution Alternating Least Squares (MCR-ALS), obtaining parameters with direct clinical interpretation. Partial Least Squares (PLS) based methods are then used for studying the classification capability of these biomarkers. First, perfusion imaging biomarkers have been tested for tumor detection (control vs lesion). Then, diffusion + perfusion have been combined to study tumor aggressiveness by applying PLS-multiblock methods (SMB-PLS). The results showed that MCR-based perfusion biomarkers performed better than state-of-the-art pharmacokinetic parameters for lesion differentiation. Regarding the assessment of tumor aggressiveness, the combination of diffusion-based imaging biomarkers (using both the parametric models and MCR) and normalized T2-weighted measurements provided the best discriminating outcome, while perfusion was not needed as it did not supply additional information. In conclusion, MIA can be applied to morphologic and functional MRI to improve the diagnosis and aggressiveness assessment of prostate tumors by obtaining new quantitative parameters and combining them with state-of-the-art imaging biomarkers. / Aguado Sarrió, E. (2019). Application of multivariate image analysis to prostate cancer for improving the comprehension of the related physiological phenomena and the development and validation of new imaging biomarkers [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/134023 / TESIS
14

Contributions aux modèles d'équations structurelles à variables latentes

Jakobowicz, Emmanuel 22 October 2007 (has links) (PDF)
Les modèles d'équations structurelles à variables latentes constituent des modèles statistiques complexes permettant de mettre en relation des concepts non observables. Les deux méthodes d'estimation de ces modèles, que sont, d'une part, l'analyse de la structure de covariance (méthode LISREL) et, d'autre part, l'approche PLS, offrent des solutions à la fois concurrentes et complémentaires. Dans ce travail, un certain nombre de questionnements liés à ce type de modèles et de méthodes sont abordés aussi bien d'un point de vue théorique qu'empirique. Nous étudions la construction du modèle initial par le biais d'algorithmes itératifs, au niveau des relations du modèle de mesure et du modèle structurel. Nous présentons des tests basés sur des permutations afin de comparer des échantillons non appariés sur un modèle donné. Des transformations dites optimales des variables sont utilisées afin de rechercher des relations non linéaires. Finalement, des méthodes permettant le traitement de données manquantes spécifiques induites par des filtres sont décrites. Pour chaque cas, la théorie existante est présentée et des approches novatrices sont introduites. Nous appliquons l'ensemble de ces méthodes dans le cadre de l'analyse de la satisfaction et de la fidélité des clients sur des données provenant d'Electricité de France.
15

Variables latentes et processus mentaux : une réflexion épistémologique et méthodologique / Mental processes and latent variables : an epistemological and methodological reflection

Guyon, Hervé 29 April 2016 (has links)
Ma thèse développe deux parties. La première considère que la psychologie expérimentale doit clarifier son positionnement épistémologique pour clarifier la validation formelle de sa démarche, sans forcément devoir se référencer au cadre de la Science Physique. A partir d’une réflexion critique, je propose de décaler le cadre épistémologique en psychologie et de poser clairement un cadre pragmatique-réaliste. La thèse essentielle défendue dans ce travail est : 1/ les propriétés mentales doivent être comprises comme des phénomènes émergents, ce qui implique que leurs analyses ne peuvent se faire ni au niveau neuronal, ni au niveau de la dynamique interne de processus cognitifs, mais nécessairement au niveau de ces phénomènes émergents ; 2/ pour analyser les propriétés mentales comme formes émergentes, la psychométrie a besoin d’user de concepts qui sont en tension permanente entre une objectivité et une intersubjectivité ; en conséquence, la psychométrie doit affirmer une démarche pragmatiste-réaliste, en rupture avec l’empirisme-réaliste classique ; 3/ une approche pragmatiste-réaliste, basée entre autre sur l’abduction, permet de dépasser les contradictions pointées dans la littérature académique sur les propriétés mentales et leurs mesures ; 4/ un cadre de mesure de propriétés mentales par des variables latentes devient dès lors possible si ce cadre est compris lui aussi comme pragmatiste-réaliste ; 5/ mais ce recours au pragmatisme-réaliste renvoie en conséquence une critique à la fois des modèles avec variables latentes développés dans la littérature académique et les usages sociaux de ces modèles. La seconde partie de ma thèse porte sur un cadre particulier de formalisation des variables latentes : le cadre formatif. Je développe des simulations Monte Carlo pour vérifier le spectre des paramètres permettant une mesure formative efficiente dans le cadre d’un positionnement réaliste-empirique. / My thesis considers that experimental psychology must clarify its epistemological position to clarify the formal validation of its approach, without necessarily having to refer to the framework of Science Physics. From a critical reflection, I propose to shift the epistemological framework in psychology and clearly pose a pragmatic-realistic framework. The main thesis of this work is: 1 / mental properties must be understood as emerging phenomena, which implies that their analysis can not be done nor at the neuronal level, nor at the internal dynamics of cognitive processes, but necessarily at these emerging phenomena; 2 / to analyze the mental properties as emerging forms, psychometrics need to use concepts that are in permanent tension between objectivity and intersubjectivity; accordingly, psychometrics must assert a pragmatic-realist approach, breaking with classical empiricism-realistic; 3 / a pragmatist-realistic approach, based among other things on the abduction, can overcome the contradictions pointed in the academic literature on mental properties and their measurements; 4 / a framework for measuring mental properties by latent variables becomes possible if the framework is also understood as a pragmatic-realist; 5 / but use realistic-pragmatic returns accordingly critical of both models with latent variables developed in the academic literature and the social uses of these models. The second part of my thesis focuses on a specific part of formalization of latent variables: the formative model. I develop Monte Carlo simulations to check the range of parameters for efficient formative measure as part of a realistic-empirical positioning.
16

Exploiter l'approche hiérarchique bayésienne pour la modélisation statistique de structures spatiales: application en écologie des populations

Ancelet, Sophie 01 July 2008 (has links) (PDF)
Dans la plupart des questions écologiques, les phénomènes aléatoires d'intérêt sont spatialement structurés et issus de l'effet combiné de multiples variables aléatoires, observées ou non, et inter-agissant à diverses échelles. En pratique, dès lors que les données de terrain ne peuvent être directement traitées avec des structures spatiales standards, les observations sont généralement considérées indépendantes. Par ailleurs, les modèles utilisés sont souvent basés sur des hypothèses simplificatrices trop fortes par rapport à la complexité des phénomènes étudiés. Dans ce travail, la démarche de modélisation hiérarchique est combinée à certains outils de la statistique spatiale afin de construire des structures aléatoires fonctionnelles "sur-mesure" permettant de représenter des phénomènes spatiaux complexes en écologie des populations. L'inférence de ces différents modèles est menée dans le cadre bayésien avec des algorithmes MCMC. Dans un premier temps, un modèle hiérarchique spatial (Geneclust) est développé pour identifier des populations génétiquement homogènes quand la diversité génétique varie continûment dans l'espace. Un champ de Markov caché, qui modélise la structure spatiale de la diversité génétique, est couplé à un modèle bivarié d'occurrence de génotypes permettant de tenir compte de l'existence d'unions consanguines chez certaines populations naturelles. Dans un deuxième temps, un processus de Poisson composé particulier,appelé loi des fuites, est présenté sous l'angle de vue hiérarchique pour décrire le processus d'échantillonnage d'organismes vivants. Il permet de traiter le délicat problème de données continues présentant une forte proportion de zéros et issues d'échantillonnages à efforts variables. Ce modèle est également couplé à différents modèles sur grille (spatiaux, régionalisés) afin d'introduire des dépendances spatiales entre unités géographiques voisines puis, à un champ géostatistique bivarié construit par convolution sur grille discrète afin de modéliser la répartition spatiale conjointe de deux espèces. Les capacités d'ajustement et de prédiction des différents modèles hiérarchiques proposés sont comparées aux modèles traditionnellement utilisés à partir de simulations et de jeux de données réelles (ours bruns de Suède, invertébrés épibenthiques du Golfe-du-Saint-Laurent (Canada)).
17

Construction d'échelles d'items unidimensionnelles en qualité de vie

Hardouin, Jean-Benoit 14 November 2005 (has links) (PDF)
Une échelle de qualité de vie doit vérifier différentes propriétés. L'unidimensionnalité est aujourd'hui communément admise : une échelle doit mesurer un concept unique. La simplicité d'utilisation de l'instrument de mesure est, elle aussi, importante. A ce titre le Rasch est intéressant puisque ce modèle est sous-jacent à toute notion de score non pondéré. Ce travail s'inscrit donc dans le cadre de la sélection d'items vérifiant un modèle de Rasch. Un modèle multidimensionnel est proposé : le modèle marginalement exhaustif de Rasch (MMSRM), pour lequel, chaque dimension garde les propriétés psychométriques du modèle de Rasch. Trois méthodes basées sur l'adéquation d'un tel modèle aux données sont proposées, et comparées par simulations à des procédures existantes. Une seconde partie du travail concerne le développement de programmes pour utiliser des modèles psychométriques sous deux logiciels statistiques : SAS et Stata.
18

Approche bayésienne de l'évaluation de l'incertitude de mesure : application aux comparaisons interlaboratoires

Demeyer, Séverine 04 March 2011 (has links) (PDF)
La modélisation par équations structurelles est très répandue dans des domaines très variés et nous l'appliquons pour la première fois en métrologie dans le traitement de données de comparaisons interlaboratoires. Les modèles à équations structurelles à variables latentes sont des modèles multivariés utilisés pour modéliser des relations de causalité entre des variables observées (les données). Le modèle s'applique dans le cas où les données peuvent être regroupées dans des blocs disjoints où chaque bloc définit un concept modélisé par une variable latente. La structure de corrélation des variables observées est ainsi résumée dans la structure de corrélation des variables latentes. Nous proposons une approche bayésienne des modèles à équations structurelles centrée sur l'analyse de la matrice de corrélation des variables latentes. Nous appliquons une expansion paramétrique à la matrice de corrélation des variables latentes afin de surmonter l'indétermination de l'échelle des variables latentes et d'améliorer la convergence de l'algorithme de Gibbs utilisé. La puissance de l'approche structurelle nous permet de proposer une modélisation riche et flexible des biais de mesure qui vient enrichir le calcul de la valeur de consensus et de son incertitude associée dans un cadre entièrement bayésien. Sous certaines hypothèses l'approche permet de manière innovante de calculer les contributions des variables de biais au biais des laboratoires. Plus généralement nous proposons un cadre bayésien pour l'amélioration de la qualité des mesures. Nous illustrons et montrons l'intérêt d'une modélisation structurelle des biais de mesure sur des comparaisons interlaboratoires en environnement.
19

Approche EM pour modèles multi-blocs à facteurs à une équation structurelle / EM estimation of a structural equation model

Tami, Myriam 12 July 2016 (has links)
Les modèles d'équations structurelles à variables latentes permettent de modéliser des relations entre des variables observables et non observables. Les deux paradigmes actuels d'estimation de ces modèles sont les méthodes de moindres carrés partiels sur composantes et l'analyse de la structure de covariance. Dans ce travail, après avoir décrit les deux principales méthodes d'estimation que sont PLS et LISREL, nous proposons une approche d'estimation fondée sur la maximisation par algorithme EM de la vraisemblance globale d'un modèle à facteurs latents et à une équation structurelle. Nous en étudions les performances sur des données simulées et nous montrons, via une application sur des données réelles environnementales, comment construire pratiquement un modèle et en évaluer la qualité. Enfin, nous appliquons l'approche développée dans le contexte d'un essai clinique en cancérologie pour l'étude de données longitudinales de qualité de vie. Nous montrons que par la réduction efficace de la dimension des données, l'approche EM simplifie l'analyse longitudinale de la qualité de vie en évitant les tests multiples. Ainsi, elle contribue à faciliter l'évaluation du bénéfice clinique d'un traitement. / Structural equation models enable the modeling of interactions between observed variables and latent ones. The two leading estimation methods are partial least squares on components and covariance-structure analysis. In this work, we first describe the PLS and LISREL methods and, then, we propose an estimation method using the EM algorithm in order to maximize the likelihood of a structural equation model with latent factors. Through a simulation study, we investigate how fast and accurate the method is, and thanks to an application to real environmental data, we show how one can handly construct a model or evaluate its quality. Finally, in the context of oncology, we apply the EM approach on health-related quality-of-life data. We show that it simplifies the longitudinal analysis of quality-of-life and helps evaluating the clinical benefit of a treatment.
20

Learning representations for robust audio-visual scene analysis / Apprentissage de représentations pour l'analyse robuste de scènes audiovisuelles

Parekh, Sanjeel 18 March 2019 (has links)
L'objectif de cette thèse est de concevoir des algorithmes qui permettent la détection robuste d’objets et d’événements dans des vidéos en s’appuyant sur une analyse conjointe de données audio et visuelle. Ceci est inspiré par la capacité remarquable des humains à intégrer les caractéristiques auditives et visuelles pour améliorer leur compréhension de scénarios bruités. À cette fin, nous nous appuyons sur deux types d'associations naturelles entre les modalités d'enregistrements audiovisuels (réalisés à l'aide d'un seul microphone et d'une seule caméra), à savoir la corrélation mouvement/audio et la co-occurrence apparence/audio. Dans le premier cas, nous utilisons la séparation de sources audio comme application principale et proposons deux nouvelles méthodes dans le cadre classique de la factorisation par matrices non négatives (NMF). L'idée centrale est d'utiliser la corrélation temporelle entre l'audio et le mouvement pour les objets / actions où le mouvement produisant le son est visible. La première méthode proposée met l'accent sur le couplage flexible entre les représentations audio et de mouvement capturant les variations temporelles, tandis que la seconde repose sur la régression intermodale. Nous avons séparé plusieurs mélanges complexes d'instruments à cordes en leurs sources constituantes en utilisant ces approches.Pour identifier et extraire de nombreux objets couramment rencontrés, nous exploitons la co-occurrence apparence/audio dans de grands ensembles de données. Ce mécanisme d'association complémentaire est particulièrement utile pour les objets où les corrélations basées sur le mouvement ne sont ni visibles ni disponibles. Le problème est traité dans un contexte faiblement supervisé dans lequel nous proposons un framework d’apprentissage de représentation pour la classification robuste des événements audiovisuels, la localisation des objets visuels, la détection des événements audio et la séparation de sources.Nous avons testé de manière approfondie les idées proposées sur des ensembles de données publics. Ces expériences permettent de faire un lien avec des phénomènes intuitifs et multimodaux que les humains utilisent dans leur processus de compréhension de scènes audiovisuelles. / The goal of this thesis is to design algorithms that enable robust detection of objectsand events in videos through joint audio-visual analysis. This is motivated by humans’remarkable ability to meaningfully integrate auditory and visual characteristics forperception in noisy scenarios. To this end, we identify two kinds of natural associationsbetween the modalities in recordings made using a single microphone and camera,namely motion-audio correlation and appearance-audio co-occurrence.For the former, we use audio source separation as the primary application andpropose two novel methods within the popular non-negative matrix factorizationframework. The central idea is to utilize the temporal correlation between audio andmotion for objects/actions where the sound-producing motion is visible. The firstproposed method focuses on soft coupling between audio and motion representationscapturing temporal variations, while the second is based on cross-modal regression.We segregate several challenging audio mixtures of string instruments into theirconstituent sources using these approaches.To identify and extract many commonly encountered objects, we leverageappearance–audio co-occurrence in large datasets. This complementary associationmechanism is particularly useful for objects where motion-based correlations are notvisible or available. The problem is dealt with in a weakly-supervised setting whereinwe design a representation learning framework for robust AV event classification,visual object localization, audio event detection and source separation.We extensively test the proposed ideas on publicly available datasets. The experimentsdemonstrate several intuitive multimodal phenomena that humans utilize on aregular basis for robust scene understanding.

Page generated in 0.1007 seconds