Cette thèse traite de l'estimation de la concentration dans le sang artériel de molécules marquées par un radioélément émettant des positons. Cette concentration est appelée « fonction d'entrée artérielle B+ ». Elle doit être déterminée dans de nombreuses analyses en pharmacocinétique. Actuellement, elle est mesurée à l'aide d'une série de prélèvements artériels, méthode précise mais nécessitant un protocole contraignant. Des complications liées au caractère invasif de la méthode peuvent survenir (hématomes, infections nosocomiales).L'objectif de cette thèse est de s'affranchir de ses prélèvements artériels par l'estimation non-invasive de la fonction d'entrée B+ à l'aide d'un détecteur externe et d'un collimateur. Cela permet la reconstruction des vaisseaux sanguins afin de discriminer le signal artériel du signal contenu dans les autres tissus avoisinants. Les collimateurs utilisés en imagerie médicale ne sont pas adaptés à l'estimation de la fonction d'entrée artérielle B+ car leur sensibilité est très faible. Pour cette thèse, ils sont remplacés par des collimateurs codés, issus de la recherche en astronomie. De nouvelles méthodes pour utiliser des collimateurs à ouverture codée avec des algorithmes statistiques de reconstruction sont présentées.Des techniques de lancer de rayons et une méthode d'accélération de la convergence des reconstructions sont proposées. Une méthode de décomposition spatio-temporelle est également mise au point pour estimer efficacement la fonction d'entrée artérielle à partir d'une série d'acquisitions temporelles.Cette thèse montre qu'il est possible d'améliorer le compromis entre sensibilité et résolution spatiale en tomographie d'émission à l'aide de masques codés et d'algorithmes statistiques de reconstruction ; elle fournit également les outils nécessaires à la réalisation de tellesreconstructions.

Le démélange de sources pour la pollution de l'air peut être formulé comme un problème de NMF en décomposant la matrice d'observation X en le produit de deux matrices non négatives G et F, respectivement la matrice de contributions et de profils. Généralement, les données chimiques sont entâchées d'une part de données aberrantes. En dépit de l'intérêt de la communauté pour les méthodes de NMF, elles souffrent d'un manque de robustesse à un faible nombre de données aberrantes et aux conditions initiales et elles fournissent habituellement de multiples minimas. En conséquence, cette thèse est orientée d'une part vers les méthodes de NMF robustes et d'autre part vers les NMF informées qui utilisent une connaissance experte particulière. Deux types de connaissances sont introduites dans la matrice de profil F. La première hypothèse est la connaissance exacte de certaines composantes de la matrice F tandis que la deuxième information utilise la propriété de somme-à-1 de chaque ligne de la matrice F. Une paramétrisation qui tient compte de ces deux informations est développée et des règles de mise à jour dans le sous-espace des contraintes sont proposées. L'application cible qui consiste à identifier les sources de particules dans l'air dans la région côtière du nord de la France montre la pertinence des méthodes proposées. Dans la série d'expériences menées sur des données synthétiques et réelles, l'effet et la pertinence des différentes informations sont mises en évidence et rendent les résultats de factorisation plus fiables. / Source apportionment for air pollution may be formulated as a NMF problem by decomposing the data matrix X into a matrix product of two factors G and F, respectively the contribution matrix and the profile matrix. Usually, chemical data are corrupted with a significant proportion of abnormal data. Despite the interest for the community for NMF methods, they suffer from a lack of robustness to a few abnormal data and to initial conditions and they generally provide multiple minima. To this end, this thesis is oriented on one hand towards robust NMF methods and on the other hand on informed NMF by using some specific prior knowledge. Two types of knowlodge are introduced on the profile matrix F. The first assumption is the exact knowledge on some of flexible components of matrix F and the second hypothesis is the sum-to-1 constraint on each row of the matrix F. A parametrization able to deal with both information is developed and update rules are proposed in the space of constraints at each iteration. These formulations have been appliede to two kind of robust cost functions, namely, the weighted Huber cost function and the weighted αβ divergence. The target application-namely, identify the sources of particulate matter in the air in the coastal area of northern France - shows relevance of the proposed methods. In the numerous experiments conducted on both synthetic and real data, the effect and the relevance of the different information is highlighted to make the factorization results more reliable.

Les méthodes de NMF permettent la factorisation aveugle d'une matrice non-négative X en le produit X = G . F de deux matrices non-négatives G et F. Bien que ces approches sont étudiées avec un grand intêret par la communauté scientifique, elles souffrent bien souvent d'un manque de robustesse vis à vis des données et des conditions initiales et peuvent présenter des solutions multiples. Dans cette optique et afin de réduire l'espace des solutions admissibles, les travaux de cette thèse ont pour objectif d'informer la NMF, positionnant ainsi nos travaux entre la régression et les factorisations aveugles classiques. Par ailleurs, des fonctions de coûts paramétriques appelées divergences αβ sont utilisées, permettant de tolérer la présence d'aberrations dans les données. Nous introduisons trois types de contraintes recherchées sur la matrice F à savoir (i) la connaissance exacte ou bornée de certains de ses éléments et (ii) la somme à 1 de chacune de ses lignes. Des règles de mise à jour permettant de faire cohabiter l'ensemble de ces contraintes par des méthodes multiplicatives mixées à des projections sont proposées. D'autre part, nous proposons de contraindre la structure de la matrice G par l'usage d'un modèle physique susceptible de distinguer les sources présentes au niveau du récepteur. Une application d'identification de sources de particules en suspension dans l'air, autour d'une région industrielle du littoral nord de la France, a permis de tester l'intérêt de l'approche. À travers une série de tests sur des données synthétiques et réelles, nous montrons l'apport des différentes informations pour rendre les résultats de la factorisation plus cohérents du point de vue de l'interprétation physique et moins dépendants de l'initialisation. / NMF methods aim to factorize a non negative observation matrix X as the product X = G.F between two non-negative matrices G and F. Although these approaches have been studied with great interest in the scientific community, they often suffer from a lack of robustness to data and to initial conditions, and provide multiple solutions. To this end and in order to reduce the space of admissible solutions, the work proposed in this thesis aims to inform NMF, thus placing our work in between regression and classic blind factorization. In addition, some cost functions called parametric αβ-divergences are used, so that the resulting NMF methods are robust to outliers in the data. Three types of constraints are introduced on the matrix F, i. e., (i) the "exact" or "bounded" knowledge on some components, and (ii) the sum to 1 of each line of F. Update rules are proposed so that all these constraints are taken into account by mixing multiplicative methods with projection. Moreover, we propose to constrain the structure of the matrix G by the use of a physical model, in order to discern sources which are influent at the receiver. The considered application - consisting of source identification of particulate matter in the air around an insdustrial area on the French northern coast - showed the interest of the proposed methods. Through a series of experiments on both synthetic and real data, we show the contribution of different informations to make the factorization results more consistent in terms of physical interpretation and less dependent of the initialization

Cette thèse traite de l'estimation de la concentration dans le sang artériel de molécules marquées par un radioélément émettant des positons. Cette concentration est appelée « fonction d'entrée artérielle B+ ». Elle doit être déterminée dans de nombreuses analyses en pharmacocinétique. Actuellement, elle est mesurée à l'aide d'une série de prélèvements artériels, méthode précise mais nécessitant un protocole contraignant. Des complications liées au caractère invasif de la méthode peuvent survenir (hématomes, infections nosocomiales).L'objectif de cette thèse est de s'affranchir de ses prélèvements artériels par l'estimation non-invasive de la fonction d'entrée B+ à l'aide d'un détecteur externe et d'un collimateur. Cela permet la reconstruction des vaisseaux sanguins afin de discriminer le signal artériel du signal contenu dans les autres tissus avoisinants. Les collimateurs utilisés en imagerie médicale ne sont pas adaptés à l'estimation de la fonction d'entrée artérielle B+ car leur sensibilité est très faible. Pour cette thèse, ils sont remplacés par des collimateurs codés, issus de la recherche en astronomie. De nouvelles méthodes pour utiliser des collimateurs à ouverture codée avec des algorithmes statistiques de reconstruction sont présentées.Des techniques de lancer de rayons et une méthode d'accélération de la convergence des reconstructions sont proposées. Une méthode de décomposition spatio-temporelle est également mise au point pour estimer efficacement la fonction d'entrée artérielle à partir d'une série d'acquisitions temporelles.Cette thèse montre qu'il est possible d'améliorer le compromis entre sensibilité et résolution spatiale en tomographie d'émission à l'aide de masques codés et d'algorithmes statistiques de reconstruction ; elle fournit également les outils nécessaires à la réalisation de tellesreconstructions. / This work deals with the estimation of the concentration of molecules in arterial blood which are labelled with positron-emitting radioelements. This concentration is called “ B+ arterial input function”. This concentration has to be estimated for a large number of pharmacokinetic analyses. Nowadays it is measured through series of arterial sampling, which is an accurate method but requiring a stringent protocol. Complications might occur during arterial blood sampling because this method is invasive (hematomes, nosocomial infections).The objective of this work is to overcome this risk through a non-invasive estimation of B+ input function with an external detector and a collimator. This allows the reconstruction of blood vessels and thus the discrimination of arterial signal from signals in other tissues.Collimators in medical imaging are not adapted to estimate B+ input function because their sensitivity is very low. During this work, they are replaced by coded-aperture collimators, originally developed for astronomy.New methods where coded apertures are used with statistical reconstruction algorithms are presented. Techniques for analytical ray-tracing and for the acceleration of reconstructions are proposed. A new method which decomposes reconstructions on temporal sets and on spatial sets is also developped to efficiently estimate arterial input function from series of temporal acquisitions.This work demonstrates that the trade-off between sensitivity and spatial resolution in PET can be improved thanks to coded aperture collimators and statistical reconstruction algorithm; it also provides new tools to implement such improvements.

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement. / This thesis studies models of high-dimensional sequences based on recurrent neural networks (RNNs) and their application to music and speech. While in principle RNNs can represent the long-term dependencies and complex temporal dynamics present in real-world sequences such as video, audio and natural language, they have not been used to their full potential since their introduction by Rumelhart et al. (1986a) due to the difficulty to train them efficiently by gradient-based optimization. In recent years, the successful application of Hessian-free optimization and other advanced training techniques motivated an increase of their use in many state-of-the-art systems. The work of this thesis is part of this development. The main idea is to exploit the power of RNNs to learn a probabilistic description of sequences of symbols, i.e. high-level information associated with observed signals, that in turn can be used as a prior to improve the accuracy of information retrieval. For example, by modeling the evolution of note patterns in polyphonic music, chords in a harmonic progression, phones in a spoken utterance, or individual sources in an audio mixture, we can improve significantly the accuracy of polyphonic transcription, chord recognition, speech recognition and audio source separation respectively. The practical application of our models to these tasks is detailed in the last four articles presented in this thesis. In the first article, we replace the output layer of an RNN with conditional restricted Boltzmann machines to describe much richer multimodal output distributions. In the second article, we review and develop advanced techniques to train RNNs. In the last four articles, we explore various ways to combine our symbolic models with deep networks and non-negative matrix factorization algorithms, namely using products of experts, input/output architectures, and generative frameworks that generalize hidden Markov models. We also propose and analyze efficient inference procedures for those models, such as greedy chronological search, high-dimensional beam search, dynamic programming-like pruned beam search and gradient descent. Finally, we explore issues such as label bias, teacher forcing, temporal smoothing, regularization and pre-training.

On étudie l’application des algorithmes de décomposition matricielles tel que la Factorisation Matricielle Non-négative (FMN), aux représentations fréquentielles de signaux audio musicaux. Ces algorithmes, dirigés par une fonction d’erreur de reconstruction, apprennent un ensemble de fonctions de base et un ensemble de coef- ficients correspondants qui approximent le signal d’entrée. On compare l’utilisation de trois fonctions d’erreur de reconstruction quand la FMN est appliquée à des gammes monophoniques et harmonisées: moindre carré, divergence Kullback-Leibler, et une mesure de divergence dépendente de la phase, introduite récemment. Des nouvelles méthodes pour interpréter les décompositions résultantes sont présentées et sont comparées aux méthodes utilisées précédemment qui nécessitent des connaissances du domaine acoustique. Finalement, on analyse la capacité de généralisation des fonctions de bases apprises par rapport à trois paramètres musicaux: l’amplitude, la durée et le type d’instrument. Pour ce faire, on introduit deux algorithmes d’étiquetage des fonctions de bases qui performent mieux que l’approche précédente dans la majorité de nos tests, la tâche d’instrument avec audio monophonique étant la seule exception importante. / We study the application of unsupervised matrix decomposition algorithms such as Non-negative Matrix Factorization (NMF) to frequency domain representations of music audio signals. These algorithms, driven by a given reconstruction error function, learn a set of basis functions and a set of corresponding coefficients that approximate the input signal. We compare the use of three reconstruction error functions when NMF is applied to monophonic and harmonized musical scales: least squares, Kullback-Leibler divergence, and a recently introduced “phase-aware” divergence measure. Novel supervised methods for interpreting the resulting decompositions are presented and compared to previously used methods that rely on domain knowledge. Finally, the ability of the learned basis functions to generalize across musical parameter values including note amplitude, note duration and instrument type, are analyzed. To do so, we introduce two basis function labeling algorithms that outperform the previous labeling approach in the majority of our tests, instrument type with monophonic audio being the only notable exception.

On étudie l’application des algorithmes de décomposition matricielles tel que la Factorisation Matricielle Non-négative (FMN), aux représentations fréquentielles de signaux audio musicaux. Ces algorithmes, dirigés par une fonction d’erreur de reconstruction, apprennent un ensemble de fonctions de base et un ensemble de coef- ficients correspondants qui approximent le signal d’entrée. On compare l’utilisation de trois fonctions d’erreur de reconstruction quand la FMN est appliquée à des gammes monophoniques et harmonisées: moindre carré, divergence Kullback-Leibler, et une mesure de divergence dépendente de la phase, introduite récemment. Des nouvelles méthodes pour interpréter les décompositions résultantes sont présentées et sont comparées aux méthodes utilisées précédemment qui nécessitent des connaissances du domaine acoustique. Finalement, on analyse la capacité de généralisation des fonctions de bases apprises par rapport à trois paramètres musicaux: l’amplitude, la durée et le type d’instrument. Pour ce faire, on introduit deux algorithmes d’étiquetage des fonctions de bases qui performent mieux que l’approche précédente dans la majorité de nos tests, la tâche d’instrument avec audio monophonique étant la seule exception importante. / We study the application of unsupervised matrix decomposition algorithms such as Non-negative Matrix Factorization (NMF) to frequency domain representations of music audio signals. These algorithms, driven by a given reconstruction error function, learn a set of basis functions and a set of corresponding coefficients that approximate the input signal. We compare the use of three reconstruction error functions when NMF is applied to monophonic and harmonized musical scales: least squares, Kullback-Leibler divergence, and a recently introduced “phase-aware” divergence measure. Novel supervised methods for interpreting the resulting decompositions are presented and compared to previously used methods that rely on domain knowledge. Finally, the ability of the learned basis functions to generalize across musical parameter values including note amplitude, note duration and instrument type, are analyzed. To do so, we introduce two basis function labeling algorithms that outperform the previous labeling approach in the majority of our tests, instrument type with monophonic audio being the only notable exception.