Cette thèse porte sur l'alignement automatique d'un enregistrement audio avec la partition de musique correspondante. Nous adoptons une approche probabiliste et proposons une démarche théorique pour la modélisation algorithmique de ce problème d'alignement automatique. La question est de modéliser l'évolution temporelle des événements par des processus stochastiques. Notre démarche part d'une spécificité de l'alignement musical : une partition attribue à chaque événement une durée nominale, qui est une information a priori sur la durée probable d'occurrence de l'événement. La problématique qui nous occupe est celle de la modélisation probabiliste de cette information de durée. Nous définissons la notion de cohérence temporelle à travers plusieurs critères de cohérence que devrait respecter tout algorithme d'alignement musical. Ensuite, nous menons une démarche axiomatique autour du cas des modèles de semi-Markov cachés. Nous démontrons que ces critères sont respectés lorsque des conditions mathématiques particulières sont vérifiées par les lois a priori du modèle probabiliste de la partition. Ces conditions proviennent de deux domaines mathématiques jusqu'ici étrangers à la question de l'alignement : les processus de Lévy et la totale positivité d'ordre deux. De nouveaux résultats théoriques sont démontrés sur l'interrelation entre ces deux notions. En outre, les bienfaits pratiques de ces résultats théoriques sont démontrés expérimentalement sur des algorithmes d'alignement en temps réel. / This thesis deals with automatic alignment of audio recordings with corresponding music scores. We study algorithmic solutions for this problem in the framework of probabilistic models which represent hidden evolution on the music score as stochastic process. We begin this work by investigating theoretical foundations of the design of such models. To do so, we undertake an axiomatic approach which is based on an application peculiarity: music scores provide nominal duration for each event, which is a hint for the actual and unknown duration. Thus, modeling this specific temporal structure through stochastic processes is our main problematic. We define temporal coherency as compliance with such prior information and refine this abstract notion by stating two criteria of coherency. Focusing on hidden semi-Markov models, we demonstrate that coherency is guaranteed by specific mathematical conditions on the probabilistic design and that fulfilling these prescriptions significantly improves precision of alignment algorithms. Such conditions are derived by combining two fields of mathematics, Lévy processes and total positivity of order 2. This is why the second part of this work is a theoretical investigation which extends existing results in the related literature.

L’objectif principal de cette thèse est d’apporter de nouveaux résultats théoriques concernant la performance d’investissements basés sur des modèles stochastiques. Pour ce faire, nous considérons la stratégie optimale d’investissement dans le cadre d’un modèle d’actif risqué à volatilité constante et dont la tendance est un processus caché d’Ornstein Uhlenbeck. Dans le premier chapitre,nous présentons le contexte et les objectifs de cette étude. Nous présentons, également, les différentes méthodes utilisées, ainsi que les principaux résultats obtenus. Dans le second chapitre, nous nous intéressons à la faisabilité de la calibration de la tendance. Nous répondons à cette question avec des résultats analytiques et des simulations numériques. Nous clôturons ce chapitre en quantifiant également l’impact d’une erreur de calibration sur l’estimation de la tendance et nous exploitons les résultats pour détecter son signe. Dans le troisième chapitre, nous supposons que l’agent est capable de bien calibrer la tendance et nous étudions l’impact qu’a la non-observabilité de la tendance sur la performance de la stratégie optimale. Pour cela, nous considérons le cas d’une utilité logarithmique et d’une tendance observée ou non. Dans chacun des deux cas, nous explicitons la limite asymptotique de l’espérance et la variance du rendement logarithmique en fonction du ratio signal-sur-bruit et de la vitesse de retour à la moyenne de la tendance. Nous concluons cette étude en montrant que le ratio de Sharpe asymptotique de la stratégie optimale avec observations partielles ne peut dépasser 2/(3^1.5)∗100% du ratio de Sharpe asymptotique de la stratégie optimale avec informations complètes. Le quatrième chapitre étudie la robustesse de la stratégie optimale avec une erreur de calibration et compare sa performance à une stratégie d’analyse technique. Pour y parvenir, nous caractérisons, de façon analytique,l’espérance asymptotique du rendement logarithmique de chacune de ces deux stratégies. Nous montrons, grâce à nos résultats théoriques et à des simulations numériques, qu’une stratégie d’analyse technique est plus robuste que la stratégie optimale mal calibrée. / The aim of this thesis is to study the robustness of the optimal trading strategy. The setting we consider is that of a stochastic asset price model where the trend follows an unobservable Ornstein-Uhlenbeck process. In the first chapter, the background and the objectives of this study are presented along with the different methods used and the main results obtained. The question addressed in the second chapter is the estimation of the trend of a financial asset, and the impact of misspecification. Motivated by the use of Kalman filtering as a forecasting tool, we study the problem of parameters estimation, and measure the effect of parameters misspecification. Numerical examples illustrate the difficulty of trend forecasting in financial time series. The question addressed in the third chapter is the performance of the optimal strategy,and the impact of partial information. We focus on the optimal strategy with a logarithmic utility function under full or partial information. For both cases, we provide the asymptotic expectation and variance of the logarithmic return as functions of the signal-to-noise ratio and of the trend mean reversion speed. Finally, we compare the asymptotic Sharpe ratios of these strategies in order to quantify the loss of performance due to partial information. The aim of the fourth chapter is to compare the performances of the optimal strategy under parameters mis-specification and of a technical analysis trading strategy. For both strategies, we provide the asymptotic expectation of the logarithmic return as functions of the model parameters. Finally, numerical examples find that an investment strategy using the cross moving averages rule is more robust than the optimal strategy under parameters misspecification.

Hidden Markov Models (HMMs) have seen widespread use in a variety of applications ranging from speech recognition to gene prediction. While developed over forty years ago, they remain a standard tool for sequential data analysis. More recently, Latent Dirichlet Allocation (LDA) was developed and soon gained widespread popularity as a powerful topic analysis tool for text corpora. We thoroughly develop LDA and a generalization of HMMs and demonstrate the conjunctive use of both methods in predictive data analysis for health care problems. While these two tools (LDA and HMM) have been used in conjunction previously, we use LDA in a new way to reduce the dimensionality involved in the training of HMMs. With both LDA and our extension of HMM, we train classifiers to predict development of Chronic Kidney Disease (CKD) in the near future.

Arabic text recognition was not researched as thoroughly as other natural languages. The need for automatic Arabic text recognition is clear. In addition to the traditional applications like postal address reading, check verification in banks, and office automation, there is a large interest in searching scanned documents that are available on the internet and for searching handwritten manuscripts. Other possible applications are building digital libraries, recognizing text on digitized maps, recognizing vehicle license plates, using it as first phase in text readers for visually impaired people and understanding filled forms. This research work aims to contribute to the current research in the field of optical character recognition (OCR) of printed Arabic text by developing novel techniques and schemes to advance the performance of the state of the art Arabic OCR systems. Statistical and analytical analysis for Arabic Text was carried out to estimate the probabilities of occurrences of Arabic character for use with Hidden Markov models (HMM) and other techniques. Since there is no publicly available dataset for printed Arabic text for recognition purposes it was decided to create one. In addition, a minimal Arabic script is proposed. The proposed script contains all basic shapes of Arabic letters. The script provides efficient representation for Arabic text in terms of effort and time. Based on the success of using HMM for speech and text recognition, the use of HMM for the automatic recognition of Arabic text was investigated. The HMM technique adapts to noise and font variations and does not require word or character segmentation of Arabic line images. In the feature extraction phase, experiments were conducted with a number of different features to investigate their suitability for HMM. Finally, a novel set of features, which resulted in high recognition rates for different fonts, was selected. The developed techniques do not need word or character segmentation before the classification phase as segmentation is a byproduct of recognition. This seems to be the most advantageous feature of using HMM for Arabic text as segmentation tends to produce errors which are usually propagated to the classification phase. Eight different Arabic fonts were used in the classification phase. The recognition rates were in the range from 98% to 99.9% depending on the used fonts. As far as we know, these are new results in their context. Moreover, the proposed technique could be used for other languages. A proof-of-concept experiment was conducted on English characters with a recognition rate of 98.9% using the same HMM setup. The same techniques where conducted on Bangla characters with a recognition rate above 95%. Moreover, the recognition of printed Arabic text with multi-fonts was also conducted using the same technique. Fonts were categorized into different groups. New high recognition results were achieved. To enhance the recognition rate further, a post-processing module was developed to correct the OCR output through character level post-processing and word level post-processing. The use of this module increased the accuracy of the recognition rate by more than 1%. / King Fahd University of Petroleum and Minerals (KFUPM)

Dieser Artikel enthält vier Kapitel. Das erste Kapitel ist berechtigt, '''' lokalen Quantil Regression"und seine Zusammenfassung: Quantil Regression ist eine Technik, bedingte Quantil Kurven zu schätzen. Es bietet ein umfassendes Bild über ein Antwort-Kontingent auf erklärenden Variablen. In einem Rahmen flexible Modellierung ist eine besondere Form der bedingten Quantil-Kurve nicht von vornherein festgelegt. Dies motiviert eine lokale parametrische anstatt einer globalen feste Modell passend Ansatz. Eine nichtparametrische Glättung Schätzung der bedingte Quantil Kurve erfordert, zwischen lokalen Krümmung und stochastische auszugleichen Variabilität. In den ersten Essay empfehlen wir eine lokale Modellauswahl Technik, die eine adaptive Schätzung der bedingte bietet Quantil-Regression-Kurve bei jedem Entwurf-Punkt. Theoretische Ergebnisse behaupten, dass das vorgeschlagene adaptive Verfahren als führt gut als Orakel die würde das Risiko der lokalen Abschätzung für die Aufgabenstellung minimieren. Wir veranschaulichen die Leistung der Trolle. / This article includes four chapters. The first chapter is entitled ``Local Quantile Regression", and its summary: Quantile regression is a technique to estimate conditional quantile curves. It provides a comprehensive picture of a response contingent on explanatory variables. In a flexible modeling framework, a specific form of the conditional quantile curve is not a priori fixed. This motivates a local parametric rather than a global fixed model fitting approach. A nonparametric smoothing estimate of the conditional quantile curve requires to balance between local curvature and stochastic variability. In the first essay, we suggest a local model selection technique that provides an adaptive estimate of the conditional quantile regression curve at each design point. Theoretical results claim that the proposed adaptive procedure performs as good as an oracle which would minimize the local estimation risk for the problem at hand. We illustrate the performance of the procedure by an extensive simulation study and consider a couple of applications: to tail dependence analysis for the Hong Kong stock market and to analysis of the distributions of the risk factors of temperature dynamics.

There is a growing societal need to address the increasing prevalence of behavioral health issues, such as obesity, alcohol or drug use, and general lack of treatment adherence for a variety of health problems. The statistics, worldwide and in the USA, are daunting. Excessive alcohol use is the third leading preventable cause of death in the United States (with 79,000 deaths annually), and is responsible for a wide range of health and social problems. On the positive side though, these behavioral health issues (and associated possible diseases) can often be prevented with relatively simple lifestyle changes, such as losing weight with a diet and/or physical exercise, or learning how to reduce alcohol consumption. Medicine has therefore started to move toward finding ways of preventively promoting wellness, rather than solely treating already established illness. Evidence-based patient-centered Brief Motivational Interviewing (BMI) interven- tions have been found particularly effective in helping people find intrinsic motivation to change problem behaviors after short counseling sessions, and to maintain healthy lifestyles over the long-term. Lack of locally available personnel well-trained in BMI, however, often limits access to successful interventions for people in need. To fill this accessibility gap, Computer-Based Interventions (CBIs) have started to emerge. Success of the CBIs, however, critically relies on insuring engagement and retention of CBI users so that they remain motivated to use these systems and come back to use them over the long term as necessary. Because of their text-only interfaces, current CBIs can therefore only express limited empathy and rapport, which are the most important factors of health interventions. Fortunately, in the last decade, computer science research has progressed in the design of simulated human characters with anthropomorphic communicative abilities. Virtual characters interact using humans’ innate communication modalities, such as facial expressions, body language, speech, and natural language understanding. By advancing research in Artificial Intelligence (AI), we can improve the ability of artificial agents to help us solve CBI problems. To facilitate successful communication and social interaction between artificial agents and human partners, it is essential that aspects of human social behavior, especially empathy and rapport, be considered when designing human-computer interfaces. Hence, the goal of the present dissertation is to provide a computational model of rapport to enhance an artificial agent’s social behavior, and to provide an experimental tool for the psychological theories shaping the model. Parts of this thesis were already published in [LYL+12, AYL12, AL13, ALYR13, LAYR13, YALR13, ALY14].

Cette thèse s'est déroulée dans le cadre du projet SECMAR qui visait à sécuriser le Grand Port Maritime de Marseille. Notre objectif était d'aider les personnels du port à identifier les comportements menaçant des navires afin de pouvoir agir efficacement en cas de danger réel. A ce titre, nous avons développé un système d'analyse et de reconnaissance de comportements de navires formé de deux sous-modules complémentaires. Le premier est construit à partir de l'approche probabiliste Modèle de Markov Cachée et traite principalement des comportements nominaux des gros bateaux qui se caractérisent par un déplacement régulier et récurrent dans le port. Le second est construit à partir du langage réactif synchrone Esterel et prend en compte les comportements agressifs et transgressifs de tous types de navires, notamment ceux des petits bateaux qui circulent librement et aléatoirement dans le port. Le système global d'aide à la décision a permis une bonne reconnaissance en temps-réel des différents comportements de navires au cours de leurs évolutions dans le port. Au regard des résultats prometteurs que nous avons obtenu à travers ce module, il est envisageable de le généraliser à d'autres ports mondiaux ainsi qu'à d'autres domaines d'application, notamment le domaine aéroportuaire. / The overall aim of this thesis was to create a decision support system that identifies discrepancies in ship behavior. The thesis was a part of the SECMAR project that aimed to improve security at the Marseilles harbor by the creation of decision support system for port staff. For this purpose, we developed a recognition behavior system consisting of two complementary sub-systems.The first system was based on the probabilistic Hidden Markov model approach and deals with nominal behavior of large to medium size commercial ships showing regular and recurrent behavior. The second system was based on the reactive synchronous language Esterel and concerns aggressive and transgressive behavior of small ships that may navigate freely in the harbor. Real-time evaluations showed that the proposed decision support system efficiently captured and evaluated ship behaviors. The promising results of the system and its diversity in origin makes it suitable for applications in other harbors as well as other environment such as airports.

Dans cette thèse, nous nous sommes intéressés au problème de codage de sources avec information adjacente au décodeur seulement. Plus précisément, nous avons considéré le cas où la distribution jointe entre la source et l'information adjacente n'est pas bien connue. Dans ce contexte, pour un problème de codage sans pertes, nous avons d'abord effectué une analyse de performance à l'aide d'outils de la théorie de l'information. Nous avons ensuite proposé un schéma de codage pratique efficace malgré le manque de connaissance sur la distribution de probabilité jointe. Ce schéma de codage s'appuie sur des codes LDPC non-binaires et sur un algorithme de type Espérance-Maximisation. Le problème du schéma de codage proposé, c'est que les codes LDPC non-binaires utilisés doivent être performants. C'est à dire qu'ils doivent être construits à partir de distributions de degrés qui permettent d'atteindre un débit proche des performances théoriques. Nous avons donc proposé une méthode d'optimisation des distributions de degrés des codes LDPC. Enfin, nous nous sommes intéressés à un cas de codage avec pertes. Nous avons supposé que le modèle de corrélation entre la source et l'information adjacente était décrit par un modèle de Markov caché à émissions Gaussiennes. Pour ce modèle, nous avons également effectué une analyse de performance, puis nous avons proposé un schéma de codage pratique. Ce schéma de codage s'appuie sur des codes LDPC non-binaires et sur une reconstruction MMSE. Ces deux composantes exploitent la structure avec mémoire du modèle de Markov caché. / In this thesis, we considered the problem of source coding with side information available at the decoder only. More in details, we considered the case where the joint distribution between the source and the side information is not perfectly known. In this context, we performed a performance analysis of the lossless source coding scheme. This performance analysis was realized from information theory tools. Then, we proposed a practical coding scheme able to deal with the uncertainty on the joint probability distribution. This coding scheme is based on non-binary LDPC codes and on an Expectation-Maximization algorithm. For this problem, a key issue is to design efficient LDPC codes. In particular, good code degree distributions have to be selected. Consequently, we proposed an optimization method for the selection of good degree distributions. To finish, we considered a lossy coding scheme. In this case, we assumed that the correlation channel between the source and the side information is described by a Hidden Markov Model with Gaussian emissions. For this model, we performed again some performance analysis and proposed a practical coding scheme. The proposed scheme is based on non-binary LDPC codes and on MMSE reconstruction using an MCMC method. In our solution, these two components are able to exploit the memory induced by the Hidden Markov model.

La première partie de cette thèse est consacrée a l'estimation par maximum de vraisemblance dans les modèles mixtes a dynamique markovienne. Nous considérons plus précisément des modèles de Markov cachés a effets mixtes et des modèles de diffusion à effets mixtes. Dans le Chapitre 2, nous combinons l'algorithme de Baum-Welch a l'algorithme SAEM pour estimer les paramètres de population dans les modèles de Markov cachés à effets mixtes. Nous proposons également des procédures spéciques pour estimer les paramètres individuels et les séquences d'états cachés. Nous étudions les propriétés de cette nouvelle méthodologie sur des données simulées et l'appliquons sur des données réelles de nombres de crises d'épilepsie. Dans le Chapitre 3, nous proposons d'abord des modèles de diffusion à effets mixtes pour la pharmacocinétique de population. Nous en estimons les paramètres en combinant l'algorithme SAEM a un filtre de Kalman étendu. Nous étudions ensuite les propriétés asymptotiques de l'estimateur du maximum de vraisemblance dans des modèles de diffusion observés sans bruit de mesure continûment sur un intervalle de temps fixé lorsque le nombre de sujets tend vers l'infini. Le Chapitre 4 est consacré à la sélection de covariables dans des modèles mixtes généraux. Nous proposons une version du BIC adaptée au contexte de double asymptotique ou le nombre de sujets et le nombre d'observations par sujet tendent vers l'infini. Nous présentons quelques simulations pour illustrer cette procédure. / The first part of this thesis deals with maximum likelihood estimation in Markovianmixed-effects models. More precisely, we consider mixed-effects hidden Markov models and mixed-effects diffusion models. In Chapter 2, we combine the Baum-Welch algorithm and the SAEM algorithm to estimate the population parameters in mixed-effects hidden Markov models. We also propose some specific procedures to estimate the individual parameters and the sequences of hidden states. We study the properties of the proposed methodologies on simulated datasets and we present an application to real daily seizure count data. In Chapter 3, we first suggest mixed-effects diffusion models for population pharmacokinetics. We estimate the parameters of these models by combining the SAEM algorithm with the extended Kalman filter. Then, we study the asymptotic properties of the maximum likelihood estimatein some mixed-effects diffusion models continuously observed on a fixed time interval when the number of subjects tends to infinity. Chapter 4 is dedicated to variable selection in general mixed-effects models. We propose a BIC adapted to the asymptotic context where both of the number of subjects and the number of observations per subject tend to infinity. We illustrate this procedure with some simulations.

Les modèles de Markov à sauts (appelés JMS pour Jump Markov System) sont utilisés dans de nombreux domaines tels que la poursuite de cibles, le traitement des signaux sismiques et la finance, étant donné leur bonne capacité à modéliser des systèmes non-linéaires et non-gaussiens. De nombreux travaux ont étudié les modèles de Markov linéaires pour lesquels bien souvent la restauration de données est réalisée grâce à des méthodes d’échantillonnage statistique de type Markov Chain Monte-Carlo. Dans cette thèse, nous avons cherché des solutions alternatives aux méthodes MCMC et proposons deux originalités principales. La première a consisté à proposer un algorithme de restauration non supervisée d’un JMS particulier appelé « modèle de Markov couple à sauts conditionnellement gaussiens » (noté CGPMSM). Cet algorithme combine une méthode d’estimation des paramètres basée sur le principe Espérance-Maximisation (EM) et une méthode efficace pour lisser les données à partir des paramètres estimés. La deuxième originalité a consisté à étendre un CGPMSM spécifique appelé CGOMSM par l’introduction des copules. Ce modèle, appelé GCOMSM, permet de considérer des distributions plus générales que les distributions gaussiennes tout en conservant des méthodes de restauration optimales et rapides. Nous avons équipé ce modèle d’une méthode d’estimation des paramètres appelée GICE-LS, combinant le principe de la méthode d’estimation conditionnelle itérative généralisée et le principe des moindre-carrés linéaires. Toutes les méthodes sont évaluées sur des données simulées. En particulier, les performances de GCOMSM sont discutées au regard de modèles de Markov non-linéaires et non-gaussiens tels que la volatilité stochastique, très utilisée dans le domaine de la finance. / Switching Markov Models, also called Jump Markov Systems (JMS), are widely used in many fields such as target tracking, seismic signal processing and finance, since they can approach non-Gaussian non-linear systems. A considerable amount of related work studies linear JMS in which data restoration is achieved by Markov Chain Monte-Carlo (MCMC) methods. In this dissertation, we try to find alternative restoration solution for JMS to MCMC methods. The main contribution of our work includes two parts. Firstly, an algorithm of unsupervised restoration for a recent linear JMS known as Conditionally Gaussian Pairwise Markov Switching Model (CGPMSM) is proposed. This algorithm combines a parameter estimation method named Double EM, which is based on the Expectation-Maximization (EM) principle applied twice sequentially, and an efficient approach for smoothing with estimated parameters. Secondly, we extend a specific sub-model of CGPMSM known as Conditionally Gaussian Observed Markov Switching Model (CGOMSM) to a more general one, named Generalized Conditionally Observed Markov Switching Model (GCOMSM) by introducing copulas. Comparing to CGOMSM, the proposed GCOMSM adopts inherently more flexible distributions and non-linear structures, while optimal restoration is feasible. In addition, an identification method called GICE-LS based on the Generalized Iterative Conditional Estimation (GICE) and the Least-Square (LS) principles is proposed for GCOMSM to approximate any non-Gaussian non-linear systems from their sample data set. All proposed methods are tested by simulation. Moreover, the performance of GCOMSM is discussed by application on other generable non-Gaussian non-linear Markov models, for example, on stochastic volatility models which are of great importance in finance.