Identify some digestive features in people through Electrogastrogram (EGG) is important because this is a cheap, non-invasive and less bother way than traditional endoscopy procedure. This work evaluates the learning behavior of Artificial Neural Networks (ANN) and Hidden Markov Model (HMM) on components extracted by Independent Component Analysis (ICA) algorithms. In this research, an experiment was made with statistical analysis that shows the relationship between neutral, negative or positive images and digestive reactions. Training some classifiers with an EGG signal database, where the emotional states of individuals are known during processing, would it be possible to carry out the other way? Meaning, just from the EGG signal, estimate the emotional state of individuals. The initial challenge is to treat the EGG signal, which is mixed with the signals from other organs such as heart and lung. For this, the FastICA and Tensorial Methods algorithms were used, in order to produce a set of independent components, where one can identify the stomach component. Then, the EGG signal classification is performed through ANN and HMM models. The results have shown that extracting only the stomach signal component before the experiment can reduce the learning error rate in classifiers. / Identificar características digestivas de pessoas através da Eletrogastrografia (EGG) é importante pois esta costuma ser uma opção barata, não-invasiva e incomoda menos que o tradicional procedimento de Endoscopia. Este trabalho avalia o comportamento do aprendizado das Redes Neurais Artificiais (RNA) e do Modelo Oculto de Markov (HMM) diante de componentes extraídas por algoritmos de Análise de Componentes Independentes (ICA). Nesta pesquisa é realizado um experimento com análise estatística cujo objetivo apresenta a relação entre a visualização de imagens neutras, negativas ou positivas e as reações digestivas. Treinando alguns classificadores com uma base de dados de sinais EGG, onde se conhece os estados emocionais dos indivíduos durante a sua obtenção, seria possível realizar o caminho inverso? Em outras palavras, apenas a partir dos sinais EGG, pode-se estimar o estado emocional de indivíduos? O desafio inicial é tratar o sinal EGG que encontra-se misturado aos sinais de outros órgãos como coração e pulmão. Para isto foi utilizado o algoritmo FastICA e os métodos tensoriais, com o intuito de produzir um conjunto de componentes independentes onde se possa identificar a componente do estômago. Em seguida, a classifição do sinal EGG é realizada por meio dos modelos de RNA e HMM. Os resultados mostraram que classificar apenas as componentes com mais presença da frequência do sinal do estômago pode reduzir a taxa de erro do aprendizado dos classificadores no experimento realizado.

La prise de conscience des problèmes d'environnement et des effets directs et indirects des activités humaines a conduit à renforcer la surveillance haute fréquence des écosystèmes marins par l'installation de stations de mesures multicapteurs autonomes. Les capteurs, installés dans des milieux hostiles, sont sujets à des périodes de calibration, d'entretien voire des pannes et sont donc susceptibles de générer des données bruitées, manquantes voire aberrantes qu'il est nécessaire de filtrer et compléter avant toute exploitation ultérieure. Dans ce contexte, l'objectif du travail est de concevoir un système numérique automatisé robuste capable de traiter de tel volume de données afin d’améliorer les connaissances sur la qualité des systèmes aquatiques, et plus particulièrement en considérant le déterminisme et la dynamique des efflorescences du phytoplancton. L'étape cruciale est le développement méthodologique de modèles de prédiction des efflorescences du phytoplancton permettant aux utilisateurs de disposer de protocoles adéquats. Nous proposons pour cela l'emploi du modèle de Markov caché hybridé pour la détection et la prédiction des états de l'environnement (caractérisation des phases clefs de la dynamique et des caractéristiques hydrologiques associées). L'originalité du travail est l'hybridation du modèle de Markov par un algorithme de classification spectrale permettant un apprentissage non supervisé conjoint de la structure, sa caractérisation et la dynamique associée. Cette approche a été appliquée sur trois bases de données réelles : la première issue de la station marine instrumentée MAREL Carnot (Ifremer) (2005-2009), la seconde d’un système de type Ferry Box mis en œuvre en Manche orientale en 2012 et la troisième d’une station de mesures fixe, installée le long de la rivière Deûle en 2009 (Agence de l’Eau Artois Picardie - AEAP). Le travail s’inscrit dans le cadre d’une collaboration étroite entre l'IFREMER, le LISIC/ULCO et l'AEAP afin de développer des systèmes optimisés pour l’étude de l’effet des activités anthropiques sur le fonctionnement des écosystèmes aquatiques et plus particulièrement dans le contexte des efflorescences de l’algue nuisible, Phaeocystis globosa. / Because of the growing interest for environmental issues and to identify direct and indirect effects of anthropogenic activities on ecosystems, environmental monitoring programs have recourse more and more frequently to high resolution, autonomous and multi-sensor instrumented stations. These systems are implemented in harsh environment and there is a need to stop measurements for calibration, service purposes or just because of sensors failure. Consequently, data could be noisy, missing or out of range and required some pre-processing or filtering steps to complete and validate raw data before any further investigations. In this context, the objective of this work is to design an automatic numeric system able to manage such amount of data in order to further knowledge on water quality and more precisely with consideration about phytoplankton determinism and dynamics. Main phase is the methodological development of phytoplankton bloom forecasting models giving the opportunity to end-user to handle well-adapted protocols. We propose to use hybrid Hidden Markov Model to detect and forecast environment states (identification of the main phytoplankton bloom steps and associated hydrological conditions). The added-value of our approach is to hybrid our model with a spectral clustering algorithm. Thus all HMM parameters (states, characterisation and dynamics of these states) are built by unsupervised learning. This approach was applied on three data bases: first one from the marine instrumented station MAREL Carnot (Ifremer) (2005-2009), second one from a Ferry Box system implemented in the eastern English Channel en 2012 and third one from a freshwater fixed station in the river Deûle in 2009 (Artois Picardie Water Agency). These works fall within the scope of a collaboration between IFREMER, LISIC/ULCO and Artois Picardie Water Agency in order to develop optimised systems to study effects of anthropogenic activities on aquatic systems functioning in a regional context of massive blooms of the harmful algae, Phaeocystis globosa.

Dans cette thèse nous avons traité le problème de l'estimation non paramétrique des lois de probabilités. Dans un premier temps, nous avons supposé que la densité inconnue f a été approchée par un mélange de base B-spline quadratique. Puis, nous avons proposé un nouvel estimateur de la densité inconnue f basé sur les fonctions B-splines quadratiques, avec deux méthodes d'estimation. La première est base sur la méthode du maximum de vraisemblance et la deuxième est basée sur la méthode d'estimation Bayésienne MAP. Ensuite, nous avons généralisé notre étude d'estimation dans le cadre du mélange et nous avons proposé un nouvel estimateur du mélange de lois inconnues basé sur les deux méthodes d'estimation adaptées. Dans un deuxième temps, nous avons traité le problème de la segmentation statistique semi supervisée des images en se basant sur le modèle de Markov caché et les fonctions B-splines. Nous avons montré l'apport de l'hybridation du modèle de Markov caché et les fonctions B-splines en segmentation statistique bayésienne semi supervisée des images. Dans un troisième temps, nous avons présenté une approche de fusion basée sur la méthode de maximum de vraisemblance, à travers l'estimation non paramétrique des probabilités, pour chaque pixel de l'image. Nous avons ensuite appliqué cette approche sur des images multi-spectrales et multi-temporelles segmentées par notre algorithme non paramétrique et non supervisé. / In this thesis we are treated the problem of nonparametric estimation probability distributions. At first, we assumed that the unknown density f was approximated by a basic mixture quadratic B-spline. Then, we proposed a new estimate of the unknown density function f based on quadratic B-splines, with two methods estimation. The first is based on the maximum likelihood method and the second is based on the Bayesian MAP estimation method. Then we have generalized our estimation study as part of the mixture and we have proposed a new estimator mixture of unknown distributions based on the adapted estimation of two methods. In a second time, we treated the problem of semi supervised statistical segmentation of images based on the hidden Markov model and the B-sline functions. We have shown the contribution of hybridization of the hidden Markov model and B-spline functions in unsupervised Bayesian statistical image segmentation. Thirdly, we presented a fusion approach based on the maximum likelihood method, through the nonparametric estimation of probabilities, for each pixel of the image. We then applied this approach to multi-spectral and multi-temporal images segmented by our nonparametric and unsupervised algorithm.

Many normal and cancerous cell lines exhibit a stable composition of cells in distinct states which can, e.g., be defined on the basis of cell surface markers. There is evidence that such an equilibrium is associated with stochastic transitions between distinct states. Quantifying these transitions has the potential to better understand cell lineage compositions. We introduce CellTrans, an R package to quantify stochastic cell state transitions from cell state proportion data from fluorescence-activated cell sorting and flow cytometry experiments. The R package is based on a mathematical model in which cell state alterations occur due to stochastic transitions between distinct cell states whose rates only depend on the current state of a cell. CellTrans is an automated tool for estimating the underlying transition probabilities from appropriately prepared data. We point out potential analytical challenges in the quantification of these cell transitions and explain how CellTrans handles them. The applicability of CellTrans is demonstrated on publicly available data on the evolution of cell state compositions in cancer cell lines. We show that CellTrans can be used to (1) infer the transition probabilities between different cell states, (2) predict cell line compositions at a certain time, (3) predict equilibrium cell state compositions, and (4) estimate the time needed to reach this equilibrium. We provide an implementation of CellTrans in R, freely available via GitHub (https://github.com/tbuder/CellTrans).

Ce travail de thèse poursuit une perspective double dans l'usage conjoint des méthodes de Monte Carlo séquentielles (MMS) et de l'algorithme Espérance-Maximisation (EM) dans le cadre des modèles de Markov cachés présentant une structure de dépendance markovienne d'ordre supérieur à 1 au niveau de la composante inobservée. Tout d'abord, nous commençons par un exposé succinct de l'assise théorique des deux concepts statistiques à Travers les chapitres 1 et 2 qui leurs sont consacrés. Dans un second temps, nous nous intéressons à la mise en pratique simultanée des deux concepts au chapitre 3 et ce dans le cadre usuel ou la structure de dépendance est d'ordre 1, l'apport des méthodes MMS dans ce travail réside dans leur capacité à approximer efficacement des fonctionnelles conditionnelles bornées, notamment des quantités de filtrage et de lissage dans un cadre non linéaire et non gaussien. Quant à l'algorithme EM, il est motivé par la présence à la fois de variables observables, et inobservables (ou partiellement observées) dans les modèles de Markov Cachés et singulièrement les modèles de volatilité stochastique étudié. Après avoir présenté aussi bien l'algorithme EM que les méthodes MCS ainsi que quelques une de leurs propriétés dans les chapitres 1 et 2 respectivement, nous illustrons ces deux outils statistiques au travers de la calibration d'un modèle de volatilité stochastique. Cette application est effectuée pour des taux change ainsi que pour quelques indices boursiers au chapitre 3. Nous concluons ce chapitre sur un léger écart du modèle de volatilité stochastique canonique utilisé ainsi que des simulations de Monte Carlo portant sur le modèle résultant. Enfin, nous nous efforçons dans les chapitres 4 et 5 à fournir les assises théoriques et pratiques de l'extension des méthodes Monte Carlo séquentielles notamment le filtrage et le lissage particulaire lorsque la structure markovienne est plus prononcée. En guise d’illustration, nous donnons l'exemple d'un modèle de volatilité stochastique dégénéré dont une approximation présente une telle propriété de dépendance. / This thesis pursues a double perspective in the joint use of sequential Monte Carlo methods (SMC) and the Expectation-Maximization algorithm (EM) under hidden Mar­kov models having a Markov dependence structure of order grater than one in the unobserved component signal. Firstly, we begin with a brief description of the theo­retical basis of both statistical concepts through Chapters 1 and 2 that are devoted. In a second hand, we focus on the simultaneous implementation of both concepts in Chapter 3 in the usual setting where the dependence structure is of order 1. The contribution of SMC methods in this work lies in their ability to effectively approximate any bounded conditional functional in particular, those of filtering and smoothing quantities in a non-linear and non-Gaussian settings. The EM algorithm is itself motivated by the presence of both observable and unobservable ( or partially observed) variables in Hidden Markov Models and particularly the stochastic volatility models in study. Having presented the EM algorithm as well as the SMC methods and some of their properties in Chapters 1 and 2 respectively, we illustrate these two statistical tools through the calibration of a stochastic volatility model. This application is clone for exchange rates and for some stock indexes in Chapter 3. We conclude this chapter on a slight departure from canonical stochastic volatility model as well Monte Carlo simulations on the resulting model. Finally, we strive in Chapters 4 and 5 to provide the theoretical and practical foundation of sequential Monte Carlo methods extension including particle filtering and smoothing when the Markov structure is more pronounced. As an illustration, we give the example of a degenerate stochastic volatility model whose approximation has such a dependence property.

Les systèmes de transport intelligents ont acquis un grand intérêt pour la recherche ces dernières années. Alors que la simulation réaliste du trafic joue un rôle important, elle n'a pas reçu suffisamment d'attention. Cette thèse est consacrée à l'étude de la simulation du trafic au niveau microscopique et propose des modèles de mobilité des véhicules correspondants. À l'aide de méthodes d'apprentissage profond, ces modèles de mobilité ont fait leurs preuves avec une crédibilité prometteuse pour représenter les véhicules dans le monde réel. D'abord, un modèle de mobilité basé sur un réseau de neurones piloté par les données est proposé. Ce modèle provient de données de trajectoires du monde réel et permet de mimer des comportements de véhicules locaux. En analysant les performances de ce modèle de mobilité basé sur un apprentissage de base, nous indiquons qu’une amélioration est possible et proposons ses spécifications. Un MMC est alors introduit. La préparation de cette intégration est nécessaire, ce qui comprend un examen des modèles de mobilité traditionnels basés sur la dynamique et l’adaptation des modèles « classiques » à notre situation. Enfin, le modèle amélioré est présenté et une simulation de scénarios sophistiqués est construite pour valider les résultats théoriques. La performance de notre modèle de mobilité est prometteuse et des problèmes de mise en œuvre sont également discutés / The intelligent transportation systems gain great research interests in recent years. Although the realistic traffic simulation plays an important role, it has not received enough attention. This thesis is devoted to studying the traffic simulation in microscopic level, and proposes corresponding vehicular mobility models. Using deep learning methods, these mobility models have been proven with a promising credibility to represent the vehicles in real-world. Firstly, a data-driven neural network based mobility model is proposed. This model comes from real-world trajectory data and allows mimicking local vehicle behaviors. By analyzing the performance of this basic learning based mobility model, we indicate that an improvement is possible and we propose its specification. An HMM is then introduced. The preparation of this integration is necessary, which includes an examination of traditional dynamics based mobility models and the adaptation method of “classical” models to our situation. At last, the enhanced model is presented, and a sophisticated scenario simulation is built with it to validate the theoretical results. The performance of our mobility model is promising and implementation issues have also been discussed

La sécurité, la sûreté et l’efficacité de la chaîne logistique internationale revêtent une importance capitale pour le gouvernement, pour ses intérêts financiers et économiques et pour la sécurité de ses résidents. À cet égard, la société est confrontée à des multiples menaces, telles que le trafic illicite de drogues, d’armes ou autre type de contrebande, ainsi que la contrefaçon et la fraude commerciale. Pour contrer (détecter, prévenir, enquêter et atténuer) ces menaces, le rôle des douanes se pose en tant que gardiens du commerce international et acteurs principaux de la sécurisation de la chaîne logistique internationale. Les douanes interviennent à tous les stades de l'acheminement des marchandises ; toutes les transactions en provenance ou à destination des pays doivent être traitées par leurs services douaniers. Dans un tel environnement, les douanes deviennent un élément essentiel de la chaîne logistique. Nous adoptons ce point de vue, avec un accent particulier sur les opérations douanières et, pour souligner cet objectif, nous appelons cette analyse "chaîne logistique douanière". Dans cette thèse, nous avons tout d’abord mis en place le concept de chaîne logistique douanière, en identifiant les acteurs et les liens structurels entre eux, puis en établissant la cartographie des processus, l’approche d’intégration et le modèle de mesure de performance du concept proposé. Deuxièmement, nous développons une nouvelle approche de gestion de risques dans la chaîne logistique douanière basée sur une approche qualitative. Une telle approche conduit à identifier les classes de risques et à recommander les meilleures solutions afin de réduire le niveau de risque. Notre approche est appliquée dans la douane Marocaine en considérant la criticité comme un indicateur de risque en premier temps, en appliquant la méthode AMDEC (Analyse des modes de défaillance, de leurs effets et de leur criticité) et la méthode ABC croisée et le poids prioritaire en deuxième temps, en utilisant la méthode AHP (Analytic Hierarchy Process) et la méthode AHP floue (c.-à-d. Évaluation de risques sous incertitude); puis une analyse comparative des deux indicateurs est effectuée afin d’examiner l’efficacité des résultats obtenus. Enfin, nous développons des modèles stochastiques pour les séries chronologiques de risques qui abordent le défi le plus important de la modélisation de risques dans le contexte douanier : la Saisonnalité. Plus précisément, nous proposons d’une part des modèles basés sur la quantification des incertitudes pour décrire les comportements mensuels. Les différents modèles sont ajustés en utilisant la méthode de coïncidence des moments sur des séries temporelles de quantités saisies du trafic illicite dans cinq sites. D'autre part, des modèles de Markov cachés sont ajustés à l'aide de l'algorithme EM sur les mêmes séquences d’observations. Nous montrons que nos modèles permettent avec précision de gérer et de décrire les composantes saisonnières des séries chronologiques de risques dans le contexte douanier. On montre également que les modèles ajustés sont interprétables et fournissent une bonne description des propriétés importantes des données, telles que la structure du second ordre et les densités de probabilité par saison et par site. / The security, safety and efficiency of the international supply chain are of central importance for the governments, for their financial and economic interests and for the security of its residents. In this regard, the society faces multiple threats, such as illicit traffic of drugs, arms and other contraband, as well as counterfeiting and commercial fraud. For countering (detecting, preventing, investigating and mitigating) such threats, the role of customs arises as the gatekeepers of international trade and the main actor in securing the international supply chain. Customs intervene in all stages along the routing of cargo; all transactions leaving or entering the country must be processed by the custom agencies. In such an environment, customs become an integral thread within the supply chain. We adopt this point of view, with a particular focus on customs operations and, in order to underline this focus, we refer to this analysis as “customs supply chain”. In this thesis, we firstly set up the concept of customs supply chain, identify the actors and structural links between them, then establish the process mapping, integration approach and performance model. Secondly, we develop a new approach for managing risks in customs supply chain based on qualitative analysis. Such an approach leads to identify the risk classes as well as recommend best possible solutions to reduce the risk level. Our approach is applied in Moroccan customs by considering the criticality as a risk indicator. In a first time we use Failure Modes Effects Criticality Analysis (FMECA) and Cross Activity Based Costing (ABC) Method and priority weight; in the second time we use Analytic Hierarchy Process (AHP) and Fuzzy AHP (i.e., risk assessment under uncertainty); then a benchmarking of the two indicators is conducted in order to examine the effectiveness of the obtained results. Finally, we develop stochastic models for risk time series that address the most important challenge of risk modeling in the customs context: Seasonality. To be more specific, we propose on the one hand, models based on uncertainty quantification to describe monthly components. The different models are fitted using Moment Matching method to the time series of seized quantities of the illicit traffic on five sites. On the other hand, Hidden Markov Models which are fitted using the EM-algorithm on the same observation sequences. We show that these models allow to accurately handle and describe the seasonal components of risk time series in customs context. It is also shown that the fitted models can be easily interpreted and provide a good description of important properties of the data such as the second-order structure and Probability Density Function (PDFs) per season per site.

Magister Scientiae (Medical Bioscience) - MSc(MBS) / Background: Despite the effort of scientific research on HIV therapies and to reduce the rate of HIV infection, AIDS remains one of the major causes of death in the world and mostly in sub-Saharan Africa. To date, neither a cure nor an HIV vaccine had been found and the disease can only be managed by using High Active Antiretroviral Therapy (HAART) if detected early. The need for an effective early diagnostic and non-toxic treatment has brought about the necessity for the discovery of additional HIV diagnostic methods and treatment regimens to lower mortality rates. Antimicrobial Peptides (AMPs) are components of the first line of defense of prokaryotes and eukaryotes and have been proven to be promising therapeutic agents against HIV. Methods: With the utility of computational biology, this work proposes the use of profile search methods combined with structural modeling to identify putative AMPs with diagnostic and anti-HIV activity. Firstly, experimentally validated anti-HIV AMPs were retrieved from various publicly available AMP databases, APD, CAMP, Bactibase and UniProtKB and classified according to super-families. Hidden Markov Model (HMMER) and Gap Local Alignment of Motifs (GLAM2) profiles were built for each super-family of anti- HIV AMPs. Putative anti-HIV AMPs were identified after scanning genome sequence databases using the trained models, retrieved AMPs, and ranked based on their E-values. The 3-D structures of the 10 peptides that were ranked highest were predicted using 1-TASSER. These peptides were docked against various HIV proteins using PatchDock and putative AMPs showing the highest affinity and having the correct orientation to the HIV -1 proteins gp120 and p24 were selected for future work to establish their function in HIV therapy and diagnosis. Results: The results of the in silica analysis showed that the constructed models using the HMMER algorithm had better performances compare to that of the models built by the GLAM2 algorithm. Furthermore, the former tool has a better statistical and probability explanation compared to the latter tool. Thus only the HMMER scanning results were considered for further study. Out of 1059 species scanned by the HMMER models, 30 putative anti-HIV AMPs were identified from genome scans with the family-specific profile models after the elimination of duplicate peptides. Docking analysis of putative AMPs against HIV proteins showed that from the 10 best performing anti-HIV AMPs with the highest E-scores, molecules 1,3, 8, and 10 firmly bind the gp120 binding pocket at the VIN2 domain and the point of interaction between gp120 and T cells, with the 1st and 3rd highest scoring anti-HIV AMPs having the highest binding affinities. However, all 10 putative anti-HIV AMPs bind to the N-terminal domain of p24 with large surface interaction, rather than the C-terminal. Conclusion: The in silica approach has made it possible to construct computational models having high performances, and which enabled the identification of putative anti-HIV peptides from genome sequence scans. The in silica validation of these putative peptides through docking studies has shown that some of these AMPs may be involved in HIV/AIDS therapeutics and diagnostics. The molecular validation of these findings will be the way forward for the development of an early diagnostic tool and as a consequence initiate early treatment. This will prevent the invasion of the immune system by blocking the VIN2 domain and thus designing of a successful vaccine with broad neutralizing activity against this domain.

Geodetic adjustment models are often set up in a way that the model parameters need to fulfil certain constraints. The normalized Lagrange multipliers have been used as a measure of the strength of constraint in such a way that if one of them exceeds in magnitude a certain threshold then the corresponding constraint is likely to be incompatible with the observations and the rest of the constraints. We show that these and similar measures can be deduced as test statistics of a likelihood ratio test of the statistical hypothesis that some constraints are incompatible in the same sense. This has been done before only for special constraints (Teunissen in Optimization and Design of Geodetic Networks, pp. 526–547, 1985). We start from the simplest case, that the full set of constraints is to be tested, and arrive at the advanced case, that each constraint is to be tested individually. Every test is worked out both for a known as well as for an unknown prior variance factor. The corresponding distributions under null and alternative hypotheses are derived. The theory is illustrated by the example of a double levelled line. / Geodätische Ausgleichungsmodelle werden oft auf eine Weise formuliert, bei der die Modellparameter bestimmte Bedingungsgleichungen zu erfüllen haben. Die normierten Lagrange-Multiplikatoren wurden bisher als Maß für den ausgeübten Zwang verwendet, und zwar so, dass wenn einer von ihnen betragsmäßig eine bestimmte Schwelle übersteigt, dann ist davon auszugehen, dass die zugehörige Bedingungsgleichung nicht mit den Beobachtungen und den restlichen Bedingungsgleichungen kompatibel ist. Wir zeigen, dass diese und ähnliche Maße als Teststatistiken eines Likelihood-Quotiententests der statistischen Hypothese, dass einige Bedingungsgleichungen in diesem Sinne inkompatibel sind, abgeleitet werden können. Das wurde bisher nur für spezielle Bedingungsgleichungen getan (Teunissen in Optimization and Design of Geodetic Networks, pp. 526–547, 1985). Wir starten vom einfachsten Fall, dass die gesamte Menge der Bedingungsgleichungen getestet werden muss, und gelangen zu dem fortgeschrittenen Problem, dass jede Bedingungsgleichung individuell zu testen ist. Jeder Test wird sowohl für bekannte, wie auch für unbekannte a priori Varianzfaktoren ausgearbeitet. Die zugehörigen Verteilungen werden sowohl unter der Null- wie auch unter der Alternativhypthese abgeleitet. Die Theorie wird am Beispiel einer Doppelnivellementlinie illustriert.

In Natural Language Processing (NLP), speech and text are parsed and generated with language models and parser models, and translated with translation models. Each model contains a set of numerical parameters which are found by applying a suitable training algorithm to a set of training data. Many such training algorithms are instances of the Expectation-Maximization (EM) algorithm. In [BSV15], a generic EM algorithm for NLP is described. This work presents a particular speech model, the Hidden Markov model, and its standard training algorithm, the Baum-Welch algorithm. It is then shown that the Baum-Welch algorithm is an instance of the generic EM algorithm introduced by [BSV15], from which follows that all statements about the generic EM algorithm also apply to the Baum-Welch algorithm, especially its correctness and convergence properties.:1 Introduction 1.1 N-gram models 1.2 Hidden Markov model 2 Expectation-maximization algorithms 2.1 Preliminaries 2.2 Algorithmic skeleton 2.3 Corpus-based step mapping 2.4 Simple counting step mapping 2.5 Regular tree grammars 2.6 Inside-outside step mapping 2.7 Review 3 The Hidden Markov model 3.1 Forward and backward algorithms 3.2 The Baum-Welch algorithm 3.3 Deriving the Baum-Welch algorithm 3.3.1 Model parameter and countable events 3.3.2 Tree-shaped hidden information 3.3.3 Complete-data corpus 3.3.4 Inside weights 3.3.5 Outside weights 3.3.6 Complete-data corpus (cont.) 3.3.7 Step mapping 3.4 Review Appendix A Elided proofs from Chapter 3 A.1 Proof of Lemma 3.8 A.2 Proof of Lemma 3.9 B Formulary for Chapter 3 Bibliography