This diploma thesis is aimed to find an effective method for continuous speech recognition. To be more accurate, it uses speech-to-text recognition for a keyword spotting discipline. This solution is able to be applicable for phone calls analysis or for a similar application. Most of the diploma thesis describes and implements speech recognition framework Sphinx-4 which uses Hidden Markov models (HMM) to define a language acoustic models. It is explained how these models can be trained for a new language or for a new language dialect. Finally there is in detail described how to implement the keyword spotting in the Java language.

Main purpose of the thesis is to study the processes and methods of isolated words recognition. In the theoretical part a basic principals are explained. The practical part is about the program creating using these principles in practice. For isolated words recognition Hidden Markov Models (HMM) are used, for obtaining decision symptoms cepstral analysis is chosen.

The increasing energy consumption is one of the greatest environmental challenges of our time. Residential buildings account for a considerable part of the total electricity consumption and is further a sector that is shown to have large savings potential. Non Intrusive Load Monitoring (NILM), i.e. the deduction of the electricity consumption of individual home appliances from the total electricity consumption of a household, is a compelling approach to deliver appliance specific consumption feedback to consumers. This enables informed choices and can promote sustainable and cost saving actions. To achieve this, accurate and reliable appliance load disaggregation algorithms must be developed. This Master's thesis proposes a novel approach to tackle the disaggregation problem inspired by state of the art algorithms in the field of speech recognition. Previous approaches, for sampling frequencies <img src="http://www.diva-portal.org/cgi-bin/mimetex.cgi?%5Cleq" />1 Hz, have primarily focused on different types of hidden Markov models (HMMs) and occasionally the use of artificial neural networks (ANNs). HMMs are a natural representation of electric appliances, however with a purely generative approach to disaggregation, basically all appliances have to be modelled simultaneously. Due to the large number of possible appliances and variations between households, this is a major challenge. It imposes strong restrictions on the complexity, and thus the expressiveness, of the respective appliance model to make inference algorithms feasible. In this thesis, disaggregation is treated as a factorisation problem where the respective appliance signal has to be extracted from its background. A hybrid model is proposed, where a convolutional neural network (CNN) extracts features that correlate with the state of a single appliance and the features are used as observations for a hidden semi Markov model (HSMM) of the appliance. Since this allows for modelling of a single appliance, it becomes computationally feasible to use a more expressive Markov model. As proof of concept, the hybrid model is evaluated on 238 days of 1 Hz power data, collected from six households, to predict the power usage of the households' washing machine. The hybrid model is shown to perform considerably better than a CNN alone and it is further demonstrated how a significant increase in performance is achieved by including transitional features in the HSMM. / Den ökande energikonsumtionen är en stor utmaning för en hållbar utveckling. Bostäder står för en stor del av vår totala elförbrukning och är en sektor där det påvisats stor potential för besparingar. Non Intrusive Load Monitoring (NILM), dvs. härledning av hushållsapparaters individuella elförbrukning utifrån ett hushålls totala elförbrukning, är en tilltalande metod för att fortlöpande ge detaljerad information om elförbrukningen till hushåll. Detta utgör ett underlag för medvetna beslut och kan bidraga med incitament för hushåll att minska sin miljöpåverakan och sina elkostnader. För att åstadkomma detta måste precisa och tillförlitliga algoritmer för el-disaggregering utvecklas. Denna masteruppsats föreslår ett nytt angreppssätt till el-disaggregeringsproblemet, inspirerat av ledande metoder inom taligenkänning. Tidigare angreppsätt inom NILM (i frekvensområdet <img src="http://www.diva-portal.org/cgi-bin/mimetex.cgi?%5Cleq" />1 Hz) har huvudsakligen fokuserat på olika typer av Markovmodeller (HMM) och enstaka förekomster av artificiella neurala nätverk. En HMM är en naturlig representation av en elapparat, men med uteslutande generativ modellering måste alla apparater modelleras samtidigt. Det stora antalet möjliga apparater och den stora variationen i sammansättningen av dessa mellan olika hushåll utgör en stor utmaning för sådana metoder. Det medför en stark begränsning av komplexiteten och detaljnivån i modellen av respektive apparat, för att de algoritmer som används vid prediktion ska vara beräkningsmässigt möjliga. I denna uppsats behandlas el-disaggregering som ett faktoriseringsproblem, där respektive apparat ska separeras från bakgrunden av andra apparater. För att göra detta föreslås en hybridmodell där ett neuralt nätverk extraherar information som korrelerar med sannolikheten för att den avsedda apparaten är i olika tillstånd. Denna information används som obervationssekvens för en semi-Markovmodell (HSMM). Då detta utförs för en enskild apparat blir det beräkningsmässigt möjligt att använda en mer detaljerad modell av apparaten. Den föreslagna Hybridmodellen utvärderas för uppgiften att avgöra när tvättmaskinen används för totalt 238 dagar av elförbrukningsmätningar från sex olika hushåll. Hybridmodellen presterar betydligt bättre än enbart ett neuralt nätverk, vidare påvisas att prestandan förbättras ytterligare genom att introducera tillstånds-övergång-observationer i HSMM:en.

The usage of signatures for authentication is widely accepted, and remains one of the most familiar biometric in our society. Efforts to digitalise and automate the verification of these signatures are hot topics in the field of Machine Learning, and a plethora of different tools and methods have been developed and adapted for this purpose. The intention of this report is to study the authentication of handwritten signatures on digital whiteboards, and how to most effectively set up a dual verification system based on Hidden Markov models (HMMs) and global aggregate features such as average speed. The aim is to gauge which features are Suitable for determining that a signature is in fact genuine Suitable for rejecting forgeries Unsuitable for gauging the authenticity of a signature all together In addition, we take a look at the configuration of the HMMs themselves, in order to find good configurations for The number of components used in the model What type of covariance to use The best threshold to draw the line between a genuine signature and a forgery For the research, we collected a total of 200 signatures and 400 forgeries, gathered from 10 different people on digital whiteboards. We concluded that the best configurations of our HMMs had 11 components, used a full covariance model, and observed about five features, where pressure, angle and speed were the most important. Among the global features, we discarded 11 out of 35 due to either strong correlation with other features, or contained too little discriminatory information. The strongest global features were the ones pertaining to speed, acceleration, direction, and curvature. Using the combined verification we obtained an EER of 7 %, which is in the typical range of contemporary studies. We conclude that the best way to combine global feature verification with local HMM verification is to perform both separately, and only accept signatures that are admissible by both, with a tolerance level for the global and local verifications of 1.2 and 2.5 standard deviations, respectively. / Användandet av signaturer för autentisering är allmänt accepterat, och är fortfarande den mest använda biometriken i vårt samhälle. Arbetet med att digitalisera och automatisera verifieringen av dessa signaturer är ett populärt ämne inom maskininlärning, och en uppsjö av olika verktyg och metoder har utvecklats och anpassats för detta ändamål. Avsikten med denna studie är att bestämma hur man mest framgångsrikt kan inrätta ett verifikationssystem för handskrivna signatures på digitala whiteboards baserat på dolda Markovmodeller (HMMs) och globalt aggregerade attribut. Syftet är att bedöma vilka features som är Lämpliga för att bestämma huruvida en signatur är äkta Lämpliga för att avvisa förfalskningar Olämpliga för att mäta äktheten hos en signatur över huvud taget Utöver detta studerar vi HMM-konfigurationen själv, i syfte att hitta bra konfigurationer för Antalet komponenter som används i modellen Vilken typ av kovarians som ger bäst resultat Det bästa tröskelvärdet vid vilken att dra gränsen för huruvida en signatur är äkta eller förfalskad För forskningen samlade vi totalt in 200 signaturer och 400 förfalskningar från 10 olika personer med hjälp av digitala whiteboards. Vi drog slutsatsen att de bästa konfigurationerna hade 11 komponenter, använde komplett kovarians, och använde cirka fem features, där tryck, vinkel och hastighet var det viktigaste. Bland våra globala features kastade vi 11 av 35 på grund av att de antingen korrelerade för starkt med andra features, eller på grund av att de innehöll för lite information för att utröna huruvida en signatur var äkta eller ej. Våra bästa globala features var de som hänförde sig till hastighet, acceleration, riktning och krökning. Genom att använda den kombinerade verifieraren fick vi en EER på 7 %, vilket är i linje med liknande studier. Vi drog även slutsatsen att det bästa sättet att kombinera global verifiering med lokal HMM-verifiering är att utföra dem separat och endast acceptera signaturer som godkänns av bägge två. Den bästa toleransnivån för den globala och lokala verifieraren var 1,2 och 2,5 standardavvikelser, respektive.

Les protéines PentatricoPeptide-Repeats (PPR) représentent la plus grande famille de protéines de liaison à l’ARN connue. Elles sont caractérisées par la présence de motifs répétés en tandem d’environ 35 résidus ayant une structure hélice-tour-hélice. Depuis les premières études sur l’organisme modèle Arabidopsis thaliana, les protéines PPR ont aussi été découvertes chez d’autres espèces non-plantes, incluant les levures et l’humain. Cependant, la détection des protéines PPR en dehors des plantes est compliquée par le fait que les outils de recherche sont tous conçus pour les protéines de plantes. Récemment, une étude réalisée chez les levures a rapporté une méthode itérative semi-automatisée d’identification de PPR utilisant des profils Hidden Markov Models (HMM). Inspirés par cette approche, nous visons ici à développer une méthode complètement automatisée plus généralisable et sensible qui ne dépend pas du protéome de départ. Comme preuve de concept, nous avons choisi une espèce non reliée aux plantes possédant le plus grand nombre de protéines PPR en-dehors des plantes – le protiste marin unicellulaire Diplonema papillatum. Il s’agit d’un modèle émergent ayant reçu beaucoup d’intérêt pour l’excentricité de l’expression de son génome mitochondrial, pour lequel il a été suggéré que les protéines PPR jouent un rôle clé. Nous avons ici développé une approche itérative pour identifier et cataloguer les protéines PPR chez D. papillatum. Les fonctionnalités particulières de notre algorithme incluent l’inspection des intervalles de 30 à 40 résidus entre les motifs classiques déjà identifiés et l’utilisation des structures secondaires caractéristiques des motifs PPR pour valider les motifs candidats nouvellement identifiés. Au final, nous avons identifié près de 800 motifs PPR chez D.papillatum, dont plusieurs motifs « déviants » identifiés dans les espaces entre les motifs. La validation expérimentale des motifs candidats les plus prometteurs est en attente. / PentatricoPeptide-Repeat (PPR) proteins represent the largest family of RNA-binding proteins known. They are defined by containing tandemly arranged, ~35-residue long motifs assuming a helix-turn-helix structure, which are referred to as PPR motifs. Since the seminal studies undertaken in the model organism Arabidopsis, a few PPR proteins have been also discovered outside plants, including yeast and human. However, the detection of PPR proteins in non-plant eukaryotes is complicated by the fact that current search tools are tailored toward plants. Recently, a semi-automated method has been reported for identifying PPR motifs in yeast using iterative searches with profile Hidden Markov models (HMMs). Inspired by this work, we aimed to develop a fully automated, sensitive approach that can be used for detecting PPR proteins in any species, when using the corresponding proteome as input. For a proof of concept, we used a species that contains the largest number of PPR genes outside the plant kingdom –the unicellular protist Diplonema papillatum. This emerging model system has garnered much interest for the eccentricities of its mitochondrial gene expression, in which PPR proteins are posited to play a key role. Here, we have developed an iterative HMM-search method that comprehensively catalogues and classifies PPR motifs in D. papillatum. Particular features of our algorithm are that it inspects closely 30 to 40 residue-long intervals between readily identified (classical) motifs, makes use of the characteristic secondary structure of PPR motifs to validate newly detected candidate motifs. In total, we have identified around 800 PPR motifs in D. papillatum. Including several deviant candidates detected in ”gaps”. High ranking representatives of both classical and deviant motifs await experimental validation.

Coronal Mass Ejections (CMEs) and solar flares are energetic events taking place at the Sun that can affect the space weather or the near-Earth environment by the release of vast quantities of electromagnetic radiation and charged particles. Solar active regions are the areas where most flares and CMEs originate. Studying the associations among sunspot groups, flares, filaments, and CMEs is helpful in understanding the possible cause and effect relationships between these events and features. Forecasting space weather in a timely manner is important for protecting technological systems and human life on earth and in space. The research presented in this thesis introduces novel, fully computerised, machine learning-based decision rules and models that can be used within a system design for automated space weather forecasting. The system design in this work consists of three stages: (1) designing computer tools to find the associations among sunspot groups, flares, filaments, and CMEs (2) applying machine learning algorithms to the associations' datasets and (3) studying the evolution patterns of sunspot groups using time-series methods. Machine learning algorithms are used to provide computerised learning rules and models that enable the system to provide automated prediction of CMEs, flares, and evolution patterns of sunspot groups. These numerical rules are extracted from the characteristics, associations, and time-series analysis of the available historical solar data. The training of machine learning algorithms is based on data sets created by investigating the associations among sunspots, filaments, flares, and CMEs. Evolution patterns of sunspot areas and McIntosh classifications are analysed using a statistical machine learning method, namely the Hidden Markov Model (HMM).

La mise en place d’une politique de maintenance prévisionnelle est un défi majeur dans l’industrie qui tente de réduire le plus possible les frais relatifs à la maintenance. En effet, les systèmes sont de plus en plus complexes et demandent un suivi de plus en plus poussé afin de rester opérationnels et sécurisés. Une maintenance prévisionnelle nécessite d’une part d’évaluer l’état de dégradation des composants du système, et d’autre part de pronostiquer l’apparition future d’une panne. Plus précisément, il s’agit d’estimer le temps restant avant l’arrivée d’une défaillance, aussi appelé Remaining Useful Life ou RUL en anglais. L’estimation d’une RUL constitue un réel enjeu car la pertinence et l’efficacité des actions de maintenance dépendent de la justesse et de la précision des résultats obtenus. Il existe de nombreuses méthodes permettant de réaliser un pronostic de durée de vie résiduelle, chacune avec ses spécificités, ses avantages et ses inconvénients. Les travaux présentés dans ce manuscrit s’intéressent à une méthodologie générale pour estimer la RUL d’un composant. L’objectif est de proposer une méthode applicable à un grand nombre de cas et de situations différentes sans nécessiter de modification majeure. De plus, nous cherchons aussi à traiter plusieurs types d’incertitudes afin d’améliorer la justesse des résultats de pronostic. Au final, la méthodologie développée constitue une aide à la décision pour la planification des opérations de maintenance. La RUL estimée permet de décider de l’instant optimal des interventions nécessaires, et le traitement des incertitudes apporte un niveau de confiance supplémentaire dans les valeurs obtenues. / Predictive maintenance strategies can help reduce the ever-growing maintenance costs, but their implementation represents a major challenge. Indeed, it requires to evaluate the health state of the component of the system and to prognosticate the occurrence of a future failure. This second step consists in estimating the remaining useful life (RUL) of the components, in Other words, the time they will continue functioning properly. This RUL estimation holds a high stake because the precision and accuracy of the results will influence the relevance and effectiveness of the maintenance operations. Many methods have been developed to prognosticate the remaining useful life of a component. Each one has its own particularities, advantages and drawbacks. The present work proposes a general methodology for component RUL estimation. The objective i to develop a method that can be applied to many different cases and situations and does not require big modifications. Moreover, several types of uncertainties are being dealt With in order to improve the accuracy of the prognostic. The proposed methodology can help in the maintenance decision making process. Indeed, it is possible to select the optimal moment for a required intervention thanks to the estimated RUL. Furthermore, dealing With the uncertainties provides additional confidence into the prognostic results.

Bioinformatics is a fast-developing field, which makes use of computational methods to analyse and structure biological data. An important branch of bioinformatics is structure and function prediction of proteins, which is often based on finding relationships to already characterized proteins. It is known that two proteins with very similar sequences also share the same 3D structure. However, there are many proteins with similar structures that have no clear sequence similarity, which make it difficult to find these relationships. In this thesis, two methods for annotating protein domains are presented, one aiming at assigning the correct domain family or families to a protein sequence, and the other aiming at fold recognition. Both methods use hidden Markov models (HMMs) to find related proteins, and they both exploit the fact that structure is more conserved than sequence, but in two different ways. Most of the research presented in the thesis focuses on the structure-anchored HMMs, saHMMs. For each domain family, an saHMM is constructed from a multiple structure alignment of carefully selected representative domains, the saHMM-members. These saHMM-members are collected in the so called "midnight ASTRAL set", and are chosen so that all saHMM-members within the same family have mutual sequence identities below a threshold of about 20%. In order to construct the midnight ASTRAL set and the saHMMs, a pipe-line of software tools are developed. The saHMMs are shown to be able to detect the correct family relationships at very high accuracy, and perform better than the standard tool Pfam in assigning the correct domain families to new domain sequences. We also introduce the FI-score, which is used to measure the performance of the saHMMs, in order to select the optimal model for each domain family. The saHMMs are made available for searching through the FISH server, and can be used for assigning family relationships to protein sequences. The other approach presented in the thesis is secondary structure HMMs (ssHMMs). These HMMs are designed to use both the sequence and the predicted secondary structure of a query protein when scoring it against the model. A rigorous benchmark is used, which shows that HMMs made from multiple sequences result in better fold recognition than those based on single sequences. Adding secondary structure information to the HMMs improves the ability of fold recognition further, both when using true and predicted secondary structures for the query sequence. / Bioinformatik är ett område där datavetenskapliga och statistiska metoder används för att analysera och strukturera biologiska data. Ett viktigt område inom bioinformatiken försöker förutsäga vilken tredimensionell struktur och funktion ett protein har, utifrån dess aminosyrasekvens och/eller likheter med andra, redan karaktäriserade, proteiner. Det är känt att två proteiner med likande aminosyrasekvenser också har liknande tredimensionella strukturer. Att två proteiner har liknande strukturer behöver dock inte betyda att deras sekvenser är lika, vilket kan göra det svårt att hitta strukturella likheter utifrån ett proteins aminosyrasekvens. Den här avhandlingen beskriver två metoder för att hitta likheter mellan proteiner, den ena med fokus på att bestämma vilken familj av proteindomäner, med känd 3D-struktur, en given sekvens tillhör, medan den andra försöker förutsäga ett proteins veckning, d.v.s. ge en grov bild av proteinets struktur. Båda metoderna använder s.k. dolda Markov modeller (hidden Markov models, HMMer), en statistisk metod som bland annat kan användas för att beskriva proteinfamiljer. Med hjälp en HMM kan man förutsäga om en viss proteinsekvens tillhör den familj modellen representerar. Båda metoderna använder också strukturinformation för att öka modellernas förmåga att känna igen besläktade sekvenser, men på olika sätt. Det mesta av arbetet i avhandlingen handlar om strukturellt förankrade HMMer (structure-anchored HMMs, saHMMer). För att bygga saHMMerna används strukturbaserade sekvensöverlagringar, vilka genereras utifrån hur proteindomänerna kan läggas på varandra i rymden, snarare än utifrån vilka aminosyror som ingår i deras sekvenser. I varje proteinfamilj används bara ett särskilt, representativt urval av domäner. Dessa är valda så att då sekvenserna jämförs parvis, finns det inget par inom familjen med högre sekvensidentitet än ca 20%. Detta urval görs för att få så stor spridning som möjligt på sekvenserna inom familjen. En programvaruserie har utvecklats för att välja ut representanter för varje familj och sedan bygga saHMMer baserade på dessa. Det visar sig att saHMMerna kan hitta rätt familj till en hög andel av de testade sekvenserna, med nästan inga fel. De är också bättre än den ofta använda metoden Pfam på att hitta rätt familj till helt nya proteinsekvenser. saHMMerna finns tillgängliga genom FISH-servern, vilken alla kan använda via Internet för att hitta vilken familj ett intressant protein kan tillhöra. Den andra metoden som presenteras i avhandlingen är sekundärstruktur-HMMer, ssHMMer, vilka är byggda från vanliga multipla sekvensöverlagringar, men också från information om vilka sekundärstrukturer proteinsekvenserna i familjen har. När en proteinsekvens jämförs med ssHMMen används en förutsägelse om sekundärstrukturen, och den beräknade sannolikheten att sekvensen tillhör familjen kommer att baseras både på sekvensen av aminosyror och på sekundärstrukturen. Vid en jämförelse visar det sig att HMMer baserade på flera sekvenser är bättre än sådana baserade på endast en sekvens, när det gäller att hitta rätt veckning för en proteinsekvens. HMMerna blir ännu bättre om man också tar hänsyn till sekundärstrukturen, både då den riktiga sekundärstrukturen används och då man använder en teoretiskt förutsagd. / Jeanette Hargbo.

Malgré l'entrée récente de notre monde dans l'ère du tout numérique, de nombreux documents manuscrits continuent à s'échanger, obligeant nos sociétés et administrations à faire face au traitement de ces masses de documents. Le traitement automatique de ces documents nécessite d'accéder à un échantillon inconnu mais pertinent de leur contenu et implique de prendre en compte trois points essentiels : la segmentation du document en entités comparable à l'information recherchée, la reconnaissance de ces entités recherchées et le rejet des entités non pertinentes. Nous nous démarquons des approches classiques de lecture complète de documents et de détection de mots clés en parallélisant ces trois traitements en une approche d'extraction d'information. Une première contribution réside dans la conception d'un modèle de ligne générique pour l'extraction d'information et l'implémentation d'un système complet à base de modèles de Markov cachés (MMC) construit autour de ce modèle. Le module de reconnaissance cherche, en une seule passe, à discriminer l'information pertinente, caractérisée par un ensemble de requêtes alphabétiques, numériques ou alphanumériques, de l'information non pertinente, caractérisée par un modèle de remplissage. Une seconde contribution réside dans l'amélioration de la discrimination locale des observations des lignes par l'utilisation d'un réseau de neurones profond. Ce dernier permet également d'inférer une représentation de haut niveau des observations et donc d'automatiser le processus d'extraction des caractéristiques. Il en résulte un système complet, générique et industrialisable, répondant à des besoins émergents dans le domaine de la lecture automatique de documents manuscrits : l'extraction d'informations complexes dans des documents non-contraints.

Tracking and understanding human gait is an important step towards improving elderly mobility and safety. This thesis presents a vision-based tracking system that estimates the 3D pose of a wheeled walker user's lower limbs with cameras mounted on the moving walker. The tracker estimates 3D poses from images of the lower limbs in the coronal plane in a dynamic, uncontrolled environment. It employs a probabilistic approach based on particle filtering with three different camera setups: a monocular RGB camera, binocular RGB cameras, and a depth camera. For the RGB cameras, observation likelihoods are designed to compare the colors and gradients of each frame with initial templates that are manually extracted. Two strategies are also investigated for handling appearance change of tracking target: increasing number of templates and using different representations of colors. For the depth camera, two observation likelihoods are developed: the first one works directly in the 3D space, while the second one works in the projected image space. Experiments are conducted to evaluate the performance of the tracking system with different users for all three camera setups. It is demonstrated that the trackers with the RGB cameras produce results with higher error as compared to the depth camera, and the strategies for handling appearance change improve tracking accuracy in general. On the other hand, the tracker with the depth sensor successfully tracks the 3D poses of users over the entire video sequence and is robust against unfavorable conditions such as partial occlusion, missing observations, and deformable tracking target.