Intelligent agents are designed to interact with, and learn about, their environment so that they can act purposefully towards a goal. One class of problems encountered in building such agents is learning how to respond to dynamic systems with a continuous state space. The goals of this dissertation are to develop a framework for understanding the behaviour of partitioned dynamic systems with continuous underlying state and to translate this framework into algorithms which adaptively form a partition of the continuous space such that the partitioned system is more easily learned and controlled, and such that the control law may be easily explained in intuitive ways. Currently, algorithms which learn a control policy for partitioned continuous state space systems treat the partitioned system as an approximation to a Markov chain. I give conditions for the partitioned system to be a Markov chain, a semi-Markov process and a new class of system, a weak-semi-Markov process. The weak-semi-Markov model is shown to model partitioned dynamic systems with greater economy than other surveyed models. The behaviour of a partitioned state space system in the area around the region boundaries is also considered. I use the theory of sliding surfaces, and some heuristic arguments to recommend region boundary shape and position. The concept of 'staying on the boundary' then becomes a robust and relatively easy subgoal within the control algorithm. The concept of 'reaching the sliding surface' as a subgoal is used as the basis for an intuitive explanation of the learnt controller. I present an algorithm based on this concept which explains the behaviour of a learnt controller in ways not previously available to a machine learning algorithms. Finally, the Markov Property and the theory of Sliding Mode Control are used as the basis of a class of recursive algorithms. These algorithms adaptively find a partition, and simultaneously use this partition in conjunction with one of five reinforcement learning algorithms to find a control policy based on that partition. This technique is shown to work very well in learning, controlling and explaining a variety of physical systems, from a monorail to a container crane.

Le premier chapitre présente les axes principaux de recherche ainsi que les problèmes traités dans cette thèse. Plus précisément, il expose une synthèse sur le sujet, en y donnant les propriétés essentielles pour la bonne compréhension de cette étude, accompagnée des références bibliographiques les plus importantes. Il présente également les motivations de ce travail en précisant les contributions originales dans ce domaine. Le deuxième chapitre est composé d’une recherche originale sur l’estimation du risque sismique, dans la zone du nord de la mer Egée (Grèce), en faisant usage de la théorie des processus semi-markoviens à temps continue. Il propose des estimateurs des mesures importantes qui caractérisent les processus semi-markoviens, et fournit une modélisation dela prévision de l’instant de réalisation d’un séisme fort ainsi que la probabilité et la grandeur qui lui sont associées. Les chapitres 3 et 4 comprennent une première tentative de modélisation du processus de génération des séismes au moyen de l’application d’un temps discret des modèles cachés markoviens et semi-markoviens, respectivement. Une méthode d’estimation non paramétrique est appliquée, qui permet de révéler des caractéristiques fondamentales du processus de génération des séismes, difficiles à détecter autrement. Des quantités importantes concernant les niveaux des tensions sont estimées au moyen des modèles proposés. Le chapitre 5 décrit les résultats originaux du présent travail à la théorie des processus stochastiques, c’est- à-dire l’étude et l’estimation du « Intensité du temps d’entrée en temps discret (DTIHT) » pour la première fois dans des chaînes semi-markoviennes et des chaînes de renouvellement markoviennes cachées. Une relation est proposée pour le calcul du DTIHT et un nouvel estimateur est présenté dans chacun de ces cas. De plus, les propriétés asymptotiques des estimateurs proposés sont obtenues, à savoir, la convergence et la normalité asymptotique. Le chapitre 6 procède ensuite à une étude de comparaison entre le modèle markovien caché et le modèle semi-markovien caché dans un milieu markovien et semi-markovien en vue de rechercher d’éventuelles différences dans leur comportement stochastique, déterminé à partir de la matrice de transition de la chaîne de Markov (modèle markovien caché) et de la matrice de transition de la chaîne de Markov immergée (modèle semi-markovien caché). Les résultats originaux concernent le cas général où les distributions sont considérées comme distributions des temps de séjour ainsi que le cas particulier des modèles qui sont applique´s dans les chapitres précédents où les temps de séjour sont estimés de manière non-paramétrique. L’importance de ces différences est spécifiée à l’aide du calcul de la valeur moyenne et de la variance du nombre de sauts de la chaîne de Markov (modèle markovien caché) ou de la chaîne de Markov immergée (modèle semi-markovien caché) pour arriver dans un état donné, pour la première fois. Enfin, le chapitre 7 donne des conclusions générales en soulignant les points les plus marquants et des perspectives pour développements futurs. / The first chapter describes the definition of the subject under study, the current state of science in this area and the objectives. In the second chapter, continuous-time semi-Markov models are studied and applied in order to contribute to seismic hazard assessment in Northern Aegean Sea (Greece). Expressions for different important indicators of the semi- Markov process are obtained, providing forecasting results about the time, the space and the magnitude of the ensuing strong earthquake. Chapters 3 and 4 describe a first attempt to model earthquake occurrence by means of discrete-time hidden Markov models (HMMs) and hidden semi-Markov models (HSMMs), respectively. A nonparametric estimation method is followed by means of which, insights into features of the earthquake process are provided which are hard to detect otherwise. Important indicators concerning the levels of the stress field are estimated by means of the suggested HMM and HSMM. Chapter 5 includes our main contribution to the theory of stochastic processes, the investigation and the estimation of the discrete-time intensity of the hitting time (DTIHT) for the first time referring to semi-Markov chains (SMCs) and hidden Markov renewal chains (HMRCs). A simple formula is presented for the evaluation of the DTIHT along with its statistical estimator for both SMCs and HMRCs. In addition, the asymptotic properties of the estimators are proved, including strong consistency and asymptotic normality. In chapter 6, a comparison between HMMs and HSMMs in a Markov and a semi-Markov framework is given in order to highlight possible differences in their stochastic behavior partially governed by their transition probability matrices. Basic results are presented in the general case where specific distributions are assumed for sojourn times as well as in the special case concerning the models applied in the previous chapters, where the sojourn time distributions are estimated non-parametrically. The impact of the differences is observed through the calculation of the mean value and the variance of the number of steps that the Markov chain (HMM case) and the EMC (HSMM case) need to make for visiting for the first time a particular state. Finally, Chapter 7 presents concluding remarks, perspectives and future work.

Dans le premier chapitre, la notion d'évaluation des risques sismiques est définie et les caractéristiques sismotectoniques de la région d'étude sont brièvement présentés. Un examen rigoureux des modèles stochastiques, appliqués au domaine de la sismologie est fourni. Dans le chapitre 2, différents modèles semi-Markoviens sont développés pour étudier la sismicité des îles Ioniennes centrales ainsi que le Nord de la mer Egée (Grèce). Les quantités telles que le noyau semi-Markovien et les probabilités de destination sont évaluées, en considérant que les temps de séjour suivent les distributions géométrique, discrète Weibull et Pareto. Des résultats utiles sont obtenus pour l'estimation de la sismicité. Dans le troisième chapitre un nouvel algorithme de Viterbi pour les modèles semi-Markoviens cachés est construit, dont la complexité est une fonction linéaire du nombre d'observations et une fonction quadratique du nombre d'états cachés, la plus basse existante dans la littérature. Une extension de ce nouvel algorithme est développée pour le cas où une observation dépend de l'état caché correspondant, mais aussi de l'observation précédente (cas SM1-M1). Dans le chapitre 4 les modèles semi-Markoviens cachés sont appliquées pour étudier la sismicité du Nord et du Sud de la mer Égée. La séquence d'observation est constituée des magnitudes et des positions d’un tremblement de terre et le nouvel algorithme de Viterbi est mis en œuvre afin de décoder les niveaux des tensions cachés qui sont responsables pour la sismogenèse. Les phases précurseurs (variations des tensions cachées) ont été détectées en avertissant qu’un tremblement de terre pourrait se produire. Ce résultat est vérifié pour 70 sur 88 cas (le score optimal). Les temps de séjour du processus caché étaient supposés suivre les distributions Poisson, logarithmique ou binomiale négative, tandis que les niveaux de tensions cachés ont été classés en 2, 3 ou 4 états. Les modèles de Markov caché ont également été adaptés sans présenter des résultats intéressants concernant les phases précurseurs. Dans le chapitre 5 un algorithme de Viterbi généralisé pour les modèles semi-Markoviens cachés, est construit dans le sens que les transitions au même état caché sont autorisées et peuvent également être décodées. De plus, une extension de cet algorithme généralisé dans le contexte SM1-M1 est présentée. Dans le chapitre 6 nous modifions de manière convenable le modèle Cramér-Lundberg y compris des sinistres négatifs et positifs, afin de décrire l'évolution avec le temps des changements de contraintes de Coulomb (valeurs ΔCFF) calculées pour sept épicentres (M ≥ 6) du Nord de la mer Egée. Formules pour les probabilités de ruine sont définies sous une forme générale. Corollaires sont également formulés pour la distribution exponentielle et Pareto. L'objectif est de mettre en lumière la question suivante qui pose la problématique dans la Sismologie: Au cours d'une année pourquoi un tremblement de terre s’est produit dans une position précise et pas dans une autre position, aux régions sismotectoniquement homogènes ayant valeurs ΔCFF positives. Les résultats montrent que les nouvelles formules de probabilité peuvent contribuer à répondre au problème susmentionné. / In the first chapter the definition of the seismic hazard assessment is provided, the seismotectonic features of the study areas are briefly presented and the already existing mathematical models applied in the field of Seismology are thoroughly reviewed. In chapter 2, different semi-Markov models are developed for studying the seismicity of the areas of the central Ionian Islands and the North Aegean Sea (Greece). Quantities such as the kernel and the destination probabilities are evaluated, considering geometric, discrete-Weibull and Pareto distributed sojourn times. Useful results are obtained for forecasting purposes. In the third chapter a new Viterbi algorithm for hidden semi-Markov models is developed, whose complexity is a linear function of the number of observations and a quadratic function of the number of hidden states, the lowest existing in the literature. Furthermore, an extension of this new algorithm is introduced for the case that an observation depends on the corresponding hidden state but also on the previous observation (SM1-M1 case). In chapter 4, different hidden semi-Markov models (HSMMs) are applied for the study of the North and South Aegean Sea. The earthquake magnitudes and locations comprise the observation sequence and the new Viterbi algorithm is implemented in order to decode the hidden stress field associated with seismogenesis. Precursory phases (variations of the hidden stress field) were detected warning for an anticipated earthquake occurrence for 70 out of 88 cases (the optimal model’s score). The sojourn times of the hidden process were assumed to follow Poisson, logarithmic or negative binomial distributions, whereas the hidden stress levels were classified into 2, 3 or 4 states. HMMs were also adapted without presenting significant results as for the precursory phases. In chapter 5 a generalized Viterbi algorithm for HSMMs is constructed in the sense that now transitions to the same hidden state are allowed and can also be decoded. Furthermore, an extension of this generalized algorithm in the SM1-M1 context is given. In chapter 6 we modify adequately the Cramér-Lundberg model considering negative and positive claims, in order to describe the evolution in time of the Coulomb failure function changes (ΔCFF values) computed at the locations of seven strong (M ≥ 6) earthquakes of the North Aegean Sea. Ruin probability formulas are derived and proved in a general form. Corollaries are also formulated for the exponential and the Pareto distribution. The aim is to shed light to the following problem posed by the seismologists: During a specific year why did an earthquake occur at a specific location and not at another location in seismotectonically homogeneous areas with positive ΔCFF values (stress enhanced areas). The results demonstrate that the new probability formulas can contribute in answering the aforementioned question.

The document is my habilitation thesis, which is a prerequisite for obtaining the "habilitation à diriger des recherche (HDR)" in France (https://fr.wikipedia.org/wiki/Habilitation_universitaire#En_France). The thesis is of cumulative form, thus providing an overview of my published works until summer 2013.

Cette thèse porte sur l'alignement automatique d'un enregistrement audio avec la partition de musique correspondante. Nous adoptons une approche probabiliste et proposons une démarche théorique pour la modélisation algorithmique de ce problème d'alignement automatique. La question est de modéliser l'évolution temporelle des événements par des processus stochastiques. Notre démarche part d'une spécificité de l'alignement musical : une partition attribue à chaque événement une durée nominale, qui est une information a priori sur la durée probable d'occurrence de l'événement. La problématique qui nous occupe est celle de la modélisation probabiliste de cette information de durée. Nous définissons la notion de cohérence temporelle à travers plusieurs critères de cohérence que devrait respecter tout algorithme d'alignement musical. Ensuite, nous menons une démarche axiomatique autour du cas des modèles de semi-Markov cachés. Nous démontrons que ces critères sont respectés lorsque des conditions mathématiques particulières sont vérifiées par les lois a priori du modèle probabiliste de la partition. Ces conditions proviennent de deux domaines mathématiques jusqu'ici étrangers à la question de l'alignement : les processus de Lévy et la totale positivité d'ordre deux. De nouveaux résultats théoriques sont démontrés sur l'interrelation entre ces deux notions. En outre, les bienfaits pratiques de ces résultats théoriques sont démontrés expérimentalement sur des algorithmes d'alignement en temps réel. / This thesis deals with automatic alignment of audio recordings with corresponding music scores. We study algorithmic solutions for this problem in the framework of probabilistic models which represent hidden evolution on the music score as stochastic process. We begin this work by investigating theoretical foundations of the design of such models. To do so, we undertake an axiomatic approach which is based on an application peculiarity: music scores provide nominal duration for each event, which is a hint for the actual and unknown duration. Thus, modeling this specific temporal structure through stochastic processes is our main problematic. We define temporal coherency as compliance with such prior information and refine this abstract notion by stating two criteria of coherency. Focusing on hidden semi-Markov models, we demonstrate that coherency is guaranteed by specific mathematical conditions on the probabilistic design and that fulfilling these prescriptions significantly improves precision of alignment algorithms. Such conditions are derived by combining two fields of mathematics, Lévy processes and total positivity of order 2. This is why the second part of this work is a theoretical investigation which extends existing results in the related literature.

Ce travail propose une contribution originale à la compréhension du comportement spatial des pêcheurs, basée sur les paradigmes de l'écologie comportementale et de l'écologie du mouvement. En s'appuyant sur des données du 'Vessel Monitoring System', nous étudions le comportement des pêcheurs d'anchois du Pérou à des échelles différentes: (1) les modes comportementaux au sein des voyages de pêche (i.e. recherche, pêche et trajet), (2) les patrons comportementaux parmi les voyages de pêche, (3) les patrons comportementaux par saison de pêche conditionnés par des scénarios écosystémiques et (4) les patrons spatiaux des positions de modes comportementaux, que nous utilisons pour la création de cartes de probabilité de présence d'anchois. Pour la première échelle, nous comparons plusieurs modèles Markoviens (modèles de Markov et semi-Markov cachés) et discriminatifs (forêts aléatoires, machines à vecteurs de support et réseaux de neurones artificiels) pour inférer les modes comportementaux associés aux trajectoires VMS. L'utilisation d'un ensemble de données pour lesquelles les modes comportementaux sont connus (grâce aux données collectées par des observateurs embarqués), nous permet d'entraîner les modèles dans un cadre supervisé et de les valider. Les modèles de semi-Markov cachés sont les plus performants, et sont retenus pour inférer les modes comportementaux sur l'ensemble de données VMS. Pour la deuxième échelle, nous caractérisons chaque voyage de pêche par plusieurs descripteurs, y compris le temps passé dans chaque mode comportemental. En utilisant une analyse de classification hiérarchique, les patrons des voyages de pêche sont classés en groupes associés à des zones de gestion, aux segments de la flottille et aux personnalités des capitaines. Pour la troisième échelle, nous analysons comment les conditions écologiques donnent forme au comportement des pêcheurs à l'échelle d'une saison de pêche. Via des analyses de co-inertie, nous trouvons des associations significatives entre les dynamiques spatiales des pêcheurs, des anchois et de l'environnement, et nous caractérisons la réponse comportementale des pêcheurs selon des scénarios environnementaux contrastés. Pour la quatrième échelle, nous étudions si le comportement spatial des pêcheurs reflète dans une certaine mesure la répartition spatiale de l'anchois. Nous construisons un indicateur de la présence d'anchois à l'aide des modes comportementaux géo-référencés inférés à partir des données VMS. Ce travail propose enfin une vision plus large du comportement de pêcheurs: les pêcheurs ne sont pas seulement des agents économiques, ils sont aussi des fourrageurs, conditionnés par la variabilité dans l'écosystème. Pour conclure, nous discutons de la façon dont ces résultats peuvent avoir de l'importance pour la gestion de la pêche, des analyses de comportement collectif et des modèles end-to-end. / This work proposes an original contribution to the understanding of fishermen spatial behavior, based on the behavioral ecology and movement ecology paradigms. Through the analysis of Vessel Monitoring System (VMS) data, we characterized the spatial behavior of Peruvian anchovy fishermen at different scales: (1) the behavioral modes within fishing trips (i.e., searching, fishing and cruising); (2) the behavioral patterns among fishing trips; (3) the behavioral patterns by fishing season conditioned by ecosystem scenarios; and (4) the computation of maps of anchovy presence proxy from the spatial patterns of behavioral mode positions. At the first scale considered, we compared several Markovian (hidden Markov and semi-Markov models) and discriminative models (random forests, support vector machines and artificial neural networks) for inferring the behavioral modes associated with VMS tracks. The models were trained under a supervised setting and validated using tracks for which behavioral modes were known (from on-board observers records). Hidden semi-Markov models performed better, and were retained for inferring the behavioral modes on the entire VMS dataset. At the second scale considered, each fishing trip was characterized by several features, including the time spent within each behavioral mode. Using a clustering analysis, fishing trip patterns were classified into groups associated to management zones, fleet segments and skippers' personalities. At the third scale considered, we analyzed how ecological conditions shaped fishermen behavior. By means of co-inertia analyses, we found significant associations between fishermen, anchovy and environmental spatial dynamics, and fishermen behavioral responses were characterized according to contrasted environmental scenarios. At the fourth scale considered, we investigated whether the spatial behavior of fishermen reflected to some extent the spatial distribution of anchovy. Finally, this work provides a wider view of fishermen behavior: fishermen are not only economic agents, but they are also foragers, constrained by ecosystem variability. To conclude, we discuss how these findings may be of importance for fisheries management, collective behavior analyses and end-to-end models.

Esta tesis reune algunas contribuciones al reconocimiento de formas estadístico y, más especícamente, a varias tareas del procesamiento del lenguaje natural. Varias técnicas estadísticas bien conocidas se revisan en esta tesis, a saber: estimación paramétrica, diseño de la función de pérdida y modelado estadístico. Estas técnicas se aplican a varias tareas del procesamiento del lenguajes natural tales como clasicación de documentos, modelado del lenguaje natural y traducción automática estadística. En relación con la estimación paramétrica, abordamos el problema del suavizado proponiendo una nueva técnica de estimación por máxima verosimilitud con dominio restringido (CDMLEa ). La técnica CDMLE evita la necesidad de la etapa de suavizado que propicia la pérdida de las propiedades del estimador máximo verosímil. Esta técnica se aplica a clasicación de documentos mediante el clasificador Naive Bayes. Más tarde, la técnica CDMLE se extiende a la estimación por máxima verosimilitud por leaving-one-out aplicandola al suavizado de modelos de lenguaje. Los resultados obtenidos en varias tareas de modelado del lenguaje natural, muestran una mejora en términos de perplejidad. En a la función de pérdida, se estudia cuidadosamente el diseño de funciones de pérdida diferentes a la 0-1. El estudio se centra en aquellas funciones de pérdida que reteniendo una complejidad de decodificación similar a la función 0-1, proporcionan una mayor flexibilidad. Analizamos y presentamos varias funciones de pérdida en varias tareas de traducción automática y con varios modelos de traducción. También, analizamos algunas reglas de traducción que destacan por causas prácticas tales como la regla de traducción directa; y, así mismo, profundizamos en la comprensión de los modelos log-lineares, que son de hecho, casos particulares de funciones de pérdida. Finalmente, se proponen varios modelos de traducción monótonos basados en técnicas de modelado estadístico . / Andrés Ferrer, J. (2010). Statistical approaches for natural language modelling and monotone statistical machine translation [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/7109