[EN] This work is focused on problems (like automatic speech recognition (ASR) and handwritten text recognition (HTR)) that: 1) can be represented (at least approximately) in terms of one-dimensional sequences, and 2) solving these problems entails breaking the observed sequence down into segments which are associated to units taken from a finite repertoire. The required segmentation and classification tasks are so intrinsically interrelated ("Sayre's Paradox") that they have to be performed jointly. We have been inspired by what some works call the "successful trilogy", which refers to the synergistic improvements obtained when considering: - a good formalization framework and powerful algorithms; - a clever design and implementation taking the best profit of hardware; - an adequate preprocessing and a careful tuning of all heuristics. We describe and study "two stage generative models" (TSGMs) comprising two stacked probabilistic generative stages without reordering. This model not only includes Hidden Markov Models (HMMs, but also "segmental models" (SMs). "Two stage decoders" may be deduced by simply running a TSGM in reversed way, introducing non determinism when required: 1) A directed acyclic graph (DAG) is generated and 2) it is used together with a language model (LM). One-pass decoders constitute a particular case. A formalization of parsing and decoding in terms of semiring values and language equations proposes the use of recurrent transition networks (RTNs) as a normal form for Context Free Grammars (CFGs), using them in a parsing-as-composition paradigm, so that parsing CFGs result in a slight extension of regular ones. Novel transducer composition algorithms have been proposed that can work with RTNs and can deal with null transitions without resorting to filter-composition even in the presence of null transitions and non-idempotent semirings. A review of LMs is described and some contributions mainly focused on LM interfaces, LM representation and on the evaluation of Neural Network LMs (NNLMs) are provided. A review of SMs includes the combination of generative and discriminative segmental models and general scheme of frame emission and another one of SMs. Some fast cache-friendly specialized Viterbi lexicon decoders taking profit of particular HMM topologies are proposed. They are able to manage sets of active states without requiring dictionary look-ups (e.g. hashing). A dataflow architecture allowing the design of flexible and diverse recognition systems from a little repertoire of components has been proposed, including a novel DAG serialization protocol. DAG generators can take over-segmentation constraints into account, make use SMs other than HMMs, take profit of the specialized decoders proposed in this work and use a transducer model to control its behavior making it possible, for instance, to use context dependent units. Relating DAG decoders, they take profit of a general LM interface that can be extended to deal with RTNs. Some improvements for one pass decoders are proposed by combining the specialized lexicon decoders and the "bunch" extension of the LM interface, including an adequate parallelization. The experimental part is mainly focused on HTR tasks on different input modalities (offline, bimodal). We have proposed some novel preprocessing techniques for offline HTR which replace classical geometrical heuristics and make use of automatic learning techniques (neural networks). Experiments conducted on the IAM database using this new preprocessing and HMM hybridized with Multilayer Perceptrons (MLPs) have obtained some of the best results reported for this reference database. Among other HTR experiments described in this work, we have used over-segmentation information, tried lexicon free approaches, performed bimodal experiments and experimented with the combination of hybrid HMMs with holistic classifiers. / [ES] Este trabajo se centra en problemas (como reconocimiento automático del habla (ASR) o de escritura manuscrita (HTR)) que cumplen: 1) pueden representarse (quizás aproximadamente) en términos de secuencias unidimensionales, 2) su resolución implica descomponer la secuencia en segmentos que se pueden clasificar en un conjunto finito de unidades. Las tareas de segmentación y de clasificación necesarias están tan intrínsecamente interrelacionadas ("paradoja de Sayre") que deben realizarse conjuntamente. Nos hemos inspirado en lo que algunos autores denominan "La trilogía exitosa", refereido a la sinergia obtenida cuando se tiene: - un buen formalismo, que dé lugar a buenos algoritmos; - un diseño e implementación ingeniosos y eficientes, que saquen provecho de las características del hardware; - no descuidar el "saber hacer" de la tarea, un buen preproceso y el ajuste adecuado de los diversos parámetros. Describimos y estudiamos "modelos generativos en dos etapas" sin reordenamientos (TSGMs), que incluyen no sólo los modelos ocultos de Markov (HMM), sino también modelos segmentales (SMs). Se puede obtener un decodificador de "dos pasos" considerando a la inversa un TSGM introduciendo no determinismo: 1) se genera un grafo acíclico dirigido (DAG) y 2) se utiliza conjuntamente con un modelo de lenguaje (LM). El decodificador de "un paso" es un caso particular. Se formaliza el proceso de decodificación con ecuaciones de lenguajes y semianillos, se propone el uso de redes de transición recurrente (RTNs) como forma normal de gramáticas de contexto libre (CFGs) y se utiliza el paradigma de análisis por composición de manera que el análisis de CFGs resulta una extensión del análisis de FSA. Se proponen algoritmos de composición de transductores que permite el uso de RTNs y que no necesita recurrir a composición de filtros incluso en presencia de transiciones nulas y semianillos no idempotentes. Se propone una extensa revisión de LMs y algunas contribuciones relacionadas con su interfaz, con su representación y con la evaluación de LMs basados en redes neuronales (NNLMs). Se ha realizado una revisión de SMs que incluye SMs basados en combinación de modelos generativos y discriminativos, así como un esquema general de tipos de emisión de tramas y de SMs. Se proponen versiones especializadas del algoritmo de Viterbi para modelos de léxico y que manipulan estados activos sin recurrir a estructuras de tipo diccionario, sacando provecho de la caché. Se ha propuesto una arquitectura "dataflow" para obtener reconocedores a partir de un pequeño conjunto de piezas básicas con un protocolo de serialización de DAGs. Describimos generadores de DAGs que pueden tener en cuenta restricciones sobre la segmentación, utilizar modelos segmentales no limitados a HMMs, hacer uso de los decodificadores especializados propuestos en este trabajo y utilizar un transductor de control que permite el uso de unidades dependientes del contexto. Los decodificadores de DAGs hacen uso de un interfaz bastante general de LMs que ha sido extendido para permitir el uso de RTNs. Se proponen también mejoras para reconocedores "un paso" basados en algoritmos especializados para léxicos y en la interfaz de LMs en modo "bunch", así como su paralelización. La parte experimental está centrada en HTR en diversas modalidades de adquisición (offline, bimodal). Hemos propuesto técnicas novedosas para el preproceso de escritura que evita el uso de heurísticos geométricos. En su lugar, utiliza redes neuronales. Se ha probado con HMMs hibridados con redes neuronales consiguiendo, para la base de datos IAM, algunos de los mejores resultados publicados. También podemos mencionar el uso de información de sobre-segmentación, aproximaciones sin restricción de un léxico, experimentos con datos bimodales o la combinación de HMMs híbridos con reconocedores de tipo holístico. / [CA] Aquest treball es centra en problemes (com el reconeiximent automàtic de la parla (ASR) o de l'escriptura manuscrita (HTR)) on: 1) les dades es poden representar (almenys aproximadament) mitjançant seqüències unidimensionals, 2) cal descompondre la seqüència en segments que poden pertanyer a un nombre finit de tipus. Sovint, ambdues tasques es relacionen de manera tan estreta que resulta impossible separar-les ("paradoxa de Sayre") i s'han de realitzar de manera conjunta. Ens hem inspirat pel que alguns autors anomenen "trilogia exitosa", referit a la sinèrgia obtinguda quan prenim en compte: - un bon formalisme, que done lloc a bons algorismes; - un diseny i una implementació eficients, amb ingeni, que facen bon us de les particularitats del maquinari; - no perdre de vista el "saber fer", emprar un preprocés adequat i fer bon us dels diversos paràmetres. Descrivim i estudiem "models generatiu amb dues etapes" sense reordenaments (TSGMs), que inclouen no sols inclouen els models ocults de Markov (HMM), sinò també models segmentals (SM). Es pot obtindre un decodificador "en dues etapes" considerant a l'inrevés un TSGM introduint no determinisme: 1) es genera un graf acíclic dirigit (DAG) que 2) és emprat conjuntament amb un model de llenguatge (LM). El decodificador "d'un pas" en és un cas particular. Descrivim i formalitzem del procés de decodificació basada en equacions de llenguatges i en semianells. Proposem emprar xarxes de transició recurrent (RTNs) com forma normal de gramàtiques incontextuals (CFGs) i s'empra el paradigma d'anàlisi sintàctic mitjançant composició de manera que l'anàlisi de CFGs resulta una lleugera extensió de l'anàlisi de FSA. Es proposen algorismes de composició de transductors que poden emprar RTNs i que no necessiten recorrer a la composició amb filtres fins i tot amb transicions nul.les i semianells no idempotents. Es proposa una extensa revisió de LMs i algunes contribucions relacionades amb la seva interfície, amb la seva representació i amb l'avaluació de LMs basats en xarxes neuronals (NNLMs). S'ha realitzat una revisió de SMs que inclou SMs basats en la combinació de models generatius i discriminatius, així com un esquema general de tipus d'emissió de trames i altre de SMs. Es proposen versions especialitzades de l'algorisme de Viterbi per a models de lèxic que permeten emprar estats actius sense haver de recórrer a estructures de dades de tipus diccionari, i que trauen profit de la caché. S'ha proposat una arquitectura de flux de dades o "dataflow" per obtindre diversos reconeixedors a partir d'un xicotet conjunt de peces amb un protocol de serialització de DAGs. Descrivim generadors de DAGs capaços de tindre en compte restriccions sobre la segmentació, emprar models segmentals no limitats a HMMs, fer us dels decodificadors especialitzats proposats en aquest treball i emprar un transductor de control que permet emprar unitats dependents del contexte. Els decodificadors de DAGs fan us d'una interfície de LMs prou general que ha segut extesa per permetre l'ús de RTNs. Es proposen millores per a reconeixedors de tipus "un pas" basats en els algorismes especialitzats per a lèxics i en la interfície de LMs en mode "bunch", així com la seua paral.lelització. La part experimental està centrada en el reconeiximent d'escriptura en diverses modalitats d'adquisició (offline, bimodal). Proposem un preprocés d'escriptura manuscrita evitant l'us d'heurístics geomètrics, en el seu lloc emprem xarxes neuronals. S'han emprat HMMs hibridats amb xarxes neuronals aconseguint, per a la base de dades IAM, alguns dels millors resultats publicats. També podem mencionar l'ús d'informació de sobre-segmentació, aproximacions sense restricció a un lèxic, experiments amb dades bimodals o la combinació de HMMs híbrids amb classificadors holístics. / España Boquera, S. (2016). Contributions to the joint segmentation and classification of sequences (My two cents on decoding and handwriting recognition) [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/62215 / TESIS / Premios Extraordinarios de tesis doctorales

Tato práce představuje nové metody pro verifikaci programů pracujících s neomezenými celočíslenými proměnnými, konkrétně metody pro analýzu dosažitelnosti a~konečnosti. Většina těchto metod je založena na akceleračních technikách, které počítají tranzitivní uzávěry cyklů programu. V práci je nejprve představen algoritmus pro akceleraci několika tříd celočíselných relací. Tento algoritmus je až o čtyři řády rychlejší než existující techniky. Z teoretického hlediska práce dokazuje, že uvažované třídy relací jsou periodické a~poskytuje tudíž jednotné řešení prolému akcelerace. Práce dále představuje semi-algoritmus pro analýzu dosažitelnosti celočíselných programů, který sleduje relace mezi proměnnými programu a~aplikuje akcelerační techniky za účelem modulárního výpočtu souhrnů procedur. Dále je v práci navržen alternativní algoritmus pro analýzu dosažitelnosti, který integruje predikátovou abstrakci s accelerací s cílem zvýšit pravděpodobnost konvergence výpočtu. Provedené experimenty ukazují, že oba algoritmy lze úspěšně aplikovat k verifikaci programů, na kterých předchozí metody selhávaly. Práce se rovněž zabývá problémem konečnosti běhu programů a~dokazuje, že tento problém je rozhodnutelný pro několik tříd celočíselných relací. Pro některé z těchto tříd relací je v práci navržen algoritmus, který v polynomiálním čase vypočítá množinu všech konfigurací programu, z nichž existuje nekonečný běh. Tento algoritmus je integrován do metody, která analyzuje konečnost běhů celočíselných programů. Efektivnost této metody je demonstrována na několika netriviálních celočíselných programech.

Goal of this master thesis is to study harmonization based on knowledge of given melody and to design a system which will meaningfully automate this activity. In the work there is covered basics of music theory needed for this topic and previous other approaches to this problematic. There is also covered machine learning, neural networks and recurrent neural networks. In the end, there is outlined design of the system, how to make it work and how to use it. Four experiments were executed with the system. Harmonization of the short melodies were unpleasant. Harmonization of longer melodies were overall more successful though. A possible cause might be relatively small used neural network of the system.

Diese Arbeit ist ein erster Versuch, mit Modellbildung und mathematischer Analyse die Experimente zu verstehen, die zeigten, dass die Stimulation eines einzelnen Neurons im Cortex eine Verhaltensreaktion auslösen kann. Dieser Befund stellt die verbreitete Ansicht infrage, dass viele Neurone nötig sind, um Information zuverlässig kodieren zu können. Der Ausgangspunkt der vorliegenden Untersuchung ist die Stimulation einer zufällig ausgewählten Zelle in einem Zufallsnetzwerk exzitatorischer und inhibitorischer Neuronmodelle. Es wird dann nach einem plausiblen Ausleseverfahren gesucht, das die Einzelzellstimulation mit einer mit den Experimenten vergleichbaren Zuverlässigkeit detektieren kann. Das erste Ausleseschema reagiert auf Abweichungen vom spontanen Zustand in der Aktivität einer Auslesepopulation. Die Stimulation wird detektiert, wenn bei der Auswahl der Auslesepopulation denjenigen Neuronen ein Vorzug gegeben wird, die eine direkte Verbindung von der stimulierten Zelle bekommen. Im zweiten Teil der Arbeit wird das Ausleseschema erweitert, indem ein zweites Netzwerk als Ausleseschaltkreis dient. Interessanterweise erweist sich dieses Ausleseschema nicht nur als plausibler, sondern auch als effektiver. Diese Resultate basieren sowohl auf Simulationen als auch auf analytischen Rechnungen. Weitere Experimente zeigten, dass eine konstante Strominjektion einen Effekt auslöst, der kaum von Dauer und Intensität der Stimulation abhängt, der aber bei unregelmäßiger Stimulation zunimmt. Der letzte Teil der Arbeit befasst sich mit einer theoretischen Erklärung für diese Ergebnisse. Hierzu werden die biologischen Eigenschaften des Systems im Modell detaillierter beschrieben. Weiterhin wird die Funktionsweise des Ausleseschemas so modifiziert, dass es auf Veränderungen reagiert, anstatt den Input zu integrieren. Dieser Differenzierdetektor liefert Ergebnisse, die mit den Experimenten übereinstimmen, und könnte bei nichtstationärem Input vorteilhaft sein. / This thesis is a first attempt at developing a theoretical model of the experiments which show that the stimulation of a single cell in the cortex can trigger a behavioral reaction and that challenge the common belief that many neurons are needed to reliably encode information. As a starting point of the present work, one neuron selected at random within a random network of excitatory and inhibitory integrate-and-fire neurons is stimulated. One important goal of this thesis is to seek a readout scheme that can detect the single-cell stimulation in a plausible way with a reliability compatible with the experiments. The first readout scheme reacts to deviations from the spontaneous state in the activity of a readout population. When the choice of readout neurons is sufficiently biased towards those receiving direct links from the stimulated cell, the stimulation can be detected. In the second part of the thesis, the readout scheme is extended by employing a second network as a readout circuit. Interestingly, this new readout scheme is not only more plausible, but also more effective. These results are based both on numerical simulations of the network and on analytical approximations. Further experiments showed that the probability of the behavioral reaction is substantially independent of the length and intensity of the stimulation, but it increases when an irregular current is used. The last part of this thesis seeks a theoretical explanation for these findings. To this end, a recurrent network including more biological details of the system is considered. Furthermore, the functioning principle of the readout is modified to react to changes in the activity of the local network (a differentiator readout), instead of integrating the input. This differentiator readout yields results in accordance with the experiments and could be advantageous in the presence of nonstationarities.

A Bicycle-sharing system (BSS) is a popular service scheme deployed in cities of different sizes around the world. Although docked bike systems are its most popular model used, it still experiences a number of weaknesses that could be optimized by investigating bike sharing network properties and evolution of obtained patterns.Efficiently keeping bicycle-sharing system as balanced as possible is the main problem and thus, predicting or minimizing the manual transportation of bikes across the city is the prime objective in order to save logistic costs for operating companies.The purpose of this thesis is two-fold; Firstly, it is to visualize bike flow using data exploration methods and statistical analysis to better understand mobility characteristics with respect to distance, duration, time of the day, spatial distribution, weather circumstances, and other attributes. Secondly, by obtaining flow visualizations, it is possible to focus on specific directed sub-graphs containing only those pairs of stations whose mutual flow difference is the most asymmetric. By doing so, we are able to use graph mining and machine learning techniques on these unbalanced stations.Identification of spatial structures and their structural change can be captured using Convolutional neural network (CNN) that takes adjacency matrix snapshots of unbalanced sub-graphs. A generated structure from the previous method is then used in the Long short-term memory artificial recurrent neural network (RNN LSTM) in order to find and predict its dynamic patterns.As a result, we are predicting bike flows for each node in the possible future sub-graph configuration, which in turn informs bicycle-sharing system owners in advance to plan accordingly. This combination of methods notifies them which prospective areas they should focus on more and how many bike relocation phases are to be expected. Methods are evaluated using Cross validation (CV), Root mean square error (RMSE) and Mean average error (MAE) metrics. Benefits are identified both for urban city planning and for bike sharing companies by saving time and minimizing their cost. / Lånecykel avser ett system för uthyrning eller utlåning av cyklar. Systemet används främst i större städer och bekostas huvudsakligen genom tecknande av ett abonnemang.Effektivt hålla cykel andelssystem som balanseras som möjligt huvud problemand därmed förutsäga eller minimera manuell transport av cyklar över staden isthe främsta mål för att spara logistikkostnaderna för drift companies.Syftet med denna avhandling är tvåfaldigt.För det första är det att visualisera cykelflödet med hjälp av datautforskningsmetoder och statistisk analys för att bättre förstå rörlighetskarakteristika med avseende på avstånd, varaktighet, tid på dagen, rumsfördelning, väderförhållanden och andra attribut.För det andra är det vid möjliga flödesvisualiseringar möjligt att fokusera på specifika riktade grafer som endast innehåller de par eller stationer vars ömsesidiga flödesskillnad är den mest asymmetriska.Genom att göra det kan vi anvnda grafmining och maskininlärningsteknik på dessa obalanserade stationer, och använda konjunktionsnurala nätverk (CNN) som tar adjacency matrix snapshots eller obalanserade subgrafer.En genererad struktur från den tidigare metoden används i det långa kortvariga minnet artificiella återkommande neurala nätverket (RNN LSTM) för att hitta och förutsäga dess dynamiska mönster.Som ett resultat förutsäger vi cykelflden för varje nod i den eventuella framtida underkonfigurationen, vilket i sin tur informerar cykeldelningsägare om att planera i enlighet med detta.Denna kombination av metoder meddelar dem vilka framtida områden som bör inriktas på mer och hur många cykelflyttningsfaser som kan förväntas.Metoder utvärderas med hjälp av cross validation (CV), Root mean square error (RMSE) och Mean average error (MAE) metrics.Fördelar identifieras både för stadsplanering och för cykeldelningsföretag genom att spara tid och minimera kostnaderna.

Tesis por compendio / [ES] Durante las últimas décadas el uso del aprendizaje automático (machine learning) y de la inteligencia artificial ha mostrado un crecimiento exponencial en muchas áreas de la ciencia. El hecho de que los ordenadores hayan aumentado sus restaciones a la vez que han reducido su precio, junto con la disponibilidad de entornos de desarrollo de código abierto han permitido el acceso a la inteligencia artificial a un gran rango de investigadores, democratizando de esta forma el acceso a métodos de inteligencia artificial a la comunidad investigadora. Es nuestra creencia que la multidisciplinaridad es clave para nuevos logros, con equipos compuestos de investigadores con diferentes preparaciones y de diferentes campos de especialización. Con este ánimo, hemos orientado esta tesis en el uso de machine learning inteligencia artificial, aprendizaje profundo o deep learning, entendiendo todas las anteriores como parte de un concepto global que concretamos en el término inteligencia artificial, a intentar arrojar luz a algunos problemas de los campos de las matemáticas y la física. Desarrollamos una arquitectura deep learning y la medimos con éxito en la caracterización de procesos de difusión anómala. Mientras que previamente se habían utilizado métodos estadísticos clásicos con este objetivo, los métodos de deep learning han demostrado mejorar las prestaciones de dichos métodos clásicos. Nuestra architectura demostró que puede inferir con precisión el exponente de difusión anómala y clasificar trayectorias entre un conjunto dado de modelos subyacentes de difusión . Mientras que las redes neuronales recurrentes irrumpieron recientemente, los modelos basados en redes convolucionales han sido ámpliamente testados en el campo del procesamiento de imagen durante más de 15 años. Existen muchos modelos y arquitecturas, pre-entrenados y listos para ser usados por la comunidad. No es necesario realizar investigación ya que dichos modelos han probado su valía durante años y están bien documentados en la literatura. Nuestro objetivo era ser capaces de usar esos modelos bien conocidos y fiables, con trayectorias de difusión anómala. Solo necesitábamos convertir una serie temporal en una imagen, cosa que hicimos aplicando gramian angular fields a las trayectorias, poniendo el foco en las trayectorias cortas. Hasta donde sabemos, ésta es la primera vez que dichas técnicas son usadas en este campo. Mostramos cómo esta aproximación mejora las prestaciones de cualquier otra propuesta en la clasificación del modelo subyacente de difusión anómala para trayectorias cortas. Más allá de la física están las matemáticas. Utilizamos nuestra arquitectura basada en redes recurrentes neuronales para inferir los parámetros que definen las trayectorias de Wu Baleanu. Mostramos que nuestra propuesta puede inferir con azonable precisión los parámetros mu y nu. Siendo la primera vez, de nuevo hasta donde llega nuestro conocimiento, que tales técnicas se aplican en este escenario. Extendemos este trabajo a las ecuaciones fraccionales discretas con retardo, obteniendo resultados similares en términos de precisión. Adicionalmente, mostramos que la misma arquitectura se puede usar para discriminar entre trayectorias con y sin retardo con gran confianza. Finalmente, también investigamos modelos fraccionales discretos. Hemos analizado esquemas de paso temporal con la cuadratura de Lubich en lugar del clásico esquema de orden 1 de Euler. En el primer estudio de este nuevo paradigma hemos comparado los diagramas de bifurcación de los mapas logístico y del seno, obtenidos de la discretización de Euler de orden 1, 2 y 1/2. / [CAT] Durant les darreres dècades l'ús de l'aprenentatge automàtic (machine learning) i de la intel.ligència artificial ha mostrat un creixement exponencial en moltes àrees de la ciència. El fet que els ordinadors hagen augmentat les seues prestacions a la vegada que han reduït el seu preu, junt amb la disponibilitat d'entorns de desenvolupament de codi obert han permès l'accés a la intel.ligència artificial a un gran rang d'investigadors, democratitzant així l'accés a mètodes d'intel.ligència artificial a la comunitat investigadora. És la nostra creença que la multidisciplinaritat és clau per a nous èxits, amb equips compostos d'investigadors amb diferents preparacions i diferents camps d'especialització. Amb aquest ànim, hem orientat aquesta tesi en l'ús d'intel.ligència artificial machine learning, aprenentatge profund o deep learning, entenent totes les anteriors com a part d'un concepte global que concretem en el terme intel.ligència, a intentar donar llum a alguns problemes dels camps de les matemàtiques i la física. Desenvolupem una arquitectura deep learning i la mesurem amb èxit en la caracterització de processos de difusió anòmala. Mentre que prèviament s'havien utilitzat mètodes estadístics clàssics amb aquest objectiu, els mètodes de deep learning han demostrat millorar les prestacions d'aquests mètodes clàssics. La nostra architectura va demostrar que pot inferir amb precisió l'exponent de difusió anòmala i classificar trajectòries entre un conjunt donat de models subjacents de difusió. Mentre que les xarxes neuronals recurrents van irrompre recentment, els models basats en xarxes convolucionals han estat àmpliament testats al camp del processament d'imatge durant més de 15 anys. Hi ha molts models i arquitectures, pre-entrenats i llestos per ser usats per la comunitat. No cal fer recerca ja que aquests models han provat la seva vàlua durant anys i estan ben documentats a la literatura. El nostre objectiu era ser capaços de fer servir aquests models ben coneguts i fiables, amb trajectòries de difusió anòmala. Només necessitàvem convertir una sèrie temporal en una imatge, cosa que vam fer aplicant gramian angular fields a les trajectòries, posant el focus a les trajectòries curtes. Fins on sabem, aquesta és la primera vegada que aquestes tècniques són usades en aquest camp. Mostrem com aquesta aproximació millora les prestacions de qualsevol altra proposta a la classificació del model subjacent de difusió anòmala per a trajectòries curtes. Més enllà de la física hi ha les matemàtiques. Utilitzem la nostra arquitectura basada en xarxes recurrents neuronals per inferir els paràmetres que defineixen les trajectòries de Wu Baleanu. Mostrem que la nostra proposta pot inferir amb raonable precisió els paràmetres mu i nu. Sent la primera vegada, novament fins on arriba el nostre coneixement, que aquestes tècniques s'apliquen en aquest escenari. Estenem aquest treball a les equacions fraccionals discretes amb retard, obtenint resultats similars en termes de precisió. Addicionalment, mostrem que la mateixa arquitectura es pot fer servir per discriminar entre trajectòries amb i sense retard amb gran confiança. Finalment, també investiguem models fraccionals discrets. Hem analitzat esquemes de pas temporal amb la quadratura de Lubich en lloc del clàssic esquema d'ordre 1 d'Euler. Al primer estudi d'aquest nou paradigma hem comparat els diagrames de bifurcació dels mapes logístic i del sinus, obtinguts de la discretització d'Euler d'ordre 1, 2 i 1/2. / [EN] During the last decades the use of machine learning and artificial intelligence have showed an exponential growth in many areas of science. The fact that computer's hardware has increased its performance while lowering the price and the availability of open source frameworks have enabled the access to artificial intelligence to a broad range of researchers, hence democratizing the access to artificial intelligence methods to the research community. It is our belief that multi-disciplinarity is the key to new achievements, with teams composed of researchers with different backgrounds and fields of specialization. With this aim, we focused this thesis in using machine learning, artificial intelligence, deep learing, all of them being understood as part of a whole concept we concrete in artificial intelligence, to try to shed light to some problems from the fields of mathematics and physics. A deep learning architecture was developed and successfully benchmarked with the characterization of anomalous diffusion processes. Whereas traditional statistical methods had previously been used with this aim, deep learing methods, mainly based on recurrent neural networks have proved to outperform these clasical methods. Our architecture showed it can precisely infer the anomalous diffusion exponent and accurately classify trajectories among a given set of underlaying diffusion models. While recurrent neural networks irrupted in the recent years, convolutional network based models had been extensively tested in the field of image processing for more than 15 years. There exist many models and architectures, pre-trained and set to be used by the community. No further investigation needs to be done since the architecture have proved their value for years and are very well documented in the literature. Our goal was being able to used this well-known and reliable models with anomalous diffusion trajectories. We only needed to be able to convert a time series into an image, which we successfully did by applying gramian angular fields to the trajectories, focusing on short ones. To our knowledge this is the first time these techniques were used in this field. We show how this approach outperforms any other proposal in the underlaying diffusion model classification for short trajectories. Besides physics it is maths. We used our recurrent neural networks architecture to infer the parameters that define the Wu Baleanu trajectories. We show that our proposal can precisely infer both the mu and nu parameters with a reasonable confidence. Being the first time, to the best of our knowledge, that such techniques were applied to this scenario. We extend this work to the discrete delayed fractional equations, obtaining similar results in terms of precision. Additionally, we showed that the same architecture can be used to discriminate delayed from non-delayed trajectories with a high confidence. Finally, we also searched fractional discrete models. We have considered Lubich's quadrature time-stepping schemes instead of the classical Euler scheme of order 1. As the first study with this new paradigm, we compare the bifurcation diagrams for the logistic and sine maps obtained from Euler discretizations of orders 1, 2, and 1/2. / J.A.C. acknowledges support from ALBATROSS project (National Plan for Scientific and Technical Research and Innovation 2017-2020, No. PID2019-104978RB-I00). M.A.G.M. acknowledges funding from the Spanish Ministry of Education and Vocational Training (MEFP) through the Beatriz Galindo program 2018 (BEAGAL18/00203) and Spanish Ministry MINECO (FIDEUA PID2019- 106901GBI00/10.13039/501100011033). We thank M.A. Garc ́ıa-March for helpful comments and discussions on the topic. NF is sup- ported by the National University of Singapore through the Singapore International Graduate Student Award (SINGA) program. OGO and LS acknowledge funding from MINECO project, grant TIN2017-88476-C2-1-R. JAC acknowledges funding from grant PID2021-124618NB-C21 funded by MCIN/AEI/ 10.13039/501100011033 and by “ERDF A way of making Europe”, by the “European Union”. We also thank funding for the open access charges from CRUE-Universitat Politècnica de València. / Garibo Orts, Ó. (2023). Anomalous Diffusion Characterization using Machine Learning Methods [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/192831 / Compendio

As the complexity of deep learning model increases, the transparency of the systems does the opposite. It may be hard to understand the predictions a deep learning model makes, but even harder to understand why these predictions are made. Using eXplainable AI (XAI), we can gain greater knowledge of how the model operates and how the input in which the model receives can change its predictions. In this thesis, we apply Integrated Gradients (IG), an XAI method primarily used on image data and on datasets containing tabular and time-series data. We also evaluate how the results of IG differ from various types of models and how the change of baseline can change the outcome. In these results, we observe that IG can be applied to both sequenced and nonsequenced data, with varying results. We can see that the gradient baseline does not affect the results of IG on models such as RNN, LSTM, and GRU, where the data contains time series, as much as it does for models like MLP with nonsequenced data. To confirm this, we also applied IG to SVM models, which gave the results that the choice of gradient baseline has a significant impact on the results of IG.

<p>    </p> <p>In order to advance next-generation communication systems, it is critical to enhance the state-of-the-art communication architectures, such as device-to-device (D2D), multiple- input multiple-output (MIMO), and intelligent reflecting surface (IRS), in terms of achieving high data rate, low latency, and high energy efficiency. In the first part of this dissertation, we address joint learning and optimization methodologies on cutting-edge network archi- tectures. First, we consider D2D networks equipped with MIMO systems. In particular, we address the problem of minimizing the network overhead in D2D networks, defined as the sum of time and energy required for processing tasks at devices, through the design for MIMO beamforming and communication/computation resource allocation. Second, we address IRS-assisted communication systems. Specifically, we study an adaptive IRS control scheme considering realistic IRS reflection behavior and channel environments, and propose a novel adaptive codebook-based limited feedback protocol and learning-based solutions for codebook updates. </p> <p><br></p> <p>Furthermore, in order for revolutionary innovations to emerge for future generations of communications, it is crucial to explore and address fundamental, long-standing open problems for communications, such as the design of practical codes for a variety of important channel models. In the later part of this dissertation, we study the design of practical codes for feedback-enabled communication channels, i.e., feedback codes. The existing feedback codes, which have been developed over the past six decades, have been demonstrated to be vulnerable to high forward/feedback noises, due to the non-triviality of the design of feedback codes. We propose a novel recurrent neural network (RNN) autoencoder-based architecture to mitigate the susceptibility to high channel noises by incorporating domain knowledge into the design of the deep learning architecture. Using this architecture, we suggest a new class of non-linear feedback codes that increase robustness to forward/feedback noise in additive White Gaussian noise (AWGN) channels with feedback. </p>

This thesis explores the possibility of using session-based customers data from Svenska Handelsbanken AB to detect fraudulent sessions. Tools within Topological Data Analysis are employed to analyse customers behavior and examine topological properties such as homology and stable rank at the individual level. Furthermore, a RNN-LSTM model is, on a general behaviour level, trained to predict the customers next event and investigate its potential to detect anomalous behavior. The results indicate that simplicial complexes and their corresponding stable rank can be utilized to describe differences between genuine and fraudulent sessions on individual level. The use of a neural network suggests that there are deviant behaviors on general level concerning the difference between fraudulent and genuine sessions. The fact that this project was done without internal bank knowledge of fraudulent behaviour or historical knowledge of general suspicious activity and solely by data handling and anomaly detection shows great potential in session-based detection. Thus, this study concludes that the use of Topological Data Analysis and Neural Networks for detecting fraud and anomalous events provide valuable insight and opens the door for future research in the field. Further analysis must be done to see how effectively one could detect fraud mid-session. / I följande uppsats undersöks möjligheten att använda sessionbaserad kunddata från Svenska Handelsbanken AB för att detektera bedrägliga sessioner. Verktyg inom Topologisk Dataanalys används för att analysera kunders beteende och undersöka topologiska egenskaper såsom homologi och stabil rang på individnivå. Dessutom tränas en RNN-LSTM modell på en generell beteende nivå för att förutsäga kundens nästa händelse och undersöka dess potential att upptäcka avvikande beteende. Resultaten visar att simpliciella komplex och deras motsvarande stabil rang kan användas för att beskriva skillnader mellan genuina och bedrägliga sessioner på individnivå. Användningen av ett neuralt nätverk antyder att det finns avvikande beteenden på en generell nivå avseende skillnaden mellan bedrägliga och genuina sessioner. Det faktum att detta projekt genomfördes utan intern bankkännedom om bedrägerier eller historisk kunskap om allmäna misstänksamma aktiviteter och enbart genom datahantering och anomalidetektion visar stor potential för sessionbaserad detektion. Därmed drar denna studie slutsatsen att användningen av topologisk dataanalys och neurala nätverk för att upptäcka bedrägerier och avvikande händelser ger värdefulla insikter och öppnar dörren för framtida fortsätta studier inom området. Vidare analyser måste göras för att se hur effektivt man kan upptäcka bedrägerier mitt i sessioner.

For over 4 years now, there has been a fierce fight for staying ahead in the so-called ”Streaming War”. The Covid-19 pandemic and its consequent confinement only worsened the situation. In such a market where the user is faced with too many streaming video services to choose from, retaining customers becomes a necessary must. Moreover, an extensive catalogue makes it even more difficult for the user to choose a movie from. Recommender Systems try to ease this task by analyzing the users’ interactions with the platform and predicting movies that, a priori, will be watched next. Neural Networks have started to be implemented as the underlying technology in the development of Recommender Systems. Yet, most streaming services fall victim to a highly uneven movies distribution, where a small fraction of their content is watched by most of their users, having the rest of their catalogue a limited number of views. This is the long-tail problem that makes for a difficult classification model. An RNN model was implemented to solve this problem. Following a multiple-experts classification strategy, where each classifier focuses only on a specific group of films, movies are clustered by popularity. These clusters were created following the Jenks natural breaks algorithm, clustering movies by minimizing the inner group variance and maximizing the outer group variance. This new implementation ended up outperforming other clustering methods, where the proposed Jenks’ movie clusters gave better results for the corresponding models. The model had, as input, an ordered stream of watched movies. An extra input variable, the date of the visualization, gave an increase in performance, being more noticeable in those clusters with a fewer amount of movies and more views, i.e., those clusters not corresponding to the least popular ones. The addition of an extra variable, the percent of movies watched, gave inconclusive results due to hardware limitations. / I över fyra år har det nu varit en hård kamp för att ligga i framkant i det så kallade ”Streaming kriget”. Covid-19-pandemin och den därpå följande karantänen förvärrade bara situationen. På en sådan marknad där användaren står inför alltför många streamingtjänster att välja mellan, blir kvarhållande av kunderna en nödvändighet. En omfattande katalog gör det dessutom ännu svårare för användaren att välja en film. Rekommendationssystem försöker underlätta denna uppgift genom att analysera användarnas interaktion med plattformen och förutsäga vilka filmer som kommer att ses härnäst. Neurala nätverk har börjat användas som underliggande teknik vid utvecklingen av rekommendationssystem. De flesta streamingtjänster har dock en mycket ojämn fördelning av filmerna, då en liten del av deras innehåll ses av de flesta av användarna, medan en stor del av deras katalog har ett begränsat antal visualiseringar. Detta så kallade ”Long Tail”-problem gör det svårt att skapa en klassificeringsmodell. En RNN-modell implementerades för att lösa detta problem. Genom att följa en klassificeringsstrategi med flera experter, där varje klassificerare endast fokuserar på en viss grupp av filmer, grupperas filmerna efter popularitet. Dessa kluster skapades enligt Jenks natural breaks-algoritm, som klustrar filmer genom att minimera variansen i den inre gruppen och maximera variansen i den yttre gruppen. Denna nya implementering överträffade till slut andra klustermetoder, där filmklustren föreslagna av Jenks gav bättre resultat för motsvarande modeller. Modellen hade som indata en ordnad ström av sedda filmer. En extra ingångsvariabel, datumet för visualiseringen, gav en ökning av prestandan, som var mer märkbar i de kluster med färre filmer och fler visualiseringar, dvs. de kluster som inte motsvarade de minst populära klustren. Tillägget av en extra variabel, procent av filmen som har setts, gav inte entydiga resultat på grund av hårdvarubegränsningar / Desde hace más de 4 años, se está librando una lucha encarnizada por mantenerse en cabeza en la llamada ”Guerra del Streaming”. La Covid-19 y su consiguiente confinamiento no han hecho más que empeorar la situación. En un mercado como éste, en el que el usuario se encuentra con demasiados servicios de vídeo en streaming entre los que elegir, retener a los clientes se convierte en una necesidad. Además, un catálogo extenso dificulta aún más la elección de una película por parte del usuario. Los sistemas de recomendación intentan facilitar esta tarea analizando las interacciones de los usuarios con la plataforma y predecir las películas que, a priori, se verán a continuación. Las Redes Neuronales han comenzado a implementarse como tecnología subyacente en el desarrollo de los sistemas de recomendación. Sin embargo, la mayoría de los servicios de streaming son víctimas de una distribución de películas muy desigual, en la que una pequeña fracción de sus contenidos es vista por la mayoría de sus usuarios, teniendo el resto de su catálogo un número muy inferior de visualizaciones. Este es el denominado problema de ”long-tail” que dificulta el modelo de clasificación. Para resolver este problema se implementó un modelo RNN. Siguiendo una estrategia de clasificación de expertos múltiples, en la que cada clasificador se centra en un único grupo específico de películas, agrupadas por popularidad. Estos clusters se crearon siguiendo el algoritmo de Jenks, agrupando las películas mediante minimización y maximización de la varianza entre grupos . Esta nueva implementación acabó superando a otros métodos de clustering, donde los clusters de películas de Jenks propuestos dieron mejores resultados para los modelos correspondientes. El modelo tenía como entrada un flujo ordenado de películas vistas. Una variable de entrada extra, la fecha de la visualización, dio un incremento en el rendimiento, siendo más notable en aquellos clusters con una menor cantidad de películas y más visualizaciones, es decir, aquellos clusters que no corresponden a los menos populares. La adición de una variable extra, el porcentaje de películas vistas, dio resultados no concluyentes debido a limitaciones hardware.