This study aims to enhance the accuracy of a demand forecasting model, XGBoost, by incorporating synthetic multivariate restaurant time series data during the training process. The research addresses the limited availability of training data by generating synthetic data using TimeGAN, a generative adversarial deep neural network tailored for time series data. A one-year daily time series dataset, comprising numerical and categorical features based on a real restaurant's sales history, supplemented by relevant external data, serves as the original data. TimeGAN learns from this dataset to create synthetic data that closely resembles the original data in terms of temporal and distributional dynamics. Statistical and visual analyses demonstrate a strong similarity between the synthetic and original data. To evaluate the usefulness of the synthetic data, an experiment is conducted where varying lengths of synthetic data are iteratively combined with the one-year real dataset. Each iteration involves retraining the XGBoost model and assessing its accuracy for a one-week forecast using the Root Mean Square Error (RMSE). The results indicate that incorporating 6 years of synthetic data improves the model's performance by 65%. The hyperparameter configurations suggest that deeper tree structures benefit the XGBoost model when synthetic data is added. Furthermore, the model exhibits improved feature selection with an increased amount of training data. This study demonstrates that incorporating synthetic data closely resembling the original data can effectively enhance the accuracy of predictive models, particularly when training data is limited.

This project mainly focuses on the various methods of solving data imbalance problems in the Natural Language Processing (NLP) field. Unbalanced text data is a common problem in many tasks especially the classification task, which leads to the model not being able to predict the minority class well. Sometimes, even we change to some more excellent and complicated model could not improve the performance, while some simple data strategies that focus on solving data imbalanced problems such as over-sampling or down-sampling produce positive effects on the result. The common data strategies include some re-sampling methods that duplicate new data from the original data or remove some original data to have the balance. Except for that, some other methods such as word replacement, word swap, and word deletion are used in previous work as well. At the same time, some deep learning models like BERT, GPT and fastText model, which have a strong ability for a general understanding of natural language, so we choose some of them to solve the data imbalance problem. However, there is no systematic comparison in practicing these methods. For example, over-sampling and down-sampling are fast and easy to use in previous small scales of datasets. With the increase of the dataset, the newly generated data by some deep network models is more compatible with the original data. Therefore, our work focus on how is the performance of various data augmentation techniques when they are used to solve data imbalance problems, given the dataset and task? After the experiment, Both qualitative and quantitative experimental results demonstrate that different methods have their advantages for various datasets. In general, data augmentation could improve the performance of classification models. For specific, BERT especially our fine-tuned BERT has an excellent ability in most using scenarios(different scales and types of the dataset). Still, other techniques such as Back-translation has a better performance in long text data, even it costs more time and has a complicated model. In conclusion, suitable choices for data augmentation methods could help to solve data imbalance problems. / Detta projekt fokuserar huvudsakligen på de olika metoderna för att lösa dataobalansproblem i fältet Natural Language Processing (NLP). Obalanserad textdata är ett vanligt problem i många uppgifter, särskilt klassificeringsuppgiften, vilket leder till att modellen inte kan förutsäga minoriteten Ibland kan vi till och med byta till en mer utmärkt och komplicerad modell inte förbättra prestandan, medan några enkla datastrategier som fokuserar på att lösa data obalanserade problem som överprov eller nedprovning ger positiva effekter på resultatet. vanliga datastrategier inkluderar några omprovningsmetoder som duplicerar nya data från originaldata eller tar bort originaldata för att få balans. Förutom det används vissa andra metoder som ordbyte, ordbyte och radering av ord i tidigare arbete Samtidigt har vissa djupinlärningsmodeller som BERT, GPT och fastText-modellen, som har en stark förmåga till en allmän förståelse av naturliga språk, så vi väljer några av dem för att lösa problemet med obalans i data. Det finns dock ingen systematisk jämförelse när man praktiserar dessa metoder. Exempelvis är överprovtagning och nedprovtagning snabba och enkla att använda i tidigare små skalor av datamängder. Med ökningen av datauppsättningen är de nya genererade data från vissa djupa nätverksmodeller mer kompatibla med originaldata. Därför fokuserar vårt arbete på hur prestandan för olika dataförstärkningstekniker används när de används för att lösa dataobalansproblem, givet datamängden och uppgiften? Efter experimentet visar både kvalitativa och kvantitativa experimentella resultat att olika metoder har sina fördelar för olika datamängder. I allmänhet kan dataförstärkning förbättra prestandan hos klassificeringsmodeller. För specifika, BERT speciellt vår finjusterade BERT har en utmärkt förmåga i de flesta med hjälp av scenarier (olika skalor och typer av datamängden). Ändå har andra tekniker som Back-translation bättre prestanda i lång textdata, till och med det kostar mer tid och har en komplicerad modell. Sammanfattningsvis lämpliga val för metoder för dataökning kan hjälpa till att lösa problem med obalans i data.

Text data is easy to retrieve but often expensive to classify, which is why labeled textual data is a resource often lacking in quantity. However, the use of labeled data is crucial in supervised tasks such as text classification, but semi-supervised learning algorithms have shown that the use of unlabeled data during training has the potential to improve model performance, even in comparison to a fully supervised setting. One approach to do semi-supervised learning is consistency training, in which the difference between the prediction distribution of an original unlabeled example and its augmented version is minimized. This thesis explores the performance difference between two techniques for augmenting unlabeled data used for detecting sentiment in movie reviews. The study examines whether the use of augmented data through neural style transfer paraphrasing could achieve comparable or better performance than the use of data augmented through back-translation. Five writing styles were used to generate the augmented datasets: Conversational Speech, Romantic Poetry, Shakespeare, Tweets and Bible. The results show that applying neural style transfer paraphrasing as a data augmentation technique for unlabeled examples in a semi-supervised setting does not improve the performance for sentiment classification with any of the styles used in the study. However, the use of style transferred augmented data in the semi-supervised approach generally performs better than using a model trained in a supervised scenario, where orders of magnitude more labeled data are needed and no augmentation is conducted. The study reveals that the experimented semi-supervised approach is superior to the fully supervised setting but worse than the semi-supervised approach using back-translation. / Textdata är lätt att få tag på men dyr att beteckna, vilket är varför annoterad textdata ofta inte finns i stora kvantiteter. Annoterad data är dock av yttersta vikt för övervakad inlärning, exempelvis för textklassificering, men semiövervakade inlärningsalgoritmer har visat att användandet av textdata utan annoteringar har potential att förbättra en inlärningsalgoritms resultat, även i jämförelse med helt övervakade algoritmer. Ett semi-övervakad inlärningsteknik är konsistensträning, där skillnaden mellan inferensen på en oförändrad datapunkt och en förändrar datapunkt minimeras. Denna uppsats utforskar skillnaden i resultat av att använda två olika tekniker för att förändra data som inte är annoterad för att detektera sentiment i filmrecensioner. Studien undersöker huruvida data förändrad via neural stilöverföring kan åstadkomma jämförbara eller bättre resultat i jämförelse med data förändrad genom tillbaka-översättning. Fem olika skrivstilar använda för att generera den förändrade datan: konversationellt tal, romantisk poesi, Shakespeare, Twitter-skrift samt Bibel. Resultaten visar att applicera neural stilöverföring på att förändra ej annoterade exempel för konsistensträning inte förbättrar resultaten i jämförelse med tillbaka-översättning. Semi-övervakad inlärning med stiltransferering presterar dock generellt bättre än en fullt övervakad, jämbördig algoritm som behöver flera magnituder fler annoteringar. Studien visar att den semiövervakade inlärningstekniken är bättre än den fullt övervakade modellen, men sämre än den semi-övervakade tekniken som använder tillbaka-översättning.

Time- series Generative Adversarial Networks (TimeGAN) is proposed to overcome the GAN model’s insufficiency in producing synthetic samples that inherit the predictive ability of the original timeseries data. TimeGAN combines the unsupervised adversarial loss in the GAN framework with a supervised loss adopted from an autoregressive model. However, TimeGAN is like another GANbased model that only learns from the set of smaller sequences extracted from the original time-series. This behavior yields a severe consequence when encountering data augmentation for time-series with multiple seasonal patterns, as found in the mobile telecommunication network data. This study examined the effectiveness of the TimeGAN model with the help of Dynamic Time Warping (DTW) and different types of RNN as its architecture to produce synthetic mobile telecommunication network data, which can be utilized to improve the forecasting performance of the statistical and deep learning models relative to the baseline models trained only on the original data. The experiment results indicate that DTW helps TimeGAN maintaining the multiple seasonal attributes. In addition, either LSTM or Bidirectional LSTM as TimeGAN architecture ensures the model is robust to mode collapse problem and creates synthetic data that are diversified and indistinguishable from the original time-series. Finally, merging both original and synthetic time-series becomes a compelling way to significantly improve the deep learning model’s forecasting performance but fails to do so for the statistical model. / Time-series Generative Adversarial Networks (TimeGAN) föreslås för att övervinna GAN-modellens brist att kunna producera syntetisk data som ärver de prediktiva förmåga från den ursprungliga tidsseriedatan. TimeGAN kombinerar den icke-vägledande förlusten i GAN-ramverket tillsammans med den vägledande förlusten från en autoregressiv modell. TimeGAN liknar en vanlig GAN-baserad modell, men behöver bara en mindre uppsättning sekvenser från den ursprungliga tidsserien för att lära sig. Denna egenskap kan dock leda till allvarliga konsekvenser när man stöter på dataförstoring för tidsserier med flera säsongsmönster, vilket återfinns i mobilnätverksdata. Denna studie har undersökt effektiviteten av TimeGAN-modellen med hjälp av Dynamic Time Warping (DTW) och olika typer av RNN som dess arkitektur för att producera syntetisk mobilnätverksdata. Detta kan användas för att förbättra statistiska och djupinlärningsmodellers prognostisering relativt till modeller som bara har tränat på orginaldata. De experimentella resultaten indikerar att DTW hjälper TimeGAN att bibehålla de olika säsongsattributen. Dessutom, TimeGAN med antingen LSTM eller Bidirectional LSTM som arkitektur säkerställer att modellen är robust för lägesfallsproblem och skapar syntetisk data som är diversifierade och inte kan urskiljas från den ursprungliga tidsserien. Slutligen, en sammanslagning av både ursprungliga och syntetiska tidsserier blir ett övertygande sätt att avsevärt förbättra djupinlärningsmodellens prestanda men misslyckas med detta för den statistiska modellen.

Объект исследования: процесс аугментации изображений для решения задачи сегментации. Предмет исследования: методы аугментации и машинного обучения, с помощью которых осуществляется сегментация изображений. Цель работы: исследование эффективности генеративной аугментации изображений, выполненной с помощью диффузионной модели Stable Diffusion на примере задачи семантической сегментации. В процессе исследования проводились: рассмотрение основных подходов сегментации изображений и методов аугментации данных, разработка и реализация экспериментов для оценки эффективности генеративной аугментации изображений. В работе продемонстрирована эффективность подхода аугментации изображений, реализованного за счет расширения части исходного датасета путем генерирования новых данных с помощью диффузионной модели. Область практического применения: предложенный подход может быть использован для улучшения качества работы моделей семантической сегментации изображений в условиях ограниченного количества исходных данных, дефицита размеченных данных или дисбаланса данных. / Object of study: the process of image augmentation to solve the segmentation problem. Subject of research: augmentation and machine learning methods used for image segmentation. Purpose of the work: to study the effectiveness of generative image augmentation performed using the Stable Diffusion model using the example of a semantic segmentation task. During the research process, the following was carried out: consideration of the main approaches to image segmentation and data augmentation methods, development and implementation of experiments to evaluate the effectiveness of generative image augmentation. The work demonstrates the effectiveness of the image augmentation approach, implemented by expanding part of the original dataset by generating new data using a diffusion model. Area of practical application: the proposed approach can be used to improve the quality of work of semantic image segmentation models in conditions of a limited amount of source data, a shortage of labeled data, or data imbalance.

Point cloud data can express the 3D features of objects, and is an important data type in the field of 3D object detection. Since point cloud data is more difficult to collect than image data and the scale of existing datasets is smaller, point cloud data augmentation is introduced to allow more features to be discovered on existing data. In this thesis, we propose a novel method to enhance the point cloud scene, based on the generative adversarial network (GAN) to realize the augmentation of the objects and then integrate them into the existing scenes. A good fidelity and coverage are achieved between the fake sample and the real sample, with JSD equal to 0.027, MMD equal to 0.00064, and coverage equal to 0.376. In addition, we investigated the functional data annotation tools and completed the data labeling task. The 3D object detection task is carried out on the point cloud data, and we have achieved a relatively good detection results in a short processing of around 22ms. Quantitative and qualitative analysis is carried out on different models. / Punktmolndata kan uttrycka 3D-egenskaperna hos objekt och är en viktig datatyp inom området för 3D-objektdetektering. Eftersom punktmolndata är svarare att samla in än bilddata och omfattningen av befintlig data är mindre, introduceras punktmolndataförstärkning för att tillåta att fler funktioner kan upptäckas på befintlig data. I det här dokumentet föreslår vi en metod för att förbättra punktmolnsscenen, baserad på det generativa motstridiga nätverket (GAN) för att realisera förstärkningen av objekten och sedan integrera dem i de befintliga scenerna. En god trohet och tackning uppnås mellan det falska provet och det verkliga provet, med JSD lika med 0,027, MMD lika med 0,00064 och täckning lika med 0,376. Dessutom undersökte vi de funktionella verktygen för dataanteckningar och slutförde uppgiften for datamärkning. 3D- objektdetekteringsuppgiften utförs på punktmolnsdata och vi har uppnått ett relativt bra detekteringsresultat på en kort bearbetningstid runt 22ms. Kvantitativ och kvalitativ analys utförs på olika modeller.

To label words of interest into a predefined set of named entities have traditionally required a large amount of labeled in-domain data. Recently, the availability of pre-trained transformer-based language models have enabled multiple natural language processing problems to utilize transfer learning techniques to construct machine learning models with less task-specific labeled data. In this thesis, the impact of data augmentation when training a pre-trained transformer-based model to adapt to a named entity recognition task with few labeled sentences is explored. The experimental results indicate that data augmentation increases performance of the trained models, however the data augmentation is shown to have less impact when more labeled data is available. In conclusion, data augmentation has been shown to improve performance of pre-trained named entity recognition models when few labeled sentences are available for training. / Att kategorisera ord som tillhör någon av en mängd förangivna entiteter har traditionellt krävt stora mängder förkategoriserad områdesspecifik data. På senare år har det tillgängliggjorts förtränade språkmodeller som möjliggjort för språkprocesseringsproblem att lösas med en mindre mängd områdesspecifik kategoriserad data. I den här uppsatsen utforskas datautöknings påverkan på en maskininlärningsmodell för identifiering av namngivna entiteter. De experimentella resultaten indikerar att datautökning förbättrar modellerna, men att inverkan blir mindre när mer kategoriserad data är tillgänglig. Sammanfattningsvis så kan datautökning förbättra modeller för identifiering av namngivna entiteter när få förkategoriserade meningar finns tillgängliga för träning.

La théorie statistique univariée des valeurs extrêmes se généralise au cas multivarié mais l'absence d'un cadre paramétrique naturel complique l'inférence de la loi jointe des extrêmes. Les marges d'erreur associée aux estimateurs non paramétriques de la structure de dépendance sont difficilement accessibles à partir de la dimension trois. Cependant, quantifier l'incertitude est d'autant plus important pour les applications que le problème de la rareté des données extrêmes est récurrent, en particulier en hydrologie. L'objet de cette thèse est de développer des modèles de dépendance entre extrêmes, dans un cadre bayésien permettant de représenter l'incertitude. Le chapitre 2 explore les propriétés des modèles obtenus en combinant des modèles paramétriques existants, par mélange bayésien (Bayesian Model Averaging BMA). Un modèle semi-paramétrique de mélange de Dirichlet est étudié au chapitre suivant : une nouvelle paramétrisation est introduite afin de s'affranchir d'une contrainte de moments caractéristique de la structure de dépendance et de faciliter l'échantillonnage de la loi à posteriori. Le chapitre 4 est motivé par une application hydrologique : il s'agit d'estimer la structure de dépendance spatiale des crues extrêmes dans la région cévenole des Gardons en utilisant des données historiques enregistrées en quatre points. Les données anciennes augmentent la taille de l'échantillon mais beaucoup de ces données sont censurées. Une méthode d'augmentation de données est introduite, dans le cadre du mélange de Dirichlet, palliant l'absence d'expression explicite de la vraisemblance censurée. Les conclusions et perspectives sont discutées au chapitre 5 / Uni-variate extreme value theory extends to the multivariate case but the absence of a natural parametric framework for the joint distribution of extremes complexifies inferential matters. Available non parametric estimators of the dependence structure do not come with tractable uncertainty intervals for problems of dimension greater than three. However, uncertainty estimation is all the more important for applied purposes that data scarcity is a recurrent issue, particularly in the field of hydrology. The purpose of this thesis is to develop modeling tools for the dependence structure between extremes, in a Bayesian framework that allows uncertainty assessment. Chapter 2 explores the properties of the model obtained by combining existing ones, in a Bayesian Model Averaging framework. A semi-parametric Dirichlet mixture model is studied next : a new parametrization is introduced, in order to relax a moments constraint which characterizes the dependence structure. The re-parametrization significantly improves convergence and mixing properties of the reversible-jump algorithm used to sample the posterior. The last chapter is motivated by an hydrological application, which consists in estimating the dependence structure of floods recorded at four neighboring stations, in the ‘Gardons’ region, southern France, using historical data. The latter increase the sample size but most of them are censored. The lack of explicit expression for the likelihood in the Dirichlet mixture model is handled by using a data augmentation framework

Made available in DSpace on 2016-06-02T20:06:09Z (GMT). No. of bitstreams: 1 5618.pdf: 988258 bytes, checksum: 1ce6234a919d1f5b4a4d4fd7482d543c (MD5) Previous issue date: 2013-11-26 / Financiadora de Estudos e Projetos / The analysis of bivariate data can be found in several areas of knowledge, when the data of interest are obtained in a paired way and present correlation between counts. In this work the Holgate bivariate Poisson, bivariate generalized Poisson and bivariate zero-inflated Poisson models are presented, which are useful to the modeling of bivariate count data correlated. Illustrative applications are presented for these models and the comparison between them is made by using criteria of model selection AIC and BIC, as well as the asymptotic likelihood ratio test. Particularly, we propose a Bayesian approach to the Holgate bivariate Poisson and bivariate zero-inflated Poisson models, based in the Gibbs sampling algorithm with data augmentation. / A análise de dados bivariados pode ser encontrada nas mais diversas áreas do conhecimento, quando os dados de interesse são obtidos de forma pareada e apresentam correlação entre as contagens. Neste trabalho são apresentados os modelos Poisson bivariado de Holgate, Poisson generalizado bivariado e Poisson bivariado inflacionado de zeros, os quais são úteis na modelagem de dados de contagem bivariados correlacionados. Aplicações ilustrativas serão apresentadas para estes modelos e a comparação entre eles será realizada pelos critérios de seleção de modelos AIC e BIC, assim como pelo teste da razão de verossimilhança assintótico. Particularmente, propomos uma abordagem Bayesiana para os modelos Poisson bivariado de Holgate e Poisson Inflacionado de zeros, baseada no algoritmo Gibbs sampling com dados ampliados.

This thesis deals with depth estimation using convolutional neural networks. I propose a three-part model as a solution to this problem. The model contains a global context network which estimates coarse depth structure of the scene, a gradient network which estimates depth gradients and a refining network which utilizes the outputs of previous two networks to produce the final depth map. Additionally, I present a normalized loss function for training neural networks. Applying normalized loss function results in better estimates of the scene's relative depth structure, however it results in a loss of information about the absolute scale of the scene.