Spelling suggestions: "subject:"K nearest neighbor""
51 |
Price Prediction of Vinyl Records Using Machine Learning AlgorithmsJohansson, David January 2020 (has links)
Machine learning algorithms have been used for price prediction within several application areas. Examples include real estate, the stock market, tourist accommodation, electricity, art, cryptocurrencies, and fine wine. Common approaches in studies are to evaluate the accuracy of predictions and compare different algorithms, such as Linear Regression or Neural Networks. There is a thriving global second-hand market for vinyl records, but the research of price prediction within the area is very limited. The purpose of this project was to expand on existing knowledge within price prediction in general to evaluate some aspects of price prediction of vinyl records. That included investigating the possible level of accuracy and comparing the efficiency of algorithms. A dataset of 37000 samples of vinyl records was created with data from the Discogs website, and multiple machine learning algorithms were utilized in a controlled experiment. Among the conclusions drawn from the results was that the Random Forest algorithm generally generated the strongest results, that results can vary substantially between different artists or genres, and that a large part of the predictions had a good accuracy level, but that a relatively small amount of large errors had a considerable effect on the general results.
|
52 |
Využití umělé inteligence v technické diagnostice / Utilization of artificial intelligence in technical diagnosticsKonečný, Antonín January 2021 (has links)
The diploma thesis is focused on the use of artificial intelligence methods for evaluating the fault condition of machinery. The evaluated data are from a vibrodiagnostic model for simulation of static and dynamic unbalances. The machine learning methods are applied, specifically supervised learning. The thesis describes the Spyder software environment, its alternatives, and the Python programming language, in which the scripts are written. It contains an overview with a description of the libraries (Scikit-learn, SciPy, Pandas ...) and methods — K-Nearest Neighbors (KNN), Support Vector Machines (SVM), Decision Trees (DT) and Random Forests Classifiers (RF). The results of the classification are visualized in the confusion matrix for each method. The appendix includes written scripts for feature engineering, hyperparameter tuning, evaluation of learning success and classification with visualization of the result.
|
53 |
Využití metod dolování dat pro analýzu sociálních sítí / Using of Data Mining Method for Analysis of Social NetworksNovosad, Andrej January 2013 (has links)
Thesis discusses data mining the social media. It gives an introduction about the topic of data mining and possible mining methods. Thesis also explores social media and social networks, what are they able to offer and what problems do they bring. Three different APIs of three social networking sites are examined with their opportunities they provide for data mining. Techniques of text mining and document classification are explored. An implementation of a web application that mines data from social site Twitter using the algorithm SVM is being described. Implemented application is classifying tweets based on their text where classes represent tweets' continents of origin. Several experiments executed both in RapidMiner software and in implemented web application are then proposed and their results examined.
|
54 |
Apprentissage statistique avec le processus ponctuel déterminantalVicente, Sergio 02 1900 (has links)
Cette thèse aborde le processus ponctuel déterminantal, un modèle probabiliste qui capture
la répulsion entre les points d’un certain espace. Celle-ci est déterminée par une matrice
de similarité, la matrice noyau du processus, qui spécifie quels points sont les plus similaires
et donc moins susceptibles de figurer dans un même sous-ensemble. Contrairement à la sélection
aléatoire uniforme, ce processus ponctuel privilégie les sous-ensembles qui contiennent
des points diversifiés et hétérogènes. La notion de diversité acquiert une importante grandissante
au sein de sciences comme la médecine, la sociologie, les sciences forensiques et les
sciences comportementales. Le processus ponctuel déterminantal offre donc une alternative
aux traditionnelles méthodes d’échantillonnage en tenant compte de la diversité des éléments
choisis. Actuellement, il est déjà très utilisé en apprentissage automatique comme modèle de
sélection de sous-ensembles. Son application en statistique est illustrée par trois articles. Le
premier article aborde le partitionnement de données effectué par un algorithme répété un
grand nombre de fois sur les mêmes données, le partitionnement par consensus. On montre
qu’en utilisant le processus ponctuel déterminantal pour sélectionner les points initiaux de
l’algorithme, la partition de données finale a une qualité supérieure à celle que l’on obtient
en sélectionnant les points de façon uniforme. Le deuxième article étend la méthodologie
du premier article aux données ayant un grand nombre d’observations. Ce cas impose un
effort computationnel additionnel, étant donné que la sélection de points par le processus
ponctuel déterminantal passe par la décomposition spectrale de la matrice de similarité qui,
dans ce cas-ci, est de grande taille. On présente deux approches différentes pour résoudre ce
problème. On montre que les résultats obtenus par ces deux approches sont meilleurs que
ceux obtenus avec un partitionnement de données basé sur une sélection uniforme de points.
Le troisième article présente le problème de sélection de variables en régression linéaire et
logistique face à un nombre élevé de covariables par une approche bayésienne. La sélection
de variables est faite en recourant aux méthodes de Monte Carlo par chaînes de Markov,
en utilisant l’algorithme de Metropolis-Hastings. On montre qu’en choisissant le processus
ponctuel déterminantal comme loi a priori de l’espace des modèles, le sous-ensemble final de
variables est meilleur que celui que l’on obtient avec une loi a priori uniforme. / This thesis presents the determinantal point process, a probabilistic model that captures
repulsion between points of a certain space. This repulsion is encompassed by a similarity
matrix, the kernel matrix, which selects which points are more similar and then less likely to
appear in the same subset. This point process gives more weight to subsets characterized by
a larger diversity of its elements, which is not the case with the traditional uniform random
sampling. Diversity has become a key concept in domains such as medicine, sociology,
forensic sciences and behavioral sciences. The determinantal point process is considered
a promising alternative to traditional sampling methods, since it takes into account the
diversity of selected elements. It is already actively used in machine learning as a subset
selection method. Its application in statistics is illustrated with three papers. The first
paper presents the consensus clustering, which consists in running a clustering algorithm
on the same data, a large number of times. To sample the initials points of the algorithm,
we propose the determinantal point process as a sampling method instead of a uniform
random sampling and show that the former option produces better clustering results. The
second paper extends the methodology developed in the first paper to large-data. Such
datasets impose a computational burden since sampling with the determinantal point process
is based on the spectral decomposition of the large kernel matrix. We introduce two methods
to deal with this issue. These methods also produce better clustering results than consensus
clustering based on a uniform sampling of initial points. The third paper addresses the
problem of variable selection for the linear model and the logistic regression, when the
number of predictors is large. A Bayesian approach is adopted, using Markov Chain Monte
Carlo methods with Metropolis-Hasting algorithm. We show that setting the determinantal
point process as the prior distribution for the model space selects a better final model than
the model selected by a uniform prior on the model space.
|
55 |
Analysis of the human corneal shape with machine learningBouazizi, Hala 01 1900 (has links)
Cette thèse cherche à examiner les conditions optimales dans lesquelles les surfaces cornéennes antérieures peuvent être efficacement pré-traitées, classifiées et prédites en utilisant des techniques de modélisation géométriques (MG) et d’apprentissage automatiques (AU).
La première étude (Chapitre 2) examine les conditions dans lesquelles la modélisation géométrique peut être utilisée pour réduire la dimensionnalité des données utilisées dans un projet d’apprentissage automatique. Quatre modèles géométriques ont été testés pour leur précision et leur rapidité de traitement : deux modèles polynomiaux (P) – polynômes de Zernike (PZ) et harmoniques sphériques (PHS) – et deux modèles de fonctions rationnelles (R) : fonctions rationnelles de Zernike (RZ) et fonctions rationnelles d’harmoniques sphériques (RSH). Il est connu que les modèles PHS et RZ sont plus précis que les modèles PZ pour un même nombre de coefficients (J), mais on ignore si les modèles PHS performent mieux que les modèles RZ, et si, de manière plus générale, les modèles SH sont plus précis que les modèles R, ou l’inverse. Et prenant en compte leur temps de traitement, est-ce que les modèles les plus précis demeurent les plus avantageux? Considérant des valeurs de J (nombre de coefficients du modèle) relativement basses pour respecter les contraintes de dimensionnalité propres aux taches d’apprentissage automatique, nous avons établi que les modèles HS (PHS et RHS) étaient tous deux plus précis que les modèles Z correspondants (PZ et RR), et que l’avantage de précision conféré par les modèles HS était plus important que celui octroyé par les modèles R. Par ailleurs, les courbes de temps de traitement en fonction de J démontrent qu’alors que les modèles P sont traités en temps quasi-linéaires, les modèles R le sont en temps polynomiaux. Ainsi, le modèle SHR est le plus précis, mais aussi le plus lent (un problème qui peut en partie être remédié en appliquant une procédure de pré-optimisation). Le modèle ZP était de loin le plus rapide, et il demeure une option intéressante pour le développement de projets. SHP constitue le meilleur compromis entre la précision et la rapidité.
La classification des cornées selon des paramètres cliniques a une longue tradition, mais la visualisation des effets moyens de ces paramètres sur la forme de la cornée par des cartes topographiques est plus récente. Dans la seconde étude (Chapitre 3), nous avons construit un atlas de cartes d’élévations moyennes pour différentes variables cliniques qui pourrait s’avérer utile pour l’évaluation et l’interprétation des données d’entrée (bases de données) et de sortie (prédictions, clusters, etc.) dans des tâches d’apprentissage automatique, entre autres. Une base de données constituée de plusieurs milliers de surfaces cornéennes antérieures normales enregistrées sous forme de matrices d’élévation de 101 by 101 points a d’abord été traitée par modélisation géométrique pour réduire sa dimensionnalité à un nombre de coefficients optimal dans une optique d’apprentissage automatique. Les surfaces ainsi modélisées ont été regroupées en fonction de variables cliniques de forme, de réfraction et de démographie. Puis, pour chaque groupe de chaque variable clinique, une surface moyenne a été calculée et représentée sous forme de carte d’élévations faisant référence à sa SMA (sphère la mieux ajustée). Après avoir validé la conformité de la base de donnée avec la littérature par des tests statistiques (ANOVA), l’atlas a été vérifié cliniquement en examinant si les transformations de formes cornéennes présentées dans les cartes pour chaque variable étaient conformes à la littérature. C’était le cas. Les applications possibles d’un tel atlas sont discutées.
La troisième étude (Chapitre 4) traite de la classification non-supervisée (clustering) de surfaces cornéennes antérieures normales. Le clustering cornéen un domaine récent en ophtalmologie. La plupart des études font appel aux techniques d’extraction des caractéristiques pour réduire la dimensionnalité de la base de données cornéennes. Le but est généralement d’automatiser le processus de diagnostique cornéen, en particulier en ce qui a trait à la distinction entre les cornées normales et les cornées irrégulières (kératocones, Fuch, etc.), et dans certains cas, de distinguer différentes sous-classes de cornées irrégulières. L’étude de clustering proposée ici se concentre plutôt sur les cornées normales afin de mettre en relief leurs regroupements naturels. Elle a recours à la modélisation géométrique pour réduire la dimensionnalité de la base de données, utilisant des polynômes de Zernike, connus pour leur interprétativité transparente (chaque terme polynomial est associé à une caractéristique cornéenne particulière) et leur bonne précision pour les cornées normales. Des méthodes de différents types ont été testées lors de prétests (méthodes de clustering dur (hard) ou souple (soft), linéaires or non-linéaires. Ces méthodes ont été testées sur des surfaces modélisées naturelles (non-normalisées) ou normalisées avec ou sans traitement d’extraction de traits, à l’aide de différents outils d’évaluation (scores de séparabilité et d’homogénéité, représentations par cluster des coefficients de modélisation et des surfaces modélisées, comparaisons statistiques des clusters sur différents paramètres cliniques). Les résultats obtenus par la meilleure méthode identifiée, k-means sans extraction de traits, montrent que les clusters produits à partir de surfaces cornéennes naturelles se distinguent essentiellement en fonction de la courbure de la cornée, alors que ceux produits à partir de surfaces normalisées se distinguent en fonction de l’axe cornéen.
La dernière étude présentée dans cette thèse (Chapitre 5) explore différentes techniques d’apprentissage automatique pour prédire la forme de la cornée à partir de données cliniques. La base de données cornéennes a d’abord été traitée par modélisation géométrique (polynômes de Zernike) pour réduire sa dimensionnalité à de courts vecteurs de 12 à 20 coefficients, une fourchette de valeurs potentiellement optimales pour effectuer de bonnes prédictions selon des prétests. Différentes méthodes de régression non-linéaires, tirées de la bibliothèque scikit-learn, ont été testées, incluant gradient boosting, Gaussian process, kernel ridge, random forest, k-nearest neighbors, bagging, et multi-layer perceptron. Les prédicteurs proviennent des variables cliniques disponibles dans la base de données, incluant des variables géométriques (diamètre horizontal de la cornée, profondeur de la chambre cornéenne, côté de l’œil), des variables de réfraction (cylindre, sphère et axe) et des variables démographiques (âge, genre). Un test de régression a été effectué pour chaque modèle de régression, défini comme la sélection d’une des 256 combinaisons possibles de variables cliniques (les prédicteurs), d’une méthode de régression, et d’un vecteur de coefficients de Zernike d’une certaine taille (entre 12 et 20 coefficients, les cibles). Tous les modèles de régression testés ont été évalués à l’aide de score de RMSE établissant la distance entre les surfaces cornéennes prédites (les prédictions) et vraies (les topographies corn¬éennes brutes). Les meilleurs d’entre eux ont été validés sur l’ensemble de données randomisé 20 fois pour déterminer avec plus de précision lequel d’entre eux est le plus performant. Il s’agit de gradient boosting utilisant toutes les variables cliniques comme prédicteurs et 16 coefficients de Zernike comme cibles. Les prédictions de ce modèle ont été évaluées qualitativement à l’aide d’un atlas de cartes d’élévations moyennes élaborées à partir des variables cliniques ayant servi de prédicteurs, qui permet de visualiser les transformations moyennes d’en groupe à l’autre pour chaque variables. Cet atlas a permis d’établir que les cornées prédites moyennes sont remarquablement similaires aux vraies cornées moyennes pour toutes les variables cliniques à l’étude. / This thesis aims to investigate the best conditions in which the anterior corneal surface of normal
corneas can be preprocessed, classified and predicted using geometric modeling (GM) and machine
learning (ML) techniques. The focus is on the anterior corneal surface, which is the main
responsible of the refractive power of the cornea.
Dealing with preprocessing, the first study (Chapter 2) examines the conditions in which GM
can best be applied to reduce the dimensionality of a dataset of corneal surfaces to be used in ML
projects. Four types of geometric models of corneal shape were tested regarding their accuracy and
processing time: two polynomial (P) models – Zernike polynomial (ZP) and spherical harmonic
polynomial (SHP) models – and two corresponding rational function (R) models – Zernike rational
function (ZR) and spherical harmonic rational function (SHR) models. SHP and ZR are both known
to be more accurate than ZP as corneal shape models for the same number of coefficients, but which
type of model is the most accurate between SHP and ZR? And is an SHR model, which is both an
SH model and an R model, even more accurate? Also, does modeling accuracy comes at the cost
of the processing time, an important issue for testing large datasets as required in ML projects?
Focusing on low J values (number of model coefficients) to address these issues in consideration
of dimensionality constraints that apply in ML tasks, it was found, based on a number of evaluation
tools, that SH models were both more accurate than their Z counterparts, that R models were both
more accurate than their P counterparts and that the SH advantage was more important than the R
advantage. Processing time curves as a function of J showed that P models were processed in quasilinear time, R models in polynomial time, and that Z models were fastest than SH models.
Therefore, while SHR was the most accurate geometric model, it was the slowest (a problem that
can partly be remedied by applying a preoptimization procedure). ZP was the fastest model, and
with normal corneas, it remains an interesting option for testing and development, especially for
clustering tasks due to its transparent interpretability. The best compromise between accuracy and
speed for ML preprocessing is SHP.
The classification of corneal shapes with clinical parameters has a long tradition, but the
visualization of their effects on the corneal shape with group maps (average elevation maps,
standard deviation maps, average difference maps, etc.) is relatively recent. In the second study
(Chapter 3), we constructed an atlas of average elevation maps for different clinical variables
(including geometric, refraction and demographic variables) that can be instrumental in the
evaluation of ML task inputs (datasets) and outputs (predictions, clusters, etc.). A large dataset of
normal adult anterior corneal surface topographies recorded in the form of 101×101 elevation
matrices was first preprocessed by geometric modeling to reduce the dimensionality of the dataset
to a small number of Zernike coefficients found to be optimal for ML tasks. The modeled corneal
surfaces of the dataset were then grouped in accordance with the clinical variables available in the
dataset transformed into categorical variables. An average elevation map was constructed for each
group of corneal surfaces of each clinical variable in their natural (non-normalized) state and in
their normalized state by averaging their modeling coefficients to get an average surface and by
representing this average surface in reference to the best-fit sphere in a topographic elevation map.
To validate the atlas thus constructed in both its natural and normalized modalities, ANOVA tests
were conducted for each clinical variable of the dataset to verify their statistical consistency with
the literature before verifying whether the corneal shape transformations displayed in the maps
were themselves visually consistent. This was the case. The possible uses of such an atlas are
discussed.
The third study (Chapter 4) is concerned with the use of a dataset of geometrically modeled
corneal surfaces in an ML task of clustering. The unsupervised classification of corneal surfaces is
recent in ophthalmology. Most of the few existing studies on corneal clustering resort to feature
extraction (as opposed to geometric modeling) to achieve the dimensionality reduction of the dataset. The goal is usually to automate the process of corneal diagnosis, for instance by
distinguishing irregular corneal surfaces (keratoconus, Fuch, etc.) from normal surfaces and, in
some cases, by classifying irregular surfaces into subtypes. Complementary to these corneal
clustering studies, the proposed study resorts mainly to geometric modeling to achieve
dimensionality reduction and focuses on normal adult corneas in an attempt to identify their natural
groupings, possibly in combination with feature extraction methods. Geometric modeling was
based on Zernike polynomials, known for their interpretative transparency and sufficiently accurate
for normal corneas. Different types of clustering methods were evaluated in pretests to identify the
most effective at producing neatly delimitated clusters that are clearly interpretable. Their
evaluation was based on clustering scores (to identify the best number of clusters), polar charts and
scatter plots (to visualize the modeling coefficients involved in each cluster), average elevation
maps and average profile cuts (to visualize the average corneal surface of each cluster), and
statistical cluster comparisons on different clinical parameters (to validate the findings in reference
to the clinical literature). K-means, applied to geometrically modeled surfaces without feature
extraction, produced the best clusters, both for natural and normalized surfaces. While the clusters
produced with natural corneal surfaces were based on the corneal curvature, those produced with
normalized surfaces were based on the corneal axis. In each case, the best number of clusters was
four. The importance of curvature and axis as grouping criteria in corneal data distribution is
discussed.
The fourth study presented in this thesis (Chapter 5) explores the ML paradigm to verify whether
accurate predictions of normal corneal shapes can be made from clinical data, and how. The
database of normal adult corneal surfaces was first preprocessed by geometric modeling to reduce
its dimensionality into short vectors of 12 to 20 Zernike coefficients, found to be in the range of
appropriate numbers to achieve optimal predictions. The nonlinear regression methods examined
from the scikit-learn library were gradient boosting, Gaussian process, kernel ridge, random forest,
k-nearest neighbors, bagging, and multilayer perceptron. The predictors were based on the clinical
variables available in the database, including geometric variables (best-fit sphere radius, white-towhite diameter, anterior chamber depth, corneal side), refraction variables (sphere, cylinder, axis)
and demographic variables (age, gender). Each possible combination of regression method, set of
clinical variables (used as predictors) and number of Zernike coefficients (used as targets) defined
a regression model in a prediction test. All the regression models were evaluated based on their
mean RMSE score (establishing the distance between the predicted corneal surfaces and the raw
topographic true surfaces). The best model identified was further qualitatively assessed based on
an atlas of predicted and true average elevation maps by which the predicted surfaces could be
visually compared to the true surfaces on each of the clinical variables used as predictors. It was
found that the best regression model was gradient boosting using all available clinical variables as
predictors and 16 Zernike coefficients as targets. The most explicative predictor was the best-fit
sphere radius, followed by the side and refractive variables. The average elevation maps of the true
anterior corneal surfaces and the predicted surfaces based on this model were remarkably similar
for each clinical variable.
|
56 |
Выявление манипулятивных сделок на российском фондовом рынке : магистерская диссертация / Identification of the manipulative transactions on the Russian stock marketПлетнев, К. В., Pletnev, K. V. January 2018 (has links)
Final qualifying work (master's thesis) is devoted to the reserching of the methods of identifying the manipulations that undermine the effectiveness of the stock market. The subject of the research is the way of identifying manipulative transactions in the stock market of Russia. The main purpose of the research is the development of specific proposals and the selection of statistical methods relevant for the Russian stock market to improve the existing system of state control aimed at identifying various types and methods of manipulative trading in the stock market. In conclusion, practical steps for the strengthen of the stock market of the Russian Federation are formulated. / Выпускная квалификационная работа (магистерская диссертация) посвящена изучению методов выявления манипуляций, подрывающих эффективность фондового рынка. Предметом исследования выступают методы выявления манипулятивных сделок на российском фондовом рынке. Основной целью исследования выступает разработка конкретных предложений и выбор статистических методов, релевантных для российского фондового рынка, для совершенствования существующей системы государственного контроля, направленной на выявление различных видов и способов манипулятивной торговли на фондовом рынке. В заключении сформулированы практические шаги по укреплению фондового рынка Российской Федерации.
|
57 |
Predicting PV self-consumption in villas with machine learningGALLI, FABIAN January 2021 (has links)
In Sweden, there is a strong and growing interest in solar power. In recent years, photovoltaic (PV) system installations have increased dramatically and a large part are distributed grid connected PV systems i.e. rooftop installations. Currently the electricity export rate is significantly lower than the import rate which has made the amount of self-consumed PV electricity a critical factor when assessing the system profitability. Self-consumption (SC) is calculated using hourly or sub-hourly timesteps and is highly dependent on the solar patterns of the location of interest, the PV system configuration and the building load. As this varies for all potential installations it is difficult to make estimations without having historical data of both load and local irradiance, which is often hard to acquire or not available. A method to predict SC using commonly available information at the planning phase is therefore preferred. There is a scarcity of documented SC data and only a few reports treating the subject of mapping or predicting SC. Therefore, this thesis is investigating the possibility of utilizing machine learning to create models able to predict the SC using the inputs: Annual load, annual PV production, tilt angle and azimuth angle of the modules, and the latitude. With the programming language Python, seven models are created using regression techniques, using real load data and simulated PV data from the south of Sweden, and evaluated using coefficient of determination (R2) and mean absolute error (MAE). The techniques are Linear Regression, Polynomial regression, Ridge Regression, Lasso regression, K-Nearest Neighbors (kNN), Random Forest, Multi-Layer Perceptron (MLP), as well as the only other SC prediction model found in the literature. A parametric analysis of the models is conducted, removing one variable at a time to assess the model’s dependence on each variable. The results are promising, with five out of eight models achieving an R2 value above 0.9 and can be considered good for predicting SC. The best performing model, Random Forest, has an R2 of 0.985 and a MAE of 0.0148. The parametric analysis also shows that while more input data is helpful, using only annual load and PV production is sufficient to make good predictions. This can only be stated for model performance for the southern region of Sweden, however, and are not applicable to areas outside the latitudes or country tested. / I Sverige finns ett starkt och växande intresse för solenergi. De senaste åren har antalet solcellsanläggningar ökat dramatiskt och en stor del är distribuerade nätanslutna solcellssystem, dvs takinstallationer. För närvarande är elexportpriset betydligt lägre än importpriset, vilket har gjort mängden egenanvänd solel till en kritisk faktor vid bedömningen av systemets lönsamhet. Egenanvändning (EA) beräknas med tidssteg upp till en timmes längd och är i hög grad beroende av solstrålningsmönstret för platsen av intresse, PV-systemkonfigurationen och byggnadens energibehov. Eftersom detta varierar för alla potentiella installationer är det svårt att göra uppskattningar utan att ha historiska data om både energibehov och lokal solstrålning, vilket ofta inte är tillgängligt. En metod för att förutsäga EA med allmän tillgänglig information är därför att föredra. Det finns en brist på dokumenterad EA-data och endast ett fåtal rapporter som behandlar kartläggning och prediktion av EA. I denna uppsats undersöks möjligheten att använda maskininlärning för att skapa modeller som kan förutsäga EA. De variabler som ingår är årlig energiförbrukning, årlig solcellsproduktion, lutningsvinkel och azimutvinkel för modulerna och latitud. Med programmeringsspråket Python skapas sju modeller med hjälp av olika regressionstekniker, där energiförbruknings- och simulerad solelproduktionsdata från södra Sverige används. Modellerna utvärderas med hjälp av determinationskoefficienten (R2) och mean absolute error (MAE). Teknikerna som används är linjär regression, polynomregression, Ridge regression, Lasso regression, K-nearest neighbor regression, Random Forest regression, Multi-Layer Perceptron regression. En additionell linjär regressions-modell skapas även med samma metodik som används i en tidigare publicerad rapport. En parametrisk analys av modellerna genomförs, där en variabel exkluderas åt gången för att bedöma modellens beroende av varje enskild variabel. Resultaten är mycket lovande, där fem av de åtta undersökta modeller uppnår ett R2-värde över 0,9. Den bästa modellen, Random Forest, har ett R2 på 0,985 och ett MAE på 0,0148. Den parametriska analysen visar också att även om ingångsdata är till hjälp, är det tillräckligt att använda årlig energiförbrukning och årlig solcellsproduktion för att göra bra förutsägelser. Det måste dock påpekas att modellprestandan endast är tillförlitlig för södra Sverige, från var beräkningsdata är hämtad, och inte tillämplig för områden utanför de valda latituderna eller land.
|
58 |
PV self-consumption: Regression models and data visualizationTóth, Martos January 2022 (has links)
In Sweden the installed capacity of the residential PV systems is increasing every year. The lack of feed-in-tariff-scheme makes the techno-economic optimization of the PV systems mainly based on the self-consumption. The calculation of this parameter involves hourly building loads and hourly PV generation. This data cannot be obtained easily from households. A predictive model based on already available data would be preferred and needed in this case. The already available machine learning models can be suitable and have been tested but the amount of literature in this topic is fairly low. The machine learning models are using a dataset which includes real measurement data of building loads and simulated PV generation data and the calculated self-consumption data based on these two inputs. The simulation of PV generation can be based on Typical Meteorological Year (TMY) weather file or on measured weather data. The TMY file can be generated quicker and more easily, but it is only spatially matched to the building load, while the measured data is matched temporally and spatially. This thesis investigates if the usage of TMY file leads to any major impact on the performance of the regression models by comparing it to the measured weather file model. In this model the buildings are single-family houses from south Sweden region. The different building types can have different load profiles which can affect the performance of the model. Because of the different load profiles, the effect of using TMY file may have more significant impact. This thesis also compares the impact of the TMY file usage in the case of multifamily houses and also compares the two building types by performance of the machine learning models. The PV and battery prices are decreasing from year to year. The subsidies in Sweden offer a significant tax credit on battery investments with PV systems. This can make the batteries profitable. Lastly this thesis evaluates the performance of the machine learning models after adding the battery to the system for both TMY and measured data. Also, the optimal system is predicted based on the self-consumption, PV generation and battery size. The models have high accuracy, the random forest model is above 0.9 R2for all cases. The results confirm that using the TMY file only leads to marginal errors, and it can be used for the training of the models. The battery model has promising results with above 0.9 R2 for four models: random forest, k-NN, MLP and polynomial. The prediction of the optimal system model has promising results as well for the polynomial model with 18% error in predicted payback time compared to the reference. / I Sverige ökar den installerade kapaciteten för solcellsanläggningarna för bostäder varje år. Bristen på inmatningssystem gör att den tekniska ekonomiska optimeringen av solcellssystemen huvudsakligen bygger på egen konsumtion. Beräkningen av denna parameter omfattar byggnadsbelastningar per timme och PV-generering per timme. Dessa uppgifter kan inte lätt erhållas från hushållen. En prediktiv modell baserad på redan tillgängliga data skulle vara att föredra och behövas i detta fall. De redan tillgängliga maskininlärningsmodellerna kan vara lämpliga och redan testade men mängden litteratur i detta ämne är ganska låg. Maskininlärningsmodellerna använder en datauppsättning som inkluderar verkliga mätdata från byggnader och simulerad PV-genereringsdata och den beräknade egenförbrukningsdata baserad på dessa två indata. Simuleringen av PV-generering kan baseras på väderfilen Typical Meteorological Year (TMY) eller på uppmätta väderdata. TMY-filen kan genereras snabbare och enklare, men den anpassas endast rumsligt till byggnadsbelastningen, medan uppmätta data är temporärt och rumsligt. Denna avhandling undersöker om användningen av TMY-fil leder till någon större påverkan på prestandan genom att jämföra den med den uppmätta väderfilsmodellen. I denna modell är byggnaderna småhus från södra Sverige. De olika byggnadstyperna kan ha olika belastningsprofiler vilket kan påverka modellens prestanda. På grund av dessa olika belastningsprofiler kan effekten av att använda TMY-fil ha mer betydande inverkan. Den här avhandlingen jämför också effekten av TMY-filanvändningen i fallet med flerfamiljshus och jämför också de två byggnadstyperna efter prestanda för maskininlärningsmodellerna. PV- och batteripriserna minskar från år till år. Subventionerna i Sverige ger en betydande skattelättnad på batteriinvesteringar med solcellssystem. Detta kan göra batterierna lönsamma. Slutligen utvärderar denna avhandling prestandan för maskininlärningsmodellerna efter att ha lagt till batteriet i systemet för både TMY och uppmätta data. Det optimala systemet förutsägs också baserat på egen förbrukning, årlig byggnadsbelastning, årlig PV-generering och batteristorlek. Modellerna har hög noggrannhet, den slumpmässiga skogsmodellen är över 0,9 R2 för alla fall. Resultaten bekräftar att användningen av TMY-filen endast leder till marginella fel, och den kan användas för träning av modellerna. Batterimodellen har lovande resultat med över 0,9 R2 för fyra modeller: random skog, k-NN, MLP och polynom. Förutsägelsen av den optimala systemmodellen har också lovande resultat för polynommodellen med 18 % fel i förutspådd återbetalningstid jämfört med referensen.
|
59 |
Crisis Impact Prediction: A Data-driven ApproachPaglamidis, Konstantinos January 2024 (has links)
The field of crisis management and humanitarian assistance has been one of the major fields of development for governmental and common best European practices in the last decades. The European Union as a major humanitarian stakeholder has taken great effort to strengthen the response in case of humanitarian disasters. This work addresses the feasibility and possible benefits of using machine learning in the prediction of the impact severity of a disaster as a model-driven data analysis in comparison to data-driven reference models for early response coordination and preparedness. In comparison to classical data analysis systems the feasibility of earthquake impact prediction based on machine learning models is evaluated and further debated.
|
60 |
Porovnání klasifikačních metod / Comparison of Classification MethodsDočekal, Martin January 2019 (has links)
This thesis deals with a comparison of classification methods. At first, these classification methods based on machine learning are described, then a classifier comparison system is designed and implemented. This thesis also describes some classification tasks and datasets on which the designed system will be tested. The evaluation of classification tasks is done according to standard metrics. In this thesis is presented design and implementation of a classifier that is based on the principle of evolutionary algorithms.
|
Page generated in 0.0533 seconds