This degree project undertakes a detailed examination of various algorithms used in Very Short-Term Load Forecasting (VSTLF) within network control systems, prioritizing forecasting accuracy and computational efficiency as critical evaluation criteria. The research comprehensively assesses a range of forecasting methods, including statistical models, machine learning algorithms, and advanced deep learning techniques, aiming to highlight their respective advantages, limitations, and suitability for different operational contexts. The study conducts a detailed analysis by comparing essential performance metrics such as Root Mean Squared Error (RMSE), Mean Absolute Percentage Error (MAPE), and execution time, before and after implementing adjustments to the formulations. This approach highlights how optimization strategies enhance the effectiveness of the models. Notably, the study identifies Support Vector Machine (SVM) and Multiple Linear Regression as frontrunners in terms of balancing accuracy with computational demand, making them particularly suitable for real-time forecasting needs. Meanwhile, Long Short-Term Memory (LSTM) networks demonstrate a commendable ability to capture complex, non-linear data patterns, albeit at a higher computational cost. The degree project further explores the sensitivity of these forecasting models to parameter adjustments, revealing a nuanced landscape where strategic modifications can significantly enhance model performance. This degree project not only contributes to the ongoing discourse on optimizing VSTLF algorithms but also provides actionable insights for stakeholders in the energy sector, aiming to facilitate the development of more reliable, efficient, and sustainable power system operations.

<p>Examensarbetet handlar om en jämförelsestudie av beräkningseffektivitet med avseende på energi- och tidsförbrukning mellan grafikkort och processorer i persondatorer och PlayStation 3.</p><p>Problemet studeras för att göra allmänheten uppmärksam på att det går att lösa en del av energiproblematiken med beräkningar genom att öka energieffektiviteten av beräkningsenheterna.</p><p>Undersökningen har genomförts på ett explorativt sätt och studerar förhållandet mellan processorer, grafikkort och vilken som presterar bäst i vilket sammanhang. Prestandatest genomförs med molekylberäkningsprogrammet F@H och med filkomprimeringsprogrammet WinRAR. Testerna utförs på MultiCore- och SingleCorePCs och PS3s av olika karaktär. I vissa test mäts effektförbrukning för att kunna räkna ut hur energieffektiva vissa system är.</p><p>Resultatet visar tydligt hur den genomsnittliga effektförbrukningen och energieffektiviteten för olika testsystem skiljer sig vid belastning, viloläge och olika typer beräkningar.</p> / <p>The thesis is a comparative study of computational efficiency in terms of energy and time consumption of graphics cards and processors in personal computers and Playstation3’s.</p><p>The problem is studied in order to make the public aware that it is possible to solve some of the energy problems with computations by increasing energy efficiency of the computational units.</p><p>The audit was conducted in an exploratory way, studying the relationship between the processors, graphics cards and which one performs best in which context. Performance tests are carried out by the molecule calculating F@H-program and the file compression program WinRAR. Tests performed on MultiCore and SingleCore PC’s and PS3’s with different characteristics. In some tests power consumption is measured in order to figure out how energy-efficient certain systems are.</p><p>The results clearly show how the average power consumption and energy efficiency for various test systems at differ at load, sleep and various calculations.</p><p> </p>

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique. / Despite constant progress in terms of available computational power, memory and amount of data, machine learning algorithms need to be efficient in how they use them. Although minimizing cost is an obvious major concern, another motivation is to attempt to design algorithms that can learn as efficiently as intelligent species. This thesis tackles the problem of efficient learning through various papers dealing with a wide range of machine learning algorithms: this topic is seen both from the point of view of computational efficiency (processing power and memory required by the algorithms) and of statistical efficiency (n umber of samples necessary to solve a given learning task).The first contribution of this thesis is in shedding light on various statistical inefficiencies in existing algorithms. Indeed, we show that decision trees do not generalize well on tasks with some particular properties (chapter 3), and that a similar flaw affects typical graph-based semi-supervised learning algorithms (chapter 5). This flaw is a form of curse of dimensionality that is specific to each of these algorithms. For a subclass of neural networks, called sum-product networks, we prove that using networks with a single hidden layer can be exponentially less efficient than when using deep networks (chapter 4). Our analyses help better understand some inherent flaws found in these algorithms, and steer research towards approaches that may potentially overcome them. We also exhibit computational inefficiencies in popular graph-based semi-supervised learning algorithms (chapter 5) as well as in the learning of mixtures of Gaussians with missing data (chapter 6). In both cases we propose new algorithms that make it possible to scale to much larger datasets. The last two chapters also deal with computational efficiency, but in different ways. Chapter 7 presents a new view on the contrastive divergence algorithm (which has been used for efficient training of restricted Boltzmann machines). It provides additional insight on the reasons why this algorithm has been so successful. Finally, in chapter 8 we describe an application of machine learning to video games, where computational efficiency is tied to software and hardware engineering constraints which, although often ignored in research papers, are ubiquitous in practice.

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique. / Despite constant progress in terms of available computational power, memory and amount of data, machine learning algorithms need to be efficient in how they use them. Although minimizing cost is an obvious major concern, another motivation is to attempt to design algorithms that can learn as efficiently as intelligent species. This thesis tackles the problem of efficient learning through various papers dealing with a wide range of machine learning algorithms: this topic is seen both from the point of view of computational efficiency (processing power and memory required by the algorithms) and of statistical efficiency (n umber of samples necessary to solve a given learning task).The first contribution of this thesis is in shedding light on various statistical inefficiencies in existing algorithms. Indeed, we show that decision trees do not generalize well on tasks with some particular properties (chapter 3), and that a similar flaw affects typical graph-based semi-supervised learning algorithms (chapter 5). This flaw is a form of curse of dimensionality that is specific to each of these algorithms. For a subclass of neural networks, called sum-product networks, we prove that using networks with a single hidden layer can be exponentially less efficient than when using deep networks (chapter 4). Our analyses help better understand some inherent flaws found in these algorithms, and steer research towards approaches that may potentially overcome them. We also exhibit computational inefficiencies in popular graph-based semi-supervised learning algorithms (chapter 5) as well as in the learning of mixtures of Gaussians with missing data (chapter 6). In both cases we propose new algorithms that make it possible to scale to much larger datasets. The last two chapters also deal with computational efficiency, but in different ways. Chapter 7 presents a new view on the contrastive divergence algorithm (which has been used for efficient training of restricted Boltzmann machines). It provides additional insight on the reasons why this algorithm has been so successful. Finally, in chapter 8 we describe an application of machine learning to video games, where computational efficiency is tied to software and hardware engineering constraints which, although often ignored in research papers, are ubiquitous in practice.

Examensarbetet handlar om en jämförelsestudie av beräkningseffektivitet med avseende på energi- och tidsförbrukning mellan grafikkort och processorer i persondatorer och PlayStation 3. Problemet studeras för att göra allmänheten uppmärksam på att det går att lösa en del av energiproblematiken med beräkningar genom att öka energieffektiviteten av beräkningsenheterna. Undersökningen har genomförts på ett explorativt sätt och studerar förhållandet mellan processorer, grafikkort och vilken som presterar bäst i vilket sammanhang. Prestandatest genomförs med molekylberäkningsprogrammet F@H och med filkomprimeringsprogrammet WinRAR. Testerna utförs på MultiCore- och SingleCorePCs och PS3s av olika karaktär. I vissa test mäts effektförbrukning för att kunna räkna ut hur energieffektiva vissa system är. Resultatet visar tydligt hur den genomsnittliga effektförbrukningen och energieffektiviteten för olika testsystem skiljer sig vid belastning, viloläge och olika typer beräkningar. / The thesis is a comparative study of computational efficiency in terms of energy and time consumption of graphics cards and processors in personal computers and Playstation3’s. The problem is studied in order to make the public aware that it is possible to solve some of the energy problems with computations by increasing energy efficiency of the computational units. The audit was conducted in an exploratory way, studying the relationship between the processors, graphics cards and which one performs best in which context. Performance tests are carried out by the molecule calculating F@H-program and the file compression program WinRAR. Tests performed on MultiCore and SingleCore PC’s and PS3’s with different characteristics. In some tests power consumption is measured in order to figure out how energy-efficient certain systems are. The results clearly show how the average power consumption and energy efficiency for various test systems at differ at load, sleep and various calculations.

La théorie du processus dual stipule que la cognition humaine fonctionne selon deux modes distincts : l’un pour le traitement rapide, habituel et associatif, appelé communément "système 1" et le second, ayant un traitement plus lent, délibéré et contrôlé, que l’on nomme "système 2". Cette distinction indique une caractéristique sous-jacente importante de la cognition humaine : la possibilité de passer de manière adaptative à différentes stratégies de calcul selon la situation. Cette capacité est étudiée depuis longtemps dans différents domaines et de nombreux bénéfices hypothétiques semblent y être liés. Cependant, les réseaux neuronaux profonds sont souvent construits sans cette capacité à gérer leurs ressources calculatoires de manière optimale. Cette limitation des modèles actuels est d’autant plus préoccupante que de plus en plus de travaux récents semblent montrer une relation linéaire entre la capacité de calcul utilisé et les performances du modèle lors de la phase d’évaluation. Pour résoudre ce problème, ce mémoire propose différentes approches et étudie leurs impacts sur les modèles, tout d’abord, nous étudions un agent d’apprentissage par renforcement profond qui est capable d’allouer plus de calcul aux situations plus difficiles. Notre approche permet à l’agent d’adapter ses ressources computationnelles en fonction des exigences de la situation dans laquelle il se trouve, ce qui permet en plus d’améliorer le temps de calcul, améliore le transfert entre des tâches connexes et la capacité de généralisation. L’idée centrale commune à toutes nos approches est basée sur les théories du coût de l’effort venant de la littérature sur le contrôle cognitif qui stipule qu’en rendant l’utilisation de ressource cognitive couteuse pour l’agent et en lui laissant la possibilité de les allouer lors de ses décisions il va lui-même apprendre à déployer sa capacité de calcul de façon optimale. Ensuite, nous étudions des variations de la méthode sur une tâche référence d’apprentissage profond afin d’analyser précisément le comportement du modèle et quels sont précisément les bénéfices d’adopter une telle approche. Nous créons aussi notre propre tâche "Stroop MNIST" inspiré par le test de Stroop utilisé en psychologie afin de valider certaines hypothèses sur le comportement des réseaux neuronaux employant notre méthode. Nous finissons par mettre en lumière les liens forts qui existent entre apprentissage dual et les méthodes de distillation des connaissances. Notre approche a la particularité d’économiser des ressources computationnelles lors de la phase d’inférence. Enfin, dans la partie finale, nous concluons en mettant en lumière les contributions du mémoire, nous détaillons aussi des travaux futurs, nous approchons le problème avec les modèles basés sur l’énergie, en apprenant un paysage d’énergie lors de l’entrainement, le modèle peut ensuite lors de l’inférence employer une capacité de calcul dépendant de la difficulté de l’exemple auquel il fait face plutôt qu’une simple propagation avant fixe ayant systématiquement le même coût calculatoire. Bien qu’ayant eu des résultats expérimentaux infructueux, nous analysons les promesses que peuvent tenir une telle approche et nous émettons des hypothèses sur les améliorations potentielles à effectuer. Nous espérons, avec nos contributions, ouvrir la voie vers des algorithmes faisant un meilleur usage de leurs ressources computationnelles et devenant par conséquent plus efficace en termes de coût et de performance, ainsi que permettre une compréhension plus intime des liens qui existent entre certaines méthodes en apprentissage machine et la théorie du processus dual. / The dual-process theory states that human cognition operates in two distinct modes: one for rapid, habitual and associative processing, commonly referred to as "system 1", and the second, with slower, deliberate and controlled processing, which we call "system 2". This distinction points to an important underlying feature of human cognition: the ability to switch adaptively to different computational strategies depending on the situation. This ability has long been studied in various fields, and many hypothetical benefits seem to be linked to it. However, deep neural networks are often built without this ability to optimally manage their computational resources. This limitation of current models is all the more worrying as more and more recent work seems to show a linear relationship between the computational capacity used and model performance during the evaluation phase. To solve this problem, this thesis proposes different approaches and studies their impact on models. First, we study a deep reinforcement learning agent that is able to allocate more computation to more difficult situations. Our approach allows the agent to adapt its computational resources according to the demands of the situation in which it finds itself, which in addition to improving computation time, enhances transfer between related tasks and generalization capacity. The central idea common to all our approaches is based on cost-of-effort theories from the cognitive control literature, which stipulate that by making the use of cognitive resources costly for the agent, and allowing it to allocate them when making decisions, it will itself learn to deploy its computational capacity optimally. We then study variations of the method on a reference deep learning task, to analyze precisely how the model behaves and what the benefits of adopting such an approach are. We also create our own task "Stroop MNIST" inspired by the Stroop test used in psychology to validate certain hypotheses about the behavior of neural networks employing our method. We end by highlighting the strong links between dual learning and knowledge distillation methods. Finally, we approach the problem with energy-based models, by learning an energy landscape during training, the model can then during inference employ a computational capacity dependent on the difficulty of the example it is dealing with rather than a simple fixed forward propagation having systematically the same computational cost. Despite unsuccessful experimental results, we analyze the promise of such an approach and speculate on potential improvements. With our contributions, we hope to pave the way for algorithms that make better use of their computational resources, and thus become more efficient in terms of cost and performance, as well as providing a more intimate understanding of the links that exist between certain machine learning methods and dual process theory.

[ES] La resolución de ecuaciones y sistemas no lineales es un tema de gran interés teórico-práctico, pues muchos modelos matemáticos de la ciencia o de la industria se expresan mediante sistemas no lineales o ecuaciones diferenciales o integrales que, mediante técnicas de discretización, dan lugar a dichos sistemas. Dado que generalmente es difícil, si no imposible, resolver analíticamente las ecuaciones no lineales, la herramienta más extendida son los métodos iterativos, que tratan de obtener aproximaciones cada vez más precisas de las soluciones partiendo de determinadas estimaciones iniciales. Existe una variada literatura sobre los métodos iterativos para resolver ecuaciones y sistemas, que abarca conceptos como, eficiencia, optimalidad, estabilidad, entre otros importantes temas. En este estudio obtenemos nuevos métodos iterativos que mejoran algunos conocidos en términos de orden o eficiencia, es decir que obtienen mejores aproximaciones con menor coste computacional. La convergencia de los métodos iterativos suele estudiarse desde el punto de vista local. Esto significa que se obtienen resultados de convergencia imponiendo condiciones a la ecuación en un entorno de la solución. Obviamente, estos resultados no son aplicables si no la conocemos. Otro punto de vista, que abordamos en este trabajo, es el estudio semilocal que, imponiendo condiciones en un entorno de la estimación inicial, proporciona un entorno de dicho punto que contiene la solución y garantiza la convergencia del método iterativo a la misma. Finalmente, desde un punto de vista global, estudiamos el comportamiento de los métodos iterativos en función de la estimación inicial, mediante el estudio de la dinámica de las funciones racionales asociadas a estos métodos. La presente memoria recoge los resultados de varios artículos de nuestra autoría, en los que se tratan distintos aspectos de la materia, como son, las peculiaridades de la convergencia en el caso de raíces múltiples, la posibilidad de aumentar el orden de un método óptimo de orden cuatro a orden ocho, manteniendo la optimalidad en el caso de raíces múltiples, el estudio de la convergencia semilocal en un método de alto orden, así como el comportamiento dinámico de algunos métodos iterativos. / [CA] La resolució d'equacions i sistemes no lineals és un tema de gran interés teoricopràctic, perquè molts models matemàtics de la ciència o de la indústria s'expressen mitjançant sistemes no lineals o equacions diferencials o integrals que, mitjançant tècniques de discretizació, donen lloc a aquests sistemes. Atés que generalment és difícil, si no impossible, resoldre analíticament les equacions no lineals, l'eina més estesa són els mètodes iteratius, que tracten d'obtindre aproximacions cada vegada més precises de les solucions partint de determinades estimacions inicials. Existeix una variada literatura sobre els mètodes iteratius per a resoldre equacions i sistemes, que abasta conceptes com ordre d'aproximació, eficiència, optimalitat, estabilitat, entre altres importants temes. En aquest estudi obtenim nous mètodes iteratius que milloren alguns coneguts en termes d'ordre o eficiència, és a dir que obtenen millors aproximacions amb menor cost computacional. La convergència dels mètodes iteratius sol estudiar-se des del punt de vista local. Això significa que s'obtenen resultats de convergència imposant condicions a l'equació en un entorn de la solució. Òbviament, aquests resultats no són aplicables si no la coneixem. Un altre punt de vista, que abordem en aquest treball, és l'estudi semilocal que, imposant condicions en un entorn de l'estimació inicial, proporciona un entorn d'aquest punt que conté la solució i garanteix la convergència del mètode iteratiu a aquesta. Finalment, des d'un punt de vista global, estudiem el comportament dels mètodes iteratius en funció de l'estimació inicial, mitjançant l'estudi de la dinàmica de les funcions racionals associades a aquests mètodes. La present memòria recull els resultats de diversos articles de la nostra autoria, en els quals es tracten diferents aspectes de la matèria, com són, les peculiaritats de la convergència en el cas d'arrels múltiples, la possibilitat d'augmentar l'ordre d'un mètode òptim d'ordre quatre a ordre huit, mantenint l'optimalitat en el cas d'arrels múltiples, l'estudi de la convergència semilocal en un mètode d'alt ordre, així com el comportament dinàmic d'alguns mètodes iteratius. / [EN] The resolution of nonlinear equations and systems is a subject of great theoretical and practical interest, since many mathematical models in science or industry are expressed through nonlinear systems or differential or integral equations that, by means of discretization techniques, give rise to such systems. Since it is generally difficult, if not impossible, to solve nonlinear equations analytically, the most widely used tool is iterative methods, which try to obtain increasingly precise approximations of the solutions based on certain initial estimates. There is a varied literature on iterative methods for solving equations and systems, which covers concepts of order of approximation, efficiency, optimality, stability, among other important topics. In this study we obtain new iterative methods that improve some known ones in terms of order or efficiency, that is, they obtain better approximations with lower computational cost. The convergence of iterative methods is usually studied locally. This means that convergence results are obtained by imposing conditions on the equation in a neighbourhood of the solution. Obviously, these results are not applicable if we do not know it. Another point of view, which we address in this work, is the semilocal study that, by imposing conditions in a neighbourhood of the initial estimation, provides an environment of this point that contains the solution and guarantees the convergence of the iterative method to it. Finally, from a global point of view, we study the behaviour of iterative methods as a function of the initial estimation, by studying the dynamics of the rational functions associated with these methods. This report collects the results of several articles of our authorship, in which different aspects of the matter are dealt with, such as the peculiarities of convergence in the case of multiple roots, the possibility of increasing the order of an optimal method from order four to order eight, maintaining optimality in the case of multiple roots, the study of semilocal convergence in a high-order method, as well as the dynamic behaviour of some iterative methods. / Cevallos Alarcón, FA. (2023). Métodos iterativos para la resolución de problemas aplicados transformados a sistemas no lineales [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/193495