Global ETD Search

61	Auto-Tuning Apache Spark Parameters for Processing Large Datasets / Auto-Optimering av Apache Spark-parametrar för bearbetning av stora datamängder Zhou, Shidi January 2023 (has links) Apache Spark is a popular open-source distributed processing framework that enables efficient processing of large amounts of data. Apache Spark has a large number of configuration parameters that are strongly related to performance. Selecting an optimal configuration for Apache Spark application deployed in a cloud environment is a complex task. Making a poor choice may not only result in poor performance but also increases costs. Manually adjusting the Apache Spark configuration parameters can take a lot of time and may not lead to the best outcomes, particularly in a cloud environment where computing resources are allocated dynamically, and workloads can fluctuate significantly. The focus of this thesis project is the development of an auto-tuning approach for Apache Spark configuration parameters. Four machine learning models are formulated and evaluated to predict Apache Spark’s performance. Additionally, two models for Apache Spark configuration parameter search are created and evaluated to identify the most suitable parameters, resulting in the shortest execution time. The obtained results demonstrates that with the developed auto-tuning approach and adjusting Apache Spark configuration parameters, Apache Spark applications can achieve a shorter execution time than when using the default parameters. The developed auto-tuning approach gives an improved cluster utilization and shorter job execution time, with an average performance improvement of 49.98%, 53.84%, and 64.16% for the three different types of Apache Spark applications benchmarked. / Apache Spark är en populär öppen källkodslösning för distribuerad databehandling som möjliggör effektiv bearbetning av stora mängder data. Apache Spark har ett stort antal konfigurationsparametrar som starkt påverkar prestandan. Att välja en optimal konfiguration för en Apache Spark-applikation som distribueras i en molnmiljö är en komplex uppgift. Ett dåligt val kan inte bara leda till dålig prestanda utan också ökade kostnader. Manuell anpassning av Apache Spark-konfigurationsparametrar kan ta mycket tid och leda till suboptimala resultat, särskilt i en molnmiljö där beräkningsresurser tilldelas dynamiskt och arbetsbelastningen kan variera avsevärt. Fokus för detta examensprojekt är att utveckla en automatisk optimeringsmetod för konfigurationsparametrarna i Apache Spark. Fyra maskininlärningsmodeller formuleras och utvärderas för att förutsäga Apache Sparks prestanda. Dessutom skapas och utvärderas två modeller för att söka efter de mest lämpliga konfigurationsparametrarna för Apache Spark, vilket resulterar i kortast möjliga exekveringstid. De erhållna resultaten visar att den utvecklade automatiska optimeringsmetoden, med anpassning av Apache Sparks konfigurationsparameterar, bidrar till att Apache Spark-applikationer kan uppnå kortare exekveringstider än vid användning av standard-parametrar. Den utvecklade metoden för automatisk optimering bidrar till en förbättrad användning av klustret och kortare exekveringstider, med en genomsnittlig prestandaförbättring på 49,98%, 53,84% och 64,16% för de tre olika typerna av Apache Spark-applikationer som testades. Apache Spark Cloud Environment Spark Configuration Parameter Resource Utilization Ridge Regression Elastic Net Random Forest Deep Neural Network Bayesian Optimization Particle Swarm Optimization. Apache Spark Molnmiljö Apache Spark konfigurationsparameter Resursutnyttjande Ridge-regression Elastisk nät Slumpskog Djupt neuralt nätverk Bayesiansk optimering Partikelsvärmsoptimering. Computer and Information Sciences Data- och informationsvetenskap
62	Unsupervised Anomaly Detection and Root Cause Analysis in HFC Networks : A Clustering Approach Forsare Källman, Povel January 2021 (has links) Following the significant transition from the traditional production industry to an informationbased economy, the telecommunications industry was faced with an explosion of innovation, resulting in a continuous change in user behaviour. The industry has made efforts to adapt to a more datadriven future, which has given rise to larger and more complex systems. Therefore, troubleshooting systems such as anomaly detection and root cause analysis are essential features for maintaining service quality and facilitating daily operations. This study aims to explore the possibilities, benefits, and drawbacks of implementing cluster analysis for anomaly detection in hybrid fibercoaxial networks. Based on the literature review on unsupervised anomaly detection and an assumption regarding the anomalous behaviour in hybrid fibercoaxial network data, the kmeans, SelfOrganizing Map, and Gaussian Mixture Model were implemented both with and without Principal Component Analysis. Analysis of the results demonstrated an increase in performance for all models when the Principal Component Analysis was applied, with kmeans outperforming both SelfOrganizing Map and Gaussian Mixture Model. On this basis, it is recommended to apply Principal Component Analysis for clusteringbased anomaly detection. Further research is necessary to identify whether cluster analysis is the most appropriate unsupervised anomaly detection approach. / Följt av övergången från den traditionella tillverkningsindustrin till en informationsbaserad ekonomi stod telekommunikationsbranschen inför en explosion av innovation. Detta skifte resulterade i en kontinuerlig förändring av användarbeteende och branschen tvingades genomgå stora ansträngningar för att lyckas anpassa sig till den mer datadrivna framtiden. Större och mer komplexa system utvecklades och således blev felsökningsfunktioner såsom anomalidetektering och rotfelsanalys centrala för att upprätthålla servicekvalitet samt underlätta för den dagliga driftverksamheten. Syftet med studien är att utforska de möjligheterna, för- samt nackdelar med att använda klusteranalys för anomalidetektering inom HFC- nätverk. Baserat på litteraturstudien för oövervakad anomalidetektering samt antaganden för anomalibeteenden inom HFC- data valdes algritmerna k- means, Self- Organizing Map och Gaussian Mixture Model att implementeras, både med och utan Principal Component Analysis. Analys av resultaten påvisade en uppenbar ökning av prestanda för samtliga modeller vid användning av PCA. Vidare överträffade k- means, både Self- Organizing Maps och Gaussian Mixture Model. Utifrån resultatanalysen rekommenderas det således att PCA bör tillämpas vid klusterings- baserad anomalidetektering. Vidare är ytterligare forskning nödvändig för att avgöra huruvida klusteranalys är den mest lämpliga metoden för oövervakad anomalidetektering. Anomaly Detection Root Cause Analysis Cluster Analysis k- means Self- Organizing Map Gaussian Mixture Model Dimensionality Reduction Principal Component Analysis Hybrid Fiber- Coaxial Network. Anomalidetektering Rotfelsanalys Klusteranalys k- means Self- Organizing Map Gaussian Mixture Model Dimensionsreducering Principal Component Analysis Hybrid Fiber Coax- nät. Computer and Information Sciences Data- och informationsvetenskap
63	Högtempererat borrhålslager för fjärrvärme / High Temperature Borehole Thermal Energy Storage for District Heating Hallqvist, Karl January 2014 (has links) The district heating load is seasonally dependent, with a low load during periods of high ambient temperature. Thermal energy storage (TES) has the potential to shift heating loads from winter to summer, thus reducing cost and environmental impact of District Heat production. In this study, a concept of high temperature borehole thermal energy storage (HT-BTES) together with a pellet heating plant for temperature boost, is presented and evaluated by its technical limitations, its ability to supply heat, its function within the district heating system, as well as its environmental impact and economic viability in Gothenburg, Sweden, a city with access to high quantities of waste heat. The concept has proven potentially environmentally friendly and potentially profitable if its design is balanced to achieve a good enough supply temperature from the HT-BTES. The size of the heat storage, the distance between boreholes and low borehole thermal resistance are key parameters to achieve high temperature. Profitability increases if a location with lower temperature demand, as well as risk of future shortage of supply, can be met. Feasibility also increases if existing pellet heating plant and district heating connection can be used and if lower rate of return on investment can be accepted. Access to HT-BTES in the district heating network enables greater flexibility and availability of production of District Heating, thereby facilitating readjustments to different strategies and policies. However, concerns for the durability of feasible borehole heat exchangers (BHE) exist in high temperature application. / Värmebehovet är starkt säsongsberoende, med låg last under perioder av högre omgivningstemperatur och hög last under perioder av lägre omgivningstemperaturer. I Göteborg finns en stor mängd spillvärme tillgängligt för fjärrvärmeproduktion sommartid när behovet av värme är lågt. Tillgång till säsongsvärmelager möjliggör att fjärrvärmeproduktion flyttas från vinterhalvår till sommarhalvår, vilket kan ge såväl lönsamhet som miljönytta. Borrhålsvärmelager är ett förhållandevis billigt sätt att lagra värme, och innebär att berggrunden värms upp under sommaren genom att varmt vatten flödar i borrhål, för att under vinterhalvåret användas genom att låta kallt vatten flöda i borrhålen och värmas upp. I traditionella borrhålsvärmelager används ofta värmepump för att höja värmelagrets urladdade temperatur, men på grund av höga temperaturkrav för fjärrvärme kan kostnaden för värmepump bli hög. I denna rapport föreslås ett system för att klara av att nå höga temperaturer till en lägre kostnad. Systemet består av ett borrhålsvärmelager anpassat för högre temperaturer (HT-BTES) samt pelletspannor för att spetsa lagrets utgående fluid för att nå hög temperatur. Syftet med rapporten är att undersöka potentialen för detta HT-BTES-system med avseende på dess tekniska begränsningar, förmåga till fjärrvärmeleverans, konsekvenser för fjärrvärmesystemet, samt lönsamhet och miljöpåverkan. För att garantera att inlagringen av värme inte är så stor att priset för inlagrad värme ökar väsentligt, utgår inlagringen från hur mycket värme som kyls bort i fjärrvärmenätet sommartid. I verkligheten finns betydligt mer värme tillgänglig till låg kostnad. När HT-BTES-systemet producerar fjärrvärme, ersätts fjärrvärmeproduktion från andra produktionsenheter, förutsatt att HT-BTES-systemets rörliga kostnader är lägre. I Göteborg ersätts främst naturgas från kraftvärme, men också en del flis. Kostnadsbesparingen beror på differensen för total fjärrvärmeproduktionskostnad med och utan HT-BTES-systemet. Undersökningen visar att besparingen är större om HT-BTES-systemet placeras i ett område där det är möjligt att mata ut fjärrvärme med lägre temperatur. Om urladdning från HT-BTES kan ske med hög temperatur ökar också besparingen. Detta sker om lagrets volym ökar, om avståndet mellan borrhål minskar eller om värmeöverföringen mellan det flödande vattnet i borrhålen och berggrunden ökar. Dessa egenskaper för lagret leder också till minskade koldioxidutsläpp. Storleken på besparingen beror dock i hög grad på hur bränslepriser utvecklas i framtiden. Strategiska fördelar med HT-BTES-systemet inkluderar; minskad miljöpåverkan, robust system med lång teknisk livslängd (för delar av HT-BTES-systemet), samt att inlagring av värme kan ske från många olika produktionsenheter. Dessutom kan positiva bieffekter identifieras. Undersökningen visar att HT-BTES-systemet har god potential att ge lönsamhet och minskad miljöpåverkan, och att anläggning och drift av lagret kan ske utan omfattande lokal miljöpåverkan. Det har också visats att de geologiska förutsättningarna för HT-BTES är goda på många platser i Göteborg, även om lokala förhållanden kan skilja sig åt. För att nå lönsamhet för HT-BTES-systemet krävs en avvägning på utformning av lagret för att nå hög urladdad temperatur utan att investeringskostnaden blir för stor. Undersökningen visar att om anslutning av HT-BTES-systemet kan ske mot befintlig anslutningspunkt eller till befintlig värmepanna kan investeringskostnaden minska och därmed lönsamheten öka. Placering av HT-BTES-systemet i områden med risk för överföringsbegränsningar kan också minska behovet av att förstärka fjärrvärmenätet, och således bidra till att minska de kostnader som förstärkning av nätet innebär. Betydelsefulla parametrar för att nå lönsamhet för HT-BTES-system inkluderar dessutom kostnaden för inlagrad värme liksom vilket vinstkrav som kan accepteras. Tillgång till HT-BTES möjliggör ökad nyttjandegrad och flexibilitet för fjärrvärmeproduktionsenheter, och därmed ökad anpassningsmöjlighet till förändrade förutsättningar på värmemarknaden. Dock återstår att visa att komponenter som klarar de höga temperaturkraven kan tillverkas till acceptabel kostnad. HT-BTES BTES TES High Temperature Borehole Duct Thermal Energy Storage District Heating Seasonal Storage Storage Pellet Heat Plant Energy Power Flow Martes Environmental impact Finance Investment Cost Technology Drilling Saving Gothenburg Heat Transfer Bedrock Review Feasibility Study Load Peak load Base load District Heating Production Network Grid Pipe Borehole Heat exchanger Collector New Future Generation Low temperature Bottle neck System Successive calculation Matlab Computor programming Science HT-BTES BTES TES Borrhålslager Säsongslager Fjärrvärme Martes Värmelager Pellets Panna Energi Effekt Flöde Miljöpåverkan Ekonomi Investeringskostnad Teknik Borrning Besparing Göteborg Värmeöverföring Berggrund Review Förstudie Borrhål Last Spetslast Baslast Fjärrvärmeproduktion Hög temperatur Produktion Nät Rör Kollektor Borrhålsvärmeväxlare Ny Framtid Generation Låg temperatur Flaskhals System Successive kalkylering Matlab Data programmering Vetenskap

Page generated in 0.0452 seconds