Global ETD Search

61	Auto-Tuning Apache Spark Parameters for Processing Large Datasets / Auto-Optimering av Apache Spark-parametrar för bearbetning av stora datamängder Zhou, Shidi January 2023 (has links) Apache Spark is a popular open-source distributed processing framework that enables efficient processing of large amounts of data. Apache Spark has a large number of configuration parameters that are strongly related to performance. Selecting an optimal configuration for Apache Spark application deployed in a cloud environment is a complex task. Making a poor choice may not only result in poor performance but also increases costs. Manually adjusting the Apache Spark configuration parameters can take a lot of time and may not lead to the best outcomes, particularly in a cloud environment where computing resources are allocated dynamically, and workloads can fluctuate significantly. The focus of this thesis project is the development of an auto-tuning approach for Apache Spark configuration parameters. Four machine learning models are formulated and evaluated to predict Apache Spark’s performance. Additionally, two models for Apache Spark configuration parameter search are created and evaluated to identify the most suitable parameters, resulting in the shortest execution time. The obtained results demonstrates that with the developed auto-tuning approach and adjusting Apache Spark configuration parameters, Apache Spark applications can achieve a shorter execution time than when using the default parameters. The developed auto-tuning approach gives an improved cluster utilization and shorter job execution time, with an average performance improvement of 49.98%, 53.84%, and 64.16% for the three different types of Apache Spark applications benchmarked. / Apache Spark är en populär öppen källkodslösning för distribuerad databehandling som möjliggör effektiv bearbetning av stora mängder data. Apache Spark har ett stort antal konfigurationsparametrar som starkt påverkar prestandan. Att välja en optimal konfiguration för en Apache Spark-applikation som distribueras i en molnmiljö är en komplex uppgift. Ett dåligt val kan inte bara leda till dålig prestanda utan också ökade kostnader. Manuell anpassning av Apache Spark-konfigurationsparametrar kan ta mycket tid och leda till suboptimala resultat, särskilt i en molnmiljö där beräkningsresurser tilldelas dynamiskt och arbetsbelastningen kan variera avsevärt. Fokus för detta examensprojekt är att utveckla en automatisk optimeringsmetod för konfigurationsparametrarna i Apache Spark. Fyra maskininlärningsmodeller formuleras och utvärderas för att förutsäga Apache Sparks prestanda. Dessutom skapas och utvärderas två modeller för att söka efter de mest lämpliga konfigurationsparametrarna för Apache Spark, vilket resulterar i kortast möjliga exekveringstid. De erhållna resultaten visar att den utvecklade automatiska optimeringsmetoden, med anpassning av Apache Sparks konfigurationsparameterar, bidrar till att Apache Spark-applikationer kan uppnå kortare exekveringstider än vid användning av standard-parametrar. Den utvecklade metoden för automatisk optimering bidrar till en förbättrad användning av klustret och kortare exekveringstider, med en genomsnittlig prestandaförbättring på 49,98%, 53,84% och 64,16% för de tre olika typerna av Apache Spark-applikationer som testades. Apache Spark Cloud Environment Spark Configuration Parameter Resource Utilization Ridge Regression Elastic Net Random Forest Deep Neural Network Bayesian Optimization Particle Swarm Optimization. Apache Spark Molnmiljö Apache Spark konfigurationsparameter Resursutnyttjande Ridge-regression Elastisk nät Slumpskog Djupt neuralt nätverk Bayesiansk optimering Partikelsvärmsoptimering. Computer and Information Sciences Data- och informationsvetenskap
62	Unsupervised Anomaly Detection and Root Cause Analysis in HFC Networks : A Clustering Approach Forsare Källman, Povel January 2021 (has links) Following the significant transition from the traditional production industry to an informationbased economy, the telecommunications industry was faced with an explosion of innovation, resulting in a continuous change in user behaviour. The industry has made efforts to adapt to a more datadriven future, which has given rise to larger and more complex systems. Therefore, troubleshooting systems such as anomaly detection and root cause analysis are essential features for maintaining service quality and facilitating daily operations. This study aims to explore the possibilities, benefits, and drawbacks of implementing cluster analysis for anomaly detection in hybrid fibercoaxial networks. Based on the literature review on unsupervised anomaly detection and an assumption regarding the anomalous behaviour in hybrid fibercoaxial network data, the kmeans, SelfOrganizing Map, and Gaussian Mixture Model were implemented both with and without Principal Component Analysis. Analysis of the results demonstrated an increase in performance for all models when the Principal Component Analysis was applied, with kmeans outperforming both SelfOrganizing Map and Gaussian Mixture Model. On this basis, it is recommended to apply Principal Component Analysis for clusteringbased anomaly detection. Further research is necessary to identify whether cluster analysis is the most appropriate unsupervised anomaly detection approach. / Följt av övergången från den traditionella tillverkningsindustrin till en informationsbaserad ekonomi stod telekommunikationsbranschen inför en explosion av innovation. Detta skifte resulterade i en kontinuerlig förändring av användarbeteende och branschen tvingades genomgå stora ansträngningar för att lyckas anpassa sig till den mer datadrivna framtiden. Större och mer komplexa system utvecklades och således blev felsökningsfunktioner såsom anomalidetektering och rotfelsanalys centrala för att upprätthålla servicekvalitet samt underlätta för den dagliga driftverksamheten. Syftet med studien är att utforska de möjligheterna, för- samt nackdelar med att använda klusteranalys för anomalidetektering inom HFC- nätverk. Baserat på litteraturstudien för oövervakad anomalidetektering samt antaganden för anomalibeteenden inom HFC- data valdes algritmerna k- means, Self- Organizing Map och Gaussian Mixture Model att implementeras, både med och utan Principal Component Analysis. Analys av resultaten påvisade en uppenbar ökning av prestanda för samtliga modeller vid användning av PCA. Vidare överträffade k- means, både Self- Organizing Maps och Gaussian Mixture Model. Utifrån resultatanalysen rekommenderas det således att PCA bör tillämpas vid klusterings- baserad anomalidetektering. Vidare är ytterligare forskning nödvändig för att avgöra huruvida klusteranalys är den mest lämpliga metoden för oövervakad anomalidetektering. Anomaly Detection Root Cause Analysis Cluster Analysis k- means Self- Organizing Map Gaussian Mixture Model Dimensionality Reduction Principal Component Analysis Hybrid Fiber- Coaxial Network. Anomalidetektering Rotfelsanalys Klusteranalys k- means Self- Organizing Map Gaussian Mixture Model Dimensionsreducering Principal Component Analysis Hybrid Fiber Coax- nät. Computer and Information Sciences Data- och informationsvetenskap
63	GIS-baserad analys över gång- och cykelvägnät : En GIS-analys med avseende på säkerhet och tillgänglighet över gång- och cykelvägnätet i Vänersborgs kommun / GIS-based analysis of pedestrian and cycle path : A GIS analysis of the security and accessibility of pedestrian and bicyclenetwork in the urban areas of the municipality of Vänersborg Johansson, Paulina, Olsson, Elias January 2024 (has links) Förbättring av cykling som hållbart transportmedel kräver skräddarsydda transportsystem. Svenska kommuner, som Vänersborgs, har påbörjat implementering av cykelplaner vid planering av infrastruktur. Med kommunens samtida mål om att öka invånarantalet från 39 000 till 50 000, är planens mål och riktlinjer för att utveckla ett högkvalitativt, säkert cykelvägnät som kopplar samman viktiga målpunkter och minskar olyckor. Denna avhandling utvärderar säkerheten och tillgängligheten över gång- och cykelvägnätet till skolor inom Vänersborgs kommun med hjälp av GIS-analyser, där fokus riktar mot barn i åldrarna 7–15 år, men även säkerheten över totala gång- och cykelvägnätet utvärderas. Studieområdet inkluderar Vänersborgs centrum, Öxnered och Vargön. Multikriterieanalys (Analytisk Hierarkisk Process) metoder med kombination av nätverksanalys användes för att bedöma GC-nätets säkerhet och tillgänglighet. Experter viktade olika kriterier för säkerhet, vilket ledde till säkerhetsklassificering i ArcGIS Pro. Inkluderade kategorier var Mycket god, god, mindre god och låg. Nätverksanalysen i ArcGIS Pro prioriterade rutter via gång- och cykelvägnätet och förbjöd rutter att färdas längs vägar med hastigheter över 80 km/h, med hjälp av verktyget Closest facility för att planera rutter till skolan och undersöka tillgängligheten. Resultaten visade att 48.33% av det totala GC-nätet klassificerades som mycket god, 1.89% som god, 26.14% mindre god och 23.64% som låg. Nätverksanalysen indikerade en tillgänglighet till skolor uppnår 73.98%. Trots en signifikant andel av GC-nätet uppnår mycket god säkerhetsnivå, noterades brister, specifikt vid mer urbana områden där vissa segment klassas som mindre god och låg. Sammantaget visar avhandlingen att medan GC-nätet generellt uppnår god säkerhet och tillgänglighet, förekommer märkbara brister. Att se över och eventuellt åtgärda dessa brister skulle främja utvecklingen av cyklandet i Vänersborgs kommun. / Enhancing bicycling as a sustainable transportation mode requires tailored transportation systems. Swedish municipalities such as Vänersborg are integrating bicycling into infrastructure planning. The municipality's aims to grow the population from 39,000 to 50,000, the plan aims to develop a high-quality, safe bicycle network connecting key destinations and reducing accidents. This thesis evaluates the safety and accessibility of the bicycle network to schools within Vänersborg municipality using GIS-based analyses, focusing on children aged 7 to 15, while also evaluating the safety of the total network. The study area includes Vänersborgcity center, Öxnered, and Vargön. Multi-Criteria Decision Making (Analytical Hierarchy Process) approaches coupled with network analysis were utilized to assess the network's security and accessibility. Experts weighted different security criteria, leading to a safety classification in ArcGIS Pro. Categories included very good, good, not so good, and low. The Network analysis in ArcGIS Pro prioritized bicycle routes and restricted roads with speed limits over 80 km/h, using the Closest Facility tool to route school access. The results indicated that 48.33% of the network was classified as very good, 1.89% asgood, 26.14% as not so good, and 23.64% as low. The network analysis indicated a 73.98% accessibility coverage to schools. Despite a significant portion of the network achieving a very good safety level, deficiencies were noted, particularly in urban areas where some sections were rated as not so good and low. Overall, the thesis reveals that while the bicycle network generally achieves good security and accessibility, there are notable shortcomings. Addressing these gaps is crucial for Vänersborg's efforts to promote cycling and support population growth. GIS Geographic Information System MCDM Multi Criteria Decision Making AHP Analytical Hierarchy Process PCN Pedestrian- and bicycle network Network Analysis Security Analysis Accessibility GIS Geografiskt informationssystem MKA Multikriterieanalys AHP Analytisk Hierarkisk Process GC-nät Gång- och cykelvägnät Nätverksanalys Säkerhetsanalys Tillgänglighet Geotechnical Engineering Geoteknik Natural Sciences Naturvetenskap
64	Högtempererat borrhålslager för fjärrvärme / High Temperature Borehole Thermal Energy Storage for District Heating Hallqvist, Karl January 2014 (has links) The district heating load is seasonally dependent, with a low load during periods of high ambient temperature. Thermal energy storage (TES) has the potential to shift heating loads from winter to summer, thus reducing cost and environmental impact of District Heat production. In this study, a concept of high temperature borehole thermal energy storage (HT-BTES) together with a pellet heating plant for temperature boost, is presented and evaluated by its technical limitations, its ability to supply heat, its function within the district heating system, as well as its environmental impact and economic viability in Gothenburg, Sweden, a city with access to high quantities of waste heat. The concept has proven potentially environmentally friendly and potentially profitable if its design is balanced to achieve a good enough supply temperature from the HT-BTES. The size of the heat storage, the distance between boreholes and low borehole thermal resistance are key parameters to achieve high temperature. Profitability increases if a location with lower temperature demand, as well as risk of future shortage of supply, can be met. Feasibility also increases if existing pellet heating plant and district heating connection can be used and if lower rate of return on investment can be accepted. Access to HT-BTES in the district heating network enables greater flexibility and availability of production of District Heating, thereby facilitating readjustments to different strategies and policies. However, concerns for the durability of feasible borehole heat exchangers (BHE) exist in high temperature application. / Värmebehovet är starkt säsongsberoende, med låg last under perioder av högre omgivningstemperatur och hög last under perioder av lägre omgivningstemperaturer. I Göteborg finns en stor mängd spillvärme tillgängligt för fjärrvärmeproduktion sommartid när behovet av värme är lågt. Tillgång till säsongsvärmelager möjliggör att fjärrvärmeproduktion flyttas från vinterhalvår till sommarhalvår, vilket kan ge såväl lönsamhet som miljönytta. Borrhålsvärmelager är ett förhållandevis billigt sätt att lagra värme, och innebär att berggrunden värms upp under sommaren genom att varmt vatten flödar i borrhål, för att under vinterhalvåret användas genom att låta kallt vatten flöda i borrhålen och värmas upp. I traditionella borrhålsvärmelager används ofta värmepump för att höja värmelagrets urladdade temperatur, men på grund av höga temperaturkrav för fjärrvärme kan kostnaden för värmepump bli hög. I denna rapport föreslås ett system för att klara av att nå höga temperaturer till en lägre kostnad. Systemet består av ett borrhålsvärmelager anpassat för högre temperaturer (HT-BTES) samt pelletspannor för att spetsa lagrets utgående fluid för att nå hög temperatur. Syftet med rapporten är att undersöka potentialen för detta HT-BTES-system med avseende på dess tekniska begränsningar, förmåga till fjärrvärmeleverans, konsekvenser för fjärrvärmesystemet, samt lönsamhet och miljöpåverkan. För att garantera att inlagringen av värme inte är så stor att priset för inlagrad värme ökar väsentligt, utgår inlagringen från hur mycket värme som kyls bort i fjärrvärmenätet sommartid. I verkligheten finns betydligt mer värme tillgänglig till låg kostnad. När HT-BTES-systemet producerar fjärrvärme, ersätts fjärrvärmeproduktion från andra produktionsenheter, förutsatt att HT-BTES-systemets rörliga kostnader är lägre. I Göteborg ersätts främst naturgas från kraftvärme, men också en del flis. Kostnadsbesparingen beror på differensen för total fjärrvärmeproduktionskostnad med och utan HT-BTES-systemet. Undersökningen visar att besparingen är större om HT-BTES-systemet placeras i ett område där det är möjligt att mata ut fjärrvärme med lägre temperatur. Om urladdning från HT-BTES kan ske med hög temperatur ökar också besparingen. Detta sker om lagrets volym ökar, om avståndet mellan borrhål minskar eller om värmeöverföringen mellan det flödande vattnet i borrhålen och berggrunden ökar. Dessa egenskaper för lagret leder också till minskade koldioxidutsläpp. Storleken på besparingen beror dock i hög grad på hur bränslepriser utvecklas i framtiden. Strategiska fördelar med HT-BTES-systemet inkluderar; minskad miljöpåverkan, robust system med lång teknisk livslängd (för delar av HT-BTES-systemet), samt att inlagring av värme kan ske från många olika produktionsenheter. Dessutom kan positiva bieffekter identifieras. Undersökningen visar att HT-BTES-systemet har god potential att ge lönsamhet och minskad miljöpåverkan, och att anläggning och drift av lagret kan ske utan omfattande lokal miljöpåverkan. Det har också visats att de geologiska förutsättningarna för HT-BTES är goda på många platser i Göteborg, även om lokala förhållanden kan skilja sig åt. För att nå lönsamhet för HT-BTES-systemet krävs en avvägning på utformning av lagret för att nå hög urladdad temperatur utan att investeringskostnaden blir för stor. Undersökningen visar att om anslutning av HT-BTES-systemet kan ske mot befintlig anslutningspunkt eller till befintlig värmepanna kan investeringskostnaden minska och därmed lönsamheten öka. Placering av HT-BTES-systemet i områden med risk för överföringsbegränsningar kan också minska behovet av att förstärka fjärrvärmenätet, och således bidra till att minska de kostnader som förstärkning av nätet innebär. Betydelsefulla parametrar för att nå lönsamhet för HT-BTES-system inkluderar dessutom kostnaden för inlagrad värme liksom vilket vinstkrav som kan accepteras. Tillgång till HT-BTES möjliggör ökad nyttjandegrad och flexibilitet för fjärrvärmeproduktionsenheter, och därmed ökad anpassningsmöjlighet till förändrade förutsättningar på värmemarknaden. Dock återstår att visa att komponenter som klarar de höga temperaturkraven kan tillverkas till acceptabel kostnad. HT-BTES BTES TES High Temperature Borehole Duct Thermal Energy Storage District Heating Seasonal Storage Storage Pellet Heat Plant Energy Power Flow Martes Environmental impact Finance Investment Cost Technology Drilling Saving Gothenburg Heat Transfer Bedrock Review Feasibility Study Load Peak load Base load District Heating Production Network Grid Pipe Borehole Heat exchanger Collector New Future Generation Low temperature Bottle neck System Successive calculation Matlab Computor programming Science HT-BTES BTES TES Borrhålslager Säsongslager Fjärrvärme Martes Värmelager Pellets Panna Energi Effekt Flöde Miljöpåverkan Ekonomi Investeringskostnad Teknik Borrning Besparing Göteborg Värmeöverföring Berggrund Review Förstudie Borrhål Last Spetslast Baslast Fjärrvärmeproduktion Hög temperatur Produktion Nät Rör Kollektor Borrhålsvärmeväxlare Ny Framtid Generation Låg temperatur Flaskhals System Successive kalkylering Matlab Data programmering Vetenskap

Page generated in 0.036 seconds