This master thesis investigates the parameters influencing the quality of concrete piles produced by NCC in Sweden. Furthermore, the thesis provides an in-depth review of the production and existing issues associated with concrete pile production. By analysing data from the production site at Ucklum, it is observed that the concrete piles produced have a large variation in strength. Production during the winter months results in higher strength and stability compared to the summer months. This may depend on the heat generated by the concrete during the summer which is much higher than during winter and may therefore affect the late strength negatively while it increases the rate of obtaining early age strength. The production uses a slightly higher cement content than what is necessary for the strength class C50/60 throughout the whole year to mainly counteract the tough strength development in the winter and also to increase the rate of strength development in the summer. Particularly when a large order of concrete piles comes in late. Achieving a high strength quickly is desirable so that the piles can be installed early in order to increase the rate of production. In this case, admixtures such as accelerators can be used instead of having a higher cement content. In addition, summer production can be improved by testing different methods presented in this report. / Detta examensarbete utreder parametrarna som påverkar kvalitén på betongpålar som produceras i en av NCCs produktionslinor. Den undersökta produktionslinjen är placerad i Ucklum, Sverige. Det görs också en utredning för att få en djup förståelse av produktionen och hur det går att påverka dess nuvarande problem. Genom analys av data från produktionen uppmärksammas det att produktionen har en stor spridning på hållfastheten på de producerade betongpålarna. Orsaken till variationen av hållfastheten undersöks och definieras. Det framgår att produktionen under vintern har högre hållfasthet och mer stabil än den under sommaren. Detta kan bero på att värmen som genereras av betongen under sommartiden är mycket högre än under vintertiden vilken kan leda till att den sena hållfastheten påverkas negativt, medan den snabbar upp den tidiga hållfastheten. Produktionen använder sig av lite högre cementhalt än vad som är nödvändigt för hållfasthetsklassen C50/60 genom hela året för att främst motverka den sega hållfasthetsutvecklingen på vintertid och även för snabba upp hållfasthetsutvecklingen på sommartid när en stor order av betongpålar kommer in utan god framförhållning. Att uppnå en hög hållfasthet snabbt är önskad så att pålarna kan installeras tidigt för att upprätthålla högre produktionstakt. I detta fall så kan tillsatser så som acceleratorer användas istället för att ha högre cementhalt. Dessutom kan sommarproduktionen förbättras genom att testa olika metoder som presenteras i denna rapport.

Nonequilibrium Statistical Mechanics focuses on the branch of physics that studies large systems that are out of equilibrium. These systems are inherently difficult to model due to the complex paths available through state space depending on initial configurations and external force fields. Langevin dynamics is a stochastic differential equation used by physicists to model and capture these dynamics. By sampling individual particles from any given distribution, and allowing these particles to follow a Langevin path as t → ∞, we can demonstrate that the Boltzmann distribution is recovered for any stationary field. Thus Langevin dynamics can be seen as a path through state space that leads to equilibrium.In this master’s thesis, we use these properties of Langevin dynamics in a machine learning setting to perform time-series forecasting of large systems. Langevin dynamics gives us the ability to not only capture expectation values from datasets, but instead models an approximate distribution representing the data. This leads us to believe that using diffusion models inspired by Langevin dynamics will allow us to model complex multivariate datasets with temporal, spatial, local & global correlations.Modeling the electric grid is an inherently challenging problem due to the compli- cated and subtle correlations that exist with for example historical usage, weather, and economic effects. Thanks to this, we chose to forecast the American power grid using a diffusion based machine learning model. In this thesis, a diffusion based architecture has been developed to forecast this problem and includes several components such as recur- rent neural networks, graph attention networks, and diffusion processes in conjunction.Our architecture has demonstrated superior performance, outperforming current state- of-the-art methods, including gradient boosting decision tree models. Detailed perfor- mance comparisons between our diffusion model and XGBoost have shown that our diffusion model consistently outperforms it.Looking ahead, our work suggests many potential areas of improvement to further advance the performance of diffusion based models in time-series forecasting. Examples of this include incorporating physics inspired conservation laws into the model, and im- proved sampling methods. We hope that these methods will be applied in industries that could benefit from more advanced forecasting, such as the increasingly renewable-based power grids. / Icke-jämnviktsstatistisk mekanik är den delen av fysik som studerar stora partikel system som ej är i jämnvikt. Det är svårt att modellera dessa system på grund av de komplexa banorna genom systemets tillståndsrums som finns tillgängliga. Langevin-dynamik är en stokastisk differentialekvation som används av fysiker för att modellera och fånga dessa beteende. Genom att låta partiklar i sådana system följa en Langevin process, kan man demonstrera att det går att återfå en Boltzmann distribution. Således kan Langevin- dynamik ses som en väg genom ett systems tillståndsrymd som leder till jämnvikt.I denna masteruppsats används dessa egenskaper hos Langevin-dynamik i en mask- ininlärningsmiljö för att utföra tidsserieprognoser av stora system. Langevin-dynamik ger oss möjlighet att inte bara fånga väntevärden från datan, utan istället modellera en approximativ fördelning som representerar datan. Detta får oss att tro att diffu- sionsbaserade modeller inspirerade av Langevin-dynamik tillåter oss att modellera dessa komplexa dataset med tidsmässiga, rumsliga, lokala och globala korrelationer.Att modellera elnätet är ett i grunden utmanande problem på grund av de komplicer- ade och subtila korrelationer som finns i datan. Exempel inkluderar historisk användning, väder samt ekonomiska effekter. Vi valde därför att utveckla en diffusionsbaserad mask- ininlärningsmodell för att prognostisera det amerikanska elnätet.Arkitekturen som utvecklats visar på överlägsen prestanda och överträffar nuvarande använda metoder, inklusive s.k. gradient boosted decision trees. Detaljerade prestanda- jämförelser mellan vår diffusionsmodell och XGBoost har visat att vår diffusionsmodell konsekvent presterar bättre.Om vi blickar frammåt pekar vårt arbete på många potentiella förbättringsområden för att ytterligare öka prestandan hos diffusionsbaserade modeller inom tidsserieprog- noser. Exempel på detta inkluderar att integrera fysikinspirerade konservationslagar i modellen samt förbättrade samplingsmetoder. Vi hoppas att dessa metoder kommer att tillämpas i industrier som kan dra nytta av mer avancerade prognoser, såsom de alltmer förnyelsebaserade elnäten.

For manufacturing enterprises, the potential of collecting large amounts of data from production processes has enabled the usage of machine learning for prediction-based monitoring and maintenance of machines. Yet common maintenance strategies still include reactive handling of machine failures or schedule-based maintenance conducted by experienced personnel. Both of which are time-consuming and costly for manufacturing enterprises. The incorporation of anomaly detection for production processes alleviates several problems connected to these resource-intensive maintenance strategies. Anomaly detection enables real-time maintenance alarms derived from the occurrence of anomalies and thereby a foundation for proactive maintenance during manufacturing. However, to realize this, one needs to investigate the correlation between machine failure and anomalies in the data. For the machine learning models, it is also of essence to handle the imbalance between failure and normal working condition data. In this work, we investigate the potential of anomaly detection to predict future tool failures of an active CNC-machine based on multivariate time series data collected through the standardized data collection protocol MTConnect. Two semi-supervised anomaly detection methods, DeepAnT and ROCKET OCSVM, were tested. Training and evaluation of the two models were conducted on three production part processes and the difference in anomaly distribution previous to failure and in the normal machine working condition was investigated. The results showed that both models, for all the investigated tool failures belonging to the three production part processes, found an abundance of anomalies preceding failure when compared to the normal working condition of the machines. For certain tool failures, the anomalies were found as far back as seven production cycles before failure, while other anomalies were mainly uncovered close to the failure. Furthermore, it was shown that both models performed optimally with 100 production cycles before tool failures excluded from training, indicating that more anomalies further back connected to failure or possible long-term degradation of machine tools could exist. Lastly, ROCKET OCSVM with RBF kernel showed greater reliability compared to the DeepAnT method in separating the normal working condition data of the CNC machine against the pre-failure data based on anomaly distribution. In conclusion, anomaly detection shows promising results in indicating future machine failure and could serve as a foundation for proactive maintenance strategies of machines. By incorporating proactive strategies, machine downtime, operator maintenance time, and resources and expenses resulting from machine failure could be reduced. / För produktionsföretag har potentialen att samla in stora mängder data från produktionsprocesser möjliggjort användningen av prediktionsbaserad övervakning och underhåll av maskiner genom maskininlärning. Ändå så utgörs fortfarande vanliga underhållsstrategier av reaktiv hantering av maskinfel eller schema baserat underhåll som utförs av erfaren personal. Båda dessa är tidskrävande och kostsamma för tillverkningsföretag. Införandet av anomali detektering för produktionsprocesser lindrar flera problem kopplade till dessa resursintensiva underhållsstrategier. Det möjliggör underhålls-larm i realtid härledda från förekomsten av anomalier, vilket skapar en grund för proaktivt underhåll under tillverkningen. Men för att möjliggöra detta måste man undersöka sambandet mellan maskinfel och anomalier i data utifrån definierade insamlingsmetod. Det är också viktigt att hantera obalansen mellan fel och normal arbetstillstånd data för maskininlärningsmodellerna. I det här arbetet undersöker vi potentialen för delvis övervakad anomali detektering för att förutsäga framtida verktyg fel hos en aktiv CNC-maskin baserat på multivariat tidsseriedata som samlats in genom det standardiserade datainsamling protokollet MT Connect. Två anomali detekterings metoder som endast tränats på normala arbetsförhållanden för maskiner testades, DeepAnT och ROCKET OCSVM. Träning och utvärdering av de två modellerna genomfördes på tre produktionsdelprocesser och skillnaden i anomali fördelning före fel och i det normala maskinens arbetstillstånd undersöktes. Resultaten visade att båda modellerna, för alla undersökta verktygsfel som hör till de tre produktionsdelprocesserna, fann ett överflöd av anomalier före fel i jämförelse med maskinernas normala arbetstillstånd. För vissa verktygsfel hittades anomalierna så långt tillbaka som sju produktionscykler före fel, medan andra anomalier huvudsakligen upptäcktes nära felet. Vidare visades det att båda modellerna presterar optimalt med 100 produktionscykler före verktygsfel uteslutna från träningen, vilket tyder på att fler anomalier tidigare än de åtta produktions cyklarna undersökta innan fel eller eventuell långvarig försämring av verktygsmaskiner kan förekomma. Slutligen visade ROCKET OCSVM med RBF som kärnfunktion större tillförlitlighet i jämförelse med DeepAnT metoden gällande att separera CNC-maskinens normala arbetstillstånd data från pre-failure-data baserat på anomali fördelning. Sammanfattningsvis visar avvikelse detektering lovande resultat för att indikera framtida maskinfel och kan fungera som en grund för proaktivt underhåll av maskiner. Genom att införskaffa proaktiva strategier kan maskinernas stilleståndstid, operatörens underhållstid samt resurser och kostnader till följd av maskinfel minskas.

The field of autonomous robots have been explored more and more over the last decade. The combination of machine learning advances and increases in computational power have created possibilities to explore the usage of machine learning models on edge devices. The usage of object detection on edge devices is bottlenecked by the edge devices' limited computational power and they therefore have constraints when compared to the usage of machine learning models on other devices. This project explored the possibility to use real time object detection on a Raspberry Pi as input in different control systems. The Raspberry with the help of a coral USB accelerator was able to find a specified object and drive to it, and it did so successfully with all the control systems tested. As the robot was able to navigate to the specified object with all control systems, the possibility of using real time object detection in faster paced situations can be explored. / Ämnet autonoma robotar har blivit mer och mer undersökt under de senaste årtiondet. Kombinationen av maskin inlärnings förbättringar och ökade beräknings möjligheter hos datorer och chip har gjort det möjligt att undersöka användningen av maskin inlärningsmodeller på edge enheter. Användandet av bildigenkänning på edge enheter är begränsad av edge enheten begränsade datorkraft, och har därför mer begränsningar i jämförelse med om man använder bildigenkänning på en annan typ av enhet. Det här projektet har undersökt möjligheten att använda bildigenkänning i realtid som input för kontrollsystem på en Raspberry Pi. Raspberry Pien med hjälp av en Coral USB accelerator lyckades att lokalisera och köra till ett specificerat objekt, Raspberryn gjorde detta med alla kontrollsystem som testades på den. Eftersom roboten lyckades med detta, så öppnas möjligheten att använda bildigenkänning på edge enheter i snabbare situationer.

Emerging machine learning (ML) techniques are showing great potential in prediction performance. However, research and development is often conducted in an environment with extensive computational resources and blinded by prediction performance. In reality, computational resources might be contained on constrained hardware where energy and memory consumption must be restrained. Furthermore, shortages of sufficiently large datasets for ML is a frequent problem, combined with the cost of data retention. This generates a significant demand for sustainable ML. With sustainable ML, practitioners can train ML models on less data, which reduces memory and energy consumption during the training process. To explore solutions to these problems, this thesis dives into several techniques that have been introduced in the literature to achieve energy-savings when training machine learning models. These techniques include Quantization-Aware Training, Model Distillation, Quantized Distillation, Continual Learning and a deeper dive into Siamese Neural Networks (SNNs), one of the most promising techniques for sustainability. Empirical evaluations are conducted using several datasets to illustrate the potential of these techniques and their contribution to sustainable ML. The findings of this thesis show that the energy-saving techniques could be leveraged in some cases to make machine learning models more manageable and sustainable whilst not compromising significant model prediction performance. In addition, the deeper dive into SNNs shows that SNNs can outperform standard classification networks, under both the standard multi-class classification case and the Continual Learning case, whilst being trained on significantly less data. / Maskininlärning har i den senaste tidens forskning visat stor potential och hög precision inom klassificering. Forskning, som ofta bedrivs i en miljö med omfattande beräkningsresurser, kan lätt bli förblindad av precision. I verkligheten är ofta beräkningsresurser lokaliserade på hårdvara där energi- och minneskapacitet är begränsad. Ytterligare ett vanligt problem är att uppnå en tillräckligt stor datamängd för att uppnå önskvärd precision vid träning av maskininlärningsmodeller. Dessa problem skapar en betydande efterfrågan av hållbar maskininlärning. Hållbar maskininlärning har kapaciteten att träna modeller på en mindre datamängd, vilket minskar minne- och energiförbrukning under träningsprocessen. För att utforska hållbar maskininlärning analyserar denna avhandling Quantization-Aware Training, Model Distillation, Quantized Distillation, Continual Learning och en djupare evaluering av Siamesiska Neurala Nätverk (SNN), en av de mest lovande teknikerna inom hållbar maskininlärning. Empiriska utvärderingar utfördes med hjälp av flera olika datamängder för att illustrera potentialen hos dessa tekniker. Resultaten visar att energibesparingsteknikerna kan utnyttjas för att göra maskininlärningsmodeller mer hållbara utan att kompromissa för precision. Dessutom visar undersökningen av SNNs att de kan överträffa vanliga neurala nätverk, med och utan Continual Learning, även om de tränas på betydligt mindre data.