För att hitta en mindre beräkningskrävande modell för energiuppskattning av vågdata har artificiella neurala nätverks förmåga att efterlikna ett punktabsorberande vågkraftsverks bojpositioner vid havsvågor från Islandsberg undersökts. Genom att undersöka antal dolda lager samt inparametrarnas enhet, tidsupplösning och antal har olika neurala artificiella nätverk tagits fram som efterliknar bojpositioner lösta med en linjär- samt olinjärmodell. Det artificiella neurala nätverk som bäst efterliknar bojpositioner lösta med den linjära modellen har 1 dolt lager och 50 inparametrar, med tidsupplösning 0,1 sekunder. Dess inparametrar består enbart av inkommande våghöjder. För dessa parametrar uppskattar det artificiella neurala nätverket en medeleffekt som skiljer sig från den linjära modellen med 1,78% då dämpningskoefficienten är 200kNs/m. Beräkningstiden för den linjära modellen är 0,087 sekunder vilket är ungefär 20 gånger snabbare än med det artificiella neurala nätverket och då är inte träningstiden för det artificiella neurala nätverket medräknad. Det artificiella neurala nätverk som bäst efterliknar bojpositioner lösta med den olinjära modellen har 11 dolda lager och 50 inparametrar, med tidsupplösning 0,1 sekunder. Dess inparametrar består enbart av inkommande vågs excitationskraft. För dessa parametrar uppskattar det artificiella neurala nätverket en medeleffekt som skiljer sig från den linjära modellen med 0,3% då dämpningskoefficienten är 130kNs/m. Beräkningstiden för 30 minuters vågdata för den olinjära modellen är 41 minuter och 6 sekunder vilket kan jämföras med 57 sekunder för det artificiella neurala nätverket. Då är inte träningstiden för det artificiella neurala nätverket medräknad. Genom att ändra dämpningskoefficienten till optimala värden, med en frekvens mycket högre än vågperioden, fås en högre energiabsorptionen. En genetisk algoritm används för att beräkna den optimala följden av dämpningskoefficienter och för att prediktera den optimala dämpningskoefficienten används ett artificiellt neuralt nätverk. Vid undersökning där det artificiella neurala nätverket predikterade nästkommande optimala dämpningskoefficient fås en energiabsorption som är 20% högre än den energiabsorption som fås med en optimal konstant dämpningskoefficient.

<p>Denna uppsats utreder ifall två kognitionsvetenskapliga perspektiv kan bidra till en effektivare informationslogistik.</p><p>Med detta som bakgrund har ett tvärvetenskapligt förhållningssätt använts för att framhäva kontraster mellan de båda områdena. Teori har tagits från kognitionsvetenskapens nätverks- och artificiella intelligens perspektiv samtidigt som empirin utgörs av en fallbeskrivning av en Informationslogistisk applikation. Kontraster mellan de båda områdena har vägts mot varandra och teorier om på vilka sätt de två perspektiven skulle kunna berika den informationslogistiska applikationen har dragits. Dessutom har mer generella slutsatser dragits från nätverks- och det artificiella intelligens perspektiven för att besvara hur de på en generell nivå skulle kunna bidra med kunskaper till andra informationslogistiska applikationer.</p><p>Resultatet i uppsatsen visar att det med ett tvärvetenskapligt förhållningssätt går att importera kunskaper från det kognitionsvetenskapliga hållet till informationslogistiken.</p>

I denna rapport finnes resultatet av kandidatprojektet i kursen TDDD96 som ges av Linköpings universitet. Projektet har utförts av sju studenter på Civilingenjörsprogrammet inom Datateknik och Civilingenjörsprogrammet inom Mjukvaruteknik. Projektet som utförts var ett mjuvaruutvecklingsprojekt, där studenterna utvecklade en webb-applikation för visningen av historisk data från källor relaterade till lantbruk, med fokus på grödan höstvete. Projektet har dessutom innefattat en studie som, med hjälp av enkla maskininlärningstekniker, undersökt om datan är tillräcklig för att ge en prediktion på vad priset kan tänkas vara i framtiden. Rapporten behandlar de tekniska, gruppadministrativa, och informationsinsamlande val som gjorts, samt hur arbetet med utvecklingen har genomförts och vad resultatet av projektet blev. Rapporten innehåller även sju individuella delar, tillhörande var och en av de sju studenterna, där de genomfört en studie på en egen frågeställning. Dessa finnes i slutet av dokumentet.

In this master thesis some of the most promising existing frameworks and implementations of deep convolutional neural networks on multiprocessor system-on-chips (MPSoCs) are researched and evaluated. The thesis’ starting point was a previousthesis which evaluated possible deep learning models and frameworks for object detection on infra-red images conducted in the spring of 2018. In order to fit an existing deep convolutional neural network (DCNN) on a Multiple-Processor-System on Chip it needs modifications. Most DCNNs are trained on Graphic processing units (GPUs) with a bit width of 32 bit. This is not optimal for a platform with hard memory constraints such as the MPSoC which means it needs to be shortened. The optimal bit width depends on the network structure and requirements in terms of throughput and accuracy although most of the currently available object detection networks drop significantly when reduced below 6 bits width. After reducing the bit width, the network needs to be quantized and pruned for better memory usage. After quantization it can be implemented using one of many existing frameworks. This thesis focuses on Xilinx CHaiDNN and DNNWeaver V2 though it touches a little on revision, HLS4ML and DNNWeaver V1 as well. In conclusion the implementation of two network models on Xilinx Zynq UltraScale+ ZCU102 using CHaiDNN were evaluated. Conversion of existing network were done and quantization tested though not fully working. The results were a two to six times more power efficient implementation in comparison to GPU inference.

<p>Denna rapport jämför två nätverksarkitekturer för artificiella neurala nätverk vars uppgift är att realisera ett styrsystem för ett fordon som det även skall lära sig att styra. Jämförelsen bygger på utförda experiment där de båda nätverken fick lära sig att styra ett fordon längs en slumpgenererad väg. Båda nätverken bygger på belöningsbaserad inlärning för att lära sig lösa uppgiften.</p><p>Resultatet av utvärderingen visar både att nätverken inte hade några problem med att lära sig att styra fordonet och att de inte krävde lång tid för att kunna lära sig hur fordonet skulle styras. Resultaten visar inte heller att någon skillnad fanns i vare sig tillförlitlighet eller generaliseringsförmåga hos de båda nätverksarkitekturerna.</p>

Denna uppsats utreder ifall två kognitionsvetenskapliga perspektiv kan bidra till en effektivare informationslogistik. Med detta som bakgrund har ett tvärvetenskapligt förhållningssätt använts för att framhäva kontraster mellan de båda områdena. Teori har tagits från kognitionsvetenskapens nätverks- och artificiella intelligens perspektiv samtidigt som empirin utgörs av en fallbeskrivning av en Informationslogistisk applikation. Kontraster mellan de båda områdena har vägts mot varandra och teorier om på vilka sätt de två perspektiven skulle kunna berika den informationslogistiska applikationen har dragits. Dessutom har mer generella slutsatser dragits från nätverks- och det artificiella intelligens perspektiven för att besvara hur de på en generell nivå skulle kunna bidra med kunskaper till andra informationslogistiska applikationer. Resultatet i uppsatsen visar att det med ett tvärvetenskapligt förhållningssätt går att importera kunskaper från det kognitionsvetenskapliga hållet till informationslogistiken.

Procedural content generation is a common way to create model resources in the computer graphics area. It is beneficial for generating large-scale models such as buildings, forests, etc. This project focus on the generation of the urban forest, which is a case often overlooked. The placement of trees is vital for the realism of a procedurally generated scene. After analyzing the advantages and limits of current studies, the project proposes a novel system with a placement algorithm for generating forests in city areas. The system first takes a satellite image as the input and outputs a marked image. Then a placement algorithm is designed specifically for generating trees in the marked part of the image. To make the distribution more realistic, the placement algorithm combines regularity and scalable randomness with adjustable parameters including jittered range, rejection number, and cluster ratio. The system is validated by a perceptual user study and quantitative evaluation. In both experiments, the designed placement algorithm is compared with 3 other baseline algorithms (regular, random, and boundary algorithm) in 4 different map layouts. The user study is a perceptual experiment that utilized 2-AFC methods to test the effectiveness of the system and investigate how the parameters contribute to realism. The results come from 30 participants in total. The quantitative evaluation compared the distance between certain algorithms and a manually-crafted scene based on real images. The results show that randomness (controller by the parameter jittered range) is the top factor that contributes to the perceived realism of urban forests. Participants also tend to base their perception on the specific map layout. Besides, the clustering of trees (controller by the parameter cluster ratio) also increases the realism of the scene. The system is able to efficiently generate urban forests, but the realism of the results depends on the map and parameters of the algorithm. / Generering av procedurinnehåll är ett vanligt sätt att skapa modellresurser inom datorgrafikområdet. Det är fördelaktigt för att generera storskaliga modeller som byggnader, skogar etc. Detta projekt fokuserar på genereringen av den urbana skogen, vilket är ett fall som ofta förbises. Placeringen av träd är avgörande för realismen i en processuellt genererad scen. Efter att ha analyserat fördelarna och begränsningarna med nuvarande studier, föreslår projektet ett nytt system med en placeringsalgoritm för att generera skog i stadsområden. Systemet tar först en satellitbild som ingång och matar ut en markerad bild. Sedan är en placeringsalgoritm utformad specifikt för att generera träd i den markerade delen av bilden. För att göra fördelningen mer realistisk kombinerar placeringsalgoritmen regelbundenhet och skalbar slumpmässighet med justerbara parametrar, inklusive jitterområde, avvisningsnummer och klusterförhållande. Systemet valideras genom en perceptuell användarstudie och kvantitativ utvärdering. I båda experimenten jämförs den designade placeringsalgoritmen med 3 andra baslinjealgoritmer (vanlig, slumpmässig och gränsalgoritm) i 4 olika kartlayouter. Användarstudien är ett perceptuellt experiment som utnyttjade 2-AFC-metoder för att testa systemets effektivitet och undersöka hur parametrarna bidrar till realism. Resultaten kommer från totalt 30 deltagare. Den kvantitativa utvärderingen jämförde avståndet mellan vissa algoritmer och en manuellt framställd scen baserad på verkliga bilder. Resultaten visar att slumpmässighet (kontrolleras av parametern jitter range) är den främsta faktorn som bidrar till den upplevda realismen i urbana skogar. Deltagarna tenderar också att basera sin uppfattning på den specifika kartlayouten. Dessutom ökar klustringen av träd (kontrolleras av parametern klusterförhållande) också scenens realism. Systemet kan effektivt generera urbana skogar, men realismen i resultaten beror på kartan och parametrarna för algoritmen.

<p> </p><p>Att använda artificiella neurala nätverk i datorspel blir ett allt mer populärt sätt att styra de datorstyrda agenterna då detta gör att agenterna får ett mer mänskligt beteende och förmågan att generalisera och möta nya situationer och klara sig igenom dessa på ett sätt som andra typer av artificiell intelligens inte alltid kan hantera. Svårigheten med denna teknik är att träna nätverket vilket ofta kräver en lång tid av inlärning och många olika träningfall. Genom att använda genetiska algoritmer för att träna upp nätverken så kan mycket av det både tid och prestandakrävande arbetet undvikas. Denna rapport kommer att undersöka möjligheten att använda genetiska tekniker för att träna artificiella neurala nätverk i en miljö anpassad till och med fokus på spel. Att använda genetiska tekniker för att träna artificiella neurala nätverk är en bra inlärningsteknik för problem där det enkelt går att skapa en passande fitnessfunktion och där andra inlärningstekniker kan vara svåra att använda. Det är dock ingen teknik som helt tar bort arbetet från utvecklare utan istället flyttar det mer åt att utveckla fitnessfunktionen och modifiera variabler.</p><p> </p>

Att använda artificiella neurala nätverk i datorspel blir ett allt mer populärt sätt att styra de datorstyrda agenterna då detta gör att agenterna får ett mer mänskligt beteende och förmågan att generalisera och möta nya situationer och klara sig igenom dessa på ett sätt som andra typer av artificiell intelligens inte alltid kan hantera. Svårigheten med denna teknik är att träna nätverket vilket ofta kräver en lång tid av inlärning och många olika träningfall. Genom att använda genetiska algoritmer för att träna upp nätverken så kan mycket av det både tid och prestandakrävande arbetet undvikas. Denna rapport kommer att undersöka möjligheten att använda genetiska tekniker för att träna artificiella neurala nätverk i en miljö anpassad till och med fokus på spel. Att använda genetiska tekniker för att träna artificiella neurala nätverk är en bra inlärningsteknik för problem där det enkelt går att skapa en passande fitnessfunktion och där andra inlärningstekniker kan vara svåra att använda. Det är dock ingen teknik som helt tar bort arbetet från utvecklare utan istället flyttar det mer åt att utveckla fitnessfunktionen och modifiera variabler.

Memory Augmented Neural Networks (MANN) is a hot research area within deep learning. One of the most promising MANN is the Differentiable Neural Network (DNC) which is able to learn, in a fully differentiable way, how to represent and store data into an external memory. Due to its memory, it performs exceptionally well on tasks where long-term memory is required. However, not a lot of research has been done on DNCs applied to time series and is also considered to be difficult to train. This work focuses on how to improve the training of a DNC on time series by taking advantage of the external memory and manipulating it in training. Three methods are presented. The first method reuses the memory between epochs which can help when there is a risk of overfitting. The second method is based on the first but has a bi-directional training scheme which drastically improves the stability of the convergence and can potentially produce better performing DNC. The last method presented is a transfer learning method where the memory is being transferred. This method is a versatile transfer learning method that can be applied when the source and target input feature spaces are different. It is also not dependent on the architecture of the DNC other than the size of the memory. These methods were applied and tested to time series in the telecom domain. Specifically, they were tested on four time series, two for predicting read and write latency, and two for predicting round trip time for signals. The results of the methods were fairly consistent on all the time series. / Minnesförstärkta neurala nätverk (MANNs) är en trendig forskningsområde inom djupinlärning. En av de mest lovande MANN är Differentierbara Neurala Datorer (DNCs) som kan lära sig representera och lagra data in till ett externt minne. På grund av sitt externa minne, så är den exceptionellt bra på att lösa problem som kräver långtids minne. Det finns däremot inte mycket forskning på DNCs applicerat på tidserier och att den är svår att träna. Arbetet i denna uppsatts har fokuserat på hur man kan förbättra träning av DNC på tidserier genom att utnyttja det externa minnet och manipulera det under träningen. Arbetet presenterar tre styckna metoder. Första metoden återanvänder minnet mellan epoker och kan hjälpa när det finns risk att överanpassar sig till träningsdatan. Den andra metoden är baserad på den första men har ett dubbelriktat tränings system som kan tydligt förbättra stabiliteten av konvergensen och kan ibland producera bättre presterande DNC. Den sista metoden är en metod som överför lärande genom att överföra minnet av en tränad DNC. Denna metod är mångsidig då den inte är beror på källans och målets ingångs datautrymme. Den beror inte heller på arkitekturen av DNC annat än storleken på minnet. Dessa metoder var applicerade och testade på tidsseries inom telekom domänen. Dom var testade på fyra tidsserier, två styckena för att förutspå läs- och skriv latens, och två för att förutspå tid för tur och retur för signaler. Resultaten för metoderna vara relativt konsekventa med alla tidsseries.