No description available.

Nowadays it is common for companies to sit on and gather a lot of data related to their business. The size of this data is often too large to be analyzed by hand and it is therefore becoming more and more common to automate this analysis e.g. by running machine learning methods on this data. In this project we attempt at analyzing an unstructured dataset consisting of remarks, found by inspectors, on electrical installations. This is done by firstly clustering the dataset with the goal of having each cluster representing a specific type of error found in the field and then extracting ten keywords from each cluster. We investigate whether these keywords can be used for representing the clusters’ contents in a way that could be useful for a future end-user application. The solution developed in this project was evaluated by constructing a form where the respondents were shown example remarks from a random subset of clusters and got to evaluate both how well the extracted keywords matched the examples and to what degree the example remarks from the same cluster represented the same kind of error. We got a total of 22 responses consisting of 8 professional inspectors and 14 laymen. Our results show that the keyword extraction make sense in connection to the example remarks from the form and that the keywords show promise in describing the content of a cluster. Also, for a majority of the clusters a clear consensus can be seen between the respondents on what keywords they considered as relevant. However the average number of keywords that the respondents considered relevant for each remark (1.40) was deemed too low for us to be able to recommend the solution. Additionally the clustering quality follows the same pattern in showing promise but not quite giving satisfactory results in this study. For future work a larger study should be conducted where several combinations of clustering and keyword extraction methods could be evaluated more thoroughly to be able to draw more decisive conclusions. / Nuförtiden är det vanligt att företag samlar in och sitter på en mängd data kopplad till sin verksamhet. Denna datamängd är ofta för stor för att kunna analyseras för hand. Därför har det blivit allt vanligare att automatisera denna analys genom att köra maskininlärningsmetoder på datan. I detta projekt analyseras ett dataset bestående av fritext-poster innehållande anmärkningar på elinstallationer. Detta görs genom att först klustra datan med målet att varje kluster ska representera en viss typ av anmärkning från fältet för att sedan extrahera 10 st nyckelord från varje kluster. Vår undersökning går sedan ut på att undersöka till vilken grad dessa nyckelord kan sägas representera klustrens innehåll på ett sätt som skulle vara användbart för en applikation för slutanvändare. Den lösning som togs fram i projektet utvärderades genom en enkät där de svarande visades exempel på anmärkningar från ett antal slumpvist valda kluster och sedan fick ta ställning till hur väl nyckelorden passade in på exemplen och också till vilken grad exemplen från samma kluster representerade samma typ av anmärkning. Totalt fick vi in svar från 22 personer, nämligen 8 besiktningsingenjörer och 14 st lekmän. Resultaten visar att de extraherade nyckelorden hade en naturlig koppling till de respektive anmärkningarna från enkäten och att de har potential att förklara innehållet i klustren. Hos en majoritet av klustern kunde vi också se en tydlig samstämmighet bland de svarande i vilka specifika nyckelord som ansågs relevanta. Dock var det genomsnittliga antalet nyckelord som ansågs relevanta för ett anmärkningsexempel (1,40) för lågt för att vi ska kunna rekommendera den utvärderade lösningen. På ett liknande sätt visar våra resultat att klustringen av datan var lovande, men att den inte blev helt tillfredsställande. I ett fortsatt arbete borde en större undersökning göras där flera kombinationer av metoder för klustring och extrahering av nyckelord jämförs grundligare så att säkrare slutsatser kan dras.

In recent times the demand of high resolution 3D data has seen a rise, and the applications of airborne LiDAR data are increasing. Automatic extraction of building roofs is important in many of these applications such as city modelling. In 2018, Lantmäteriet (the Swedish mapping, cadastral and land registration authority) is planning a new flight to collect airborne LiDAR data. This data may become useful in extracting roof planes. The purpose of this thesis is to evaluate automatic methods for extracting buildings from airborne LiDAR data, and to perform a quality assessment of the footprints.This thesis proposes specific methods of extraction in using software called ArcGIS Pro and FME. The method was to process raw LiDAR points by separating the ground points, and finding building points through plane detection of points in clusters. Vegetation was removed using height difference of the points and the area. Polygons were created from the building points and a quality assessment was then carried out concerning completeness, accuracy and RMSE. The result on four different data sets shows a more appropriate extraction in FME. Lower point density sometimes leads to better extraction of buildings because of less vegetation. Higher point density has the advantage of higher accuracy and can extract smaller buildings, but includes more vegetation. The proposed method is recommended for larger buildings (>25 m2) and a LiDAR point density around 12 points/m2.

Growing enterprises have growing amounts of information. Making sure that this information is easily accessible to its employees is not an easy task. For this task Enterprise Resource Planning (ERP) systems come in handy. However, the ERP systems contain lots of information and may be too complex to handle this information or may be too slow in sharing this information within the organisation. This thesis introduces a new solution for how mobile applications can connect to an ERP system by exploiting database synchronisation, which allows the employees to get the information wherever they are without the need to directly access the ERP system. There are three important questions in this thesis: how the ERP works, how to build a mobile application and, how to build a back end? By combining answers to these questions a whole system is built which is production ready and can copy data between the ERP system and the back end and show the information in a mobile application. The overarching goals were to build a system that could extract data from the ERP system into a proprietary back end and a mobile application that could synchronise with the back end. However, synchronisation between the mobile application and the back end was not implemented due to lack of time. The back end had to be able to scale up to 500 concurrent users and respond within 3 seconds, both of these goals were achieved. The mobile application that was built to display the information to the end user was built with usability in mind, since Netlight wanted a straightforward application that anyone could use. The mobile application was shown to have good usability. The results of this thesis project show that building systems around ERPs, instead of inside them, gives these systems the ability to scale, improved the implementation time, and reduced the company’s maintenance efforts. / Växande företag får mer och mer information. Att kunna se till att den informationen blir enkelt tillgänglig för alla inom företaget är inte nödvändigtvis lätt. Det är ofta det som affärssystem kan användas till, dock innehåller affärssystem väldigt mycket information och kan vara för komplexa för att enkelt kunna hantera information man är intresserad av. Det kan även uppstå problem i prestanda i och med storleken på affärssystemet. I det här examensarbetet föreslås ett nytt sätt för hur mobila applikationer kan integreras med affärssystem genom att synkronisera mot dess databas, vilket tillåter anställda att komma åt informationen vart de än befinner sig. I det här examensarbetet finns det tre olika delar som är intressanta, hur affärssystemet fungerar, hur man bygger en mobilapplikation och hur man bygger ett back end. Genom att kombinera kunskapen från ovan nämnda delar, byggdes systemet som är redo för produktion och kan synkronisera data från affärssystemet till back endet, samt att visa upp informationen i mobilapplikationen. De översiktliga målen var att bygga ett system som kunde extrahera data från affärssystemet till ett eget byggt back end och en mobilapplikation som kunde synkronisera med detta back end. Dock blev synkroniseringen mellan mobilapplikationen och back endet aldrig implementerat. Back endet skulle även kunna skala upp till 500 samtidiga användare och då kunna svara inom 3 sekunder, vilket man lyckades med. Mobilapplikationen som byggdes för att visa information byggdes med användbarhet i tankarna, eftersom Netlight ville ha en enkel mobilapplikation som vem som helst skulle kunna använda. Mobilapplikationen analyserades fram till att vara användarvänlig. Detta examensarbete visar på att det går att bygga system runt affärssystem istället för att bygga dem i affärssystemen, vilket möjliggör att systemet kan skala upp bättre, mindre tid för implementation samt mindre underhåll.

POC Sports (hereafter simply POC) is a company that manufactures gear and accessories for winter sports as well as cycling. Their mission is to “Protect lives and reduce the consequences of accidents for athletes and anyone inspired to be one”. To do so, a lot of care needs to be put into making their equipment as protective as possible, while still maintaining the desired functionality. To aid in this, their vendor companies run standardized tests to evaluate their products. The results of these tests are then compiled into a report for POC. The problem is that the different companies use different styles and formats to convey this information, which can be classified into different categories. Therefore, this project aimed to provide a tool that can be used by POC to identify the report’s category and then accurately extract relevant data from it. An accuracy score was used as the metric to evaluate the tool’s accuracy with respect to extracting the relevant data. The development and evaluation of the tool were performed in two evaluation rounds. Additional metrics were used to evaluate a number of existing tools. These metrics included: whether the tools were open source, how easy they are to set up, pricing, and how much of the task the tool could cover. A proof of concept tool was realized and it demonstrated an accuracy of 97%. This was considered adequate when compared to the minimum required accuracy of 95%. However, due to the available time and resources, the sample size was limited, and thus this accuracy may not apply to the entire population with a confidence level higher than 75%. The results of evaluating the iterative improvements in the tool suggest that it is possible by addressing issues as they are found to achieve an acceptable score for a large fraction of the general population. Additionally, it would be beneficial to keep a catalog of the recurring solutions that have been made for different problems, so they can be reused for similar problems, allowing for better extensibility and generalizability. To build on the work performed in this thesis, the next steps might be to look into similar problems for other formats and to examine how different PDF generators may affect the ability to extract and process data present in PDF reports. / POC är ett företag som tillverkar utrustning, i synnerhet hjälmar, för vintersport och cyklister. Deras mål är att “Skydda liv och minska konsekvenserna från olyckor för atleter och vem som helst som är inspirerad till att bli en sådan”. För att uppnå detta har mycket jobb lagts ner för att göra deras utrustning så skyddande som möjligt., men samtidigt bibehålla samma funktionalitet. För att bidra med detta har POCs säljare genomfört standardiserade tester för att evaluera om deras produkter håller upp till standardena som satts på dem. Resultaten från dessa test är ofta presenterade i form av en rapport som sedan skickas till POC. Problemet är att de olika säljarna använder olika sätt och även format för att presentera den här informationen, som kan klassifieras in till olika kategorier. Därför avser det här projektet att skapa ett verktyg som kan användas av POC för att identifiera och därefter extrahera datan från dessa rapporter. Ett precisionsspoäng användes som mått för att utvärdera verktygets precision med avseende på att extrahera relevant data. Utvecklingen och utvärderingen av verktyget genomfördes i två utvärderingsomgångar. Ytterligare mått användes för att utvärdera ett antal befintliga verktyg. Dessa mått inkluderade: om verktygen var öppen källkod, hur enkla de är att installera och bröja använda, prissättning och hur mycket av uppgiften verktyget kunde täcka. En prototype utvecklades med en precision på 97%. Detta ansågs vara tillräckligt jämfört med den minsta nödvändiga precision på 95%. Men på grund av den tillgängliga tiden och resurserna var urvalsstorleken begränsad, och därför kanske denna noggrannhet inte gäller för hela populationen med en konfidensnivå högre än 75%. Resultaten av utvärderingen av de iterativa förbättringarna i verktyget tyder på att det är möjligt att genom att ta itu med problem som dyker upp, att uppnå en acceptabel poäng för en stor del av den allmänna befolkningen. Dessutom skulle det vara fördelaktigt att föra en katalog över de återkommande lösningar som har gjorts för olika problem, så att de kan återanvändas för liknande problem, vilket möjliggör bättre töjbarhet och generaliserbarhet. För att bygga vidare på det arbete som utförts i denna avhandling kan nästa steg vara att undersöka liknande problem för andra format och att undersöka hur olika PDF-generatorer kan påverka hur väl det går att extrahera och bearbeta data som finns i PDF-rapporter.

This report presents a method for extracting answer phrases, suitable as answers to reading comprehension questions, from Swedish text. All code used to produce the results is available on github*. The method is developed using a Swedish BERT, a pre-trained language model based on neural networks. The BERT model is fine-tuned for three different tasks; two variations of token classification for answer extraction, and one for sentence classification with the goal of identifying relevant sentences. The dataset used for fine-tuning consists of 1814 question and answer pairs posed on 598 different texts, partitioned into a training, a validation and a test set. The models are assessed individually and are furthermore combined, using a method based on roundtrip consistency, into a system for filtering extracted answer phrases. The results for each of the models, and for the system combining them are evaluated both on quantitative measures (precision, recall and Jaccard index) and qualitative measures. Within the qualitative evaluation we both look at results produced by the models and conduct structured human evaluation with the help of four external evaluators. The final answer extraction model achieves a precision of 0.02 and recall of 0.95, with an average Jaccard index of 0.55 between the extracted answer phrases and the targets. When applying the system for filtering the precision is 0.03, the recall 0.50 and the Jaccard index 0.62 on a subset of the test data. The answer extraction model achieves the same results as the baseline on precision, outperforms it on recall by a large margin, and has worse results than the baseline on Jaccard index. The method applying filtering, which is evaluated on a subset of the test set, has worse precision than the baseline but outperform it on both recall and Jaccard index. In the qualitative evaluation we detect some flaws in the grammatical correctness of the extracted answers, as over 50% of them are classified as not grammatically correct. The joint result of the two evaluators on suitability show that 32% of the grammatically correct answers are suitable as answer phrases. / I rapporten presenteras en metod för extrahering av svarsfraser lämpliga som svar till läsförståelsefrågor på svensk text. All kod använd för att producera resultaten finns tillgänglig på github*. Metoden utgår från en svensk BERT, en tränad språkmodell baserad på neurala nätverk. BERT-modellen är finjusterad (“fine-tuned“) för tre olika uppgifter; två varianter av “token classification“ för extrahering av svarsfraser samt en för “sentence classification“ med målet att identifiera relevanta meningar. Datasetet som används för finjusteringen innehåller 1814 fråge- och svarspar baserade på 598 texter, uppdelat i ett tränings-, valideringsoch testset. Resultaten utvärderas separat för varje modell, och också för ett kombinerat system av de tre modellerna. I det kombinerade systemet extraherar en modell potentiella svarsfraser medans de andra två agerar som ett filter, baserat på en variant av “roundtrip consistency“. Resultaten för varje modell och för systemet för filtrering utvärderas både kvantitativt (på “precision“, “recall“ och Jaccard index) och kvalitativt. Fyra externa utvärderare rekryterades för utvärdering av resultaten på kvalitativa grunder. Modellen med bäst resultat når en precision av 0.02 och recall av 0.95, med ett snittvärde för Jaccard index av 0.55 mellan de extraherade och korrekta svarsfraserna. Med applicering av systemet för filtrering blir resultaten för precision 0.03, recall 0.50 och Jaccard index 0.62 på en delmängd av testdatat. Den BERT-baserade modellen för extrahering av svarsfraser når samma resultat som baseline på precision, bättre resultat på recall samt sämre resultat på Jaccard index. Resultaten för metoden med filtrering, som är utvärderad på en delmängd av testdatat, har sämre resultat än baseline på precision, men bättre resultat på recall och Jaccard index. I den kvalitativa utvärderingen upptäcker vi brister i den grammatiska korrektheten av de extraherade svarsfraserna, då mer än 50% av dem klassificeras som grammatiskt felaktiga. De sammantagna resultaten av utvärderingen av svarsfrasernas lämplighet visar att 32% av de svarsfraser som är grammatiskt korrekta är lämpliga som svarsfraser.

The thesis investigates how Swedish archives and special collections manage digital information stored on legacy media. The purpose is to understand what strategies and practices archives use when extracting digital information from legacy media. The strategies used to extract and preserve data from legacy media preludes how archives should preserve other born digital information and provides a micro perspective for comprehensive further investigations. The research will increase our understanding of archival practices by looking at the Swedish archives. The thesis uses philosophy of information as a metatheory to frame the investigation, and proceeds to use principles found either in archival litterature or established in previous international research to analyze and compare strategies used by the Swedish archives when extracting data from legacy media. The thesis uses a quantitative method to analyze collected statistical data and a qualitative method to interpret and compare archival strategies. The quantitative results show that while most Swedish archives still have legacy media in their collections, the administrative archives have either prohibited legacy media in new accessions, never really received them in the first place or already migrated the data to electronic archives. However, conversely the results also show that archives with special collections still receive legacy media in their accessions and also experience a small but significant increase in the accession frequency. The difference in accession frequency between the archives is explained in part by the rules governing the accessions, but also by the fact that administrative archives manage records whereas special collections tend to manage documents. The qualitative results show that archives who still manage legacy media, either in their accessions or collections, are still mostly in the process of deciding what strategies and methods to use when extracting data from legacy media.

This report goes through the process of developing a generic article scraper which shall extract relevant information from an arbitrary web article. The extraction is implemented by searching and examining the HTML of the article, by using Python and XPath. The data that shall be extracted is the title, summary, publishing date and body text of the article. As there is no standard way that websites, and in particular news articles, is built, the extraction needs to be adapted for every different structure and language of articles. The resulting program should provide a proof of concept method of extracting the data showing that future development is possible. The thesis host company Acuminor is working with financial crime intelligence and are collecting information through articles and reports. To scale up the data collection and minimize the maintenance of the scraping programs, a general article scraper is needed. There exist an open source alternative called Newspaper, but since this is no longer being maintained and it can be argued is not properly designed, an internal implementation for the company could be beneficial. The program consists of a main class that imports extractor classes that have an API for extracting the data. Each extractor are decoupled from the rest in order to keep the program as modular as possible. The extraction for title, summary and date are similar, with the extractors looking for specific HTML tags that contain some common attribute that most websites implement. The text extraction is implemented using a tree that is built up from the existing text on the page and then searching the tree for the most likely node containing only the body text, using attributes such as amount of text, depth and number of text nodes. The resulting program does not match the performance of Newspaper, but shows promising results on every part of the extraction. The text extraction is very slow and often takes too much text of the article but provides a great blueprint for further improvement at the company. Acuminor will be able to have their in-house article extraction that suits their wants and needs. / Den här rapporten går igenom processen av att utveckla en generisk artikelskrapare som ska extrahera reöevamt information från en godtycklig artikelhemsida. Extraheringen kommer bli implementerad genom att söka igenom och undersöka HTML-en i artikeln, genom att använda Python och XPath. Datan som skall extraheras är titeln, summering, publiceringsdatum och brödtexten i artikeln. Eftersom det inte finns något standard sätt som hemsidor, och mer specifikt nyhetsartiklar är uppbyggda, extraheringen måste anpassas för varje olika struktur och språk av artiklar. Det resulterande programmed skall visa på ett bevis för ett koncept sätt att extrahera datan som visar på att framtida utveckling är möjlig. Projektets värdföretag Acuminor jobbar inom finansiell brottsintelligens och samlar ihop information genom artiklar och rapporter. För att skala upp insamlingen av data och minimera underhåll av skrapningsprogrammen, behövs en generell artikelskrapare. Det existerar ett öppen källkodsalternativ kallad Newspaper, men eftersom denna inte länge är underhållen och det kan argumenteras att den inte är så bra designad, är en intern implementation för företaget fördelaktigt. Programmet består av en huvudklass som importerar extraheringsklasser som har ett API för att extrahera datan. Varje extraherare är bortkopplad från resten av programmet för att hålla programmet så moodulärt som möjligt. Extraheringen för titel, summering och datum är liknande, där extragherarna tittar efter specifika HTML taggar som innehåller något gemensamt attribut som de flesta hemsidor implementerar. Textextraheringen är implementerad med ett träd som byggs upp från grunden från den existerande texten på sidan och sen söks igenom för att hitta den mest troliga noden som innehåller brödtexten, där den använder attribut såsom text, djup och antal textnoder. Det resulterande programmet matchar inte prestandan av Newspaper, men visar på lovande resultat vid varje del av extraheringen. Textextraheringen är väldigt långsam och hämtar ofta för mycket text från artikeln men lämnar ett bra underlag för vidare förbättring hos företaget. Allt som allt kommer Acuminor kunna bygga vidare på deras egna artikel extraherare som passar deras behov.

I detta examensarbete har tidsstämplar extraherats ur ett forensiskt perspektiv från ett hemautomationssystem med styrenheten Homey från Athom. Först konstruerades ett fiktivt händelsescenario gällande ett inbrott i en lägenhet med ett hemautomationssystem. Hemautomationssystemet bestod av flera perifera enheter som använde olika trådlösa nätverksprotokoll. Enheterna triggades under händelsescenariot. Därefter testades olika metoder för att få ut data i form av tidsstämplar. De metoder som testades var rest-API, UART och chip-off på flashminnet medan JTAG inte hanns med på grund av tidsbrist. Den metod som gav bäst resultat var rest-API:t som möjliggjorde extrahering av alla tidsstämplar samt information om alla enheter. I flashminnet hittades alla tidsstämplar, men det var inte möjligt att koppla ihop dessa tidsstämplar med en specifik enhet utan att använda information från rest-API:t. Trots att rest-API:t gav bäst resultat så var det den metod som krävde en mängd förutsättningar i form av bland annat inloggningsuppgifter eller en rootad mobil. Med hjälp av de extraherade tidsstämplarna rekonstruerades sedan händelsescenariot för inbrottet. / The purpose of this bachelor thesis was to extract timestamps from a home automation system with a control unit named Homey in a forensic perspective. The first step was to create a course of event regarding a burglar breaking into an apartment with home automation. The home automation system consisted of some peripheral units using different types of wireless network protocols. All these units were triggered during the break in. Thereafter different types of methods were tested in an attempt to extract the timestamps for each unit. These methods included rest-API, UART and chip-off on a flash memory. The method using JTAG were not tested due to lack of time. Rest-API was the method that provided most information about the units and time stamps. The flash memory also contained every timestamp, however it did not provide any information about which timestamp belonged to which unit. Even though the rest-API was the best method to extract data, it was also the method with most requirements such as credentials or a rooted smartphone. With the extracted timestamps it was possible to reconstruct the course of events of the break-in.

The ability to generate accurate approximations of derivatives holds significant importance in numerous scientific fields, including chemistry, economics and fluid mechanics. This thesis is centred around extracting hidden information in data using Smoothness-Increasing Accuracy-Conserving (SIAC) filters. The target application is in calculating derivatives in simulations of fluid flow. SIAC filters are based on convolution. Because of the properties used to construct the convolution kernel, we are able to design post-processing filters that can extract extra derivative information with high accuracy. In the past, these filters have typically had a tensor-product structure, which requires multi-dimensional filtering. Because of this, the filtering process can be very computationally expensive. The goal of this thesis is to develop one-dimensional line filters that are able to extract the derivative information more efficiently. By utilizing line filters, we aim to significantly cut the computational cost of the filtering process, while also maintaining the high accuracy. / Att kunna generera approximeringar av derivator med hög noggrannhet har stor användning inom många vetenskapliga områden, inklusive kemi, ekonomi och strömningsmekanik. Denna uppsats är fokuserad på att extrahera dold information i data med hjälp av en specifik typ av faltningsfilter. Dessa filter kan öka kontinuitetsgraden av data utan att minska noggrannheten. Den avsedda tilläpningen för dessa filter är inom strömningsmekanik, framförallt beräkning av derivator i flöden. Tack vare egenskaperna som används för att konstruera faltningskärnan kan vi utforma efterbehandlingsfilter som kan extrahera derivatainformation med hög noggrannhet. Tidigare har dessa filter ofta haft en tensorproduktstruktur, vilket kräver flerdimensionell filtrering. På grund av detta har filtreringen ofta en hög beräkningskostnad. Målet med denna uppsats är att utveckla endimensionella linjefilter som kan extrahera derivatainformation mer effektivt. Syftet är att använda dessa linjefilter för att betydligt miska filtreringens beräkningskostnad och samtidigt behålla den höga noggrannheten.