This master´s theis deals design and implementation of Business Intelligence the company of Click Credit s.r.o. The main task within the BI integration services to design and create a central register of delinquent clients which ensure data are fully consistent and could by used for futrher analysis. The first part of the thesis describes the theoretical foundations of integration and analytical services. In the second part of the thesis is analysis of the current situation and solution proposal.

Digitalisering i Sverige har ökat under de senaste åren, och kommer att fortsätta stiga. På grund av detta har säkerhetsåtgärder vidtagits så som GDPR som är till för att skydda användarens data och känsliga information, särskilt när det kommer till digital kommunikation mellan användare och kund. Det är därför ytterst viktigt att ha användares säkerhet i fokus när digitala system byggs upp, vilket även är kärnan i detta arbete. I projektet har en pålitligt databas samt en trygg mobilapplikation och webbapplikation byggts upp som förenklar kommunikationen mellan kommun och invånare. I mobilapplikationen kan användaren snabbt och enkelt felanmäla, se sina ärenden samt få information från kommunen angående pågående händelser i kommunen. I webbapplikationen kan kunden, det vill säga kommunen, kontrollera inskickade felanmälningar och markera de som åtgärdade och även skicka ut information till sina invånare. Detta sker utan att kunden får tillgång till användarens personliga data som endast finns i databasen och inte webbapplikationen. Efter de litteraturstudier som har gjorts är databasen och applikationerna säkra för både användare och kund. Åtgärder har vidtagits för att säkra att ingen fientlig applikation eller användare kan nå användarens känsliga data, samt ha möjligheten att modifiera databasen på egen hand. Till följd av detta kan kommunens invånare ha en närmare kontakt med kommunen på ett tryggt sätt. / The digitization in Sweden has increased rapidly during the last few years, and will continue doing so. As a result of this, precaution have been taken, for instance GDPR which was invented to protect users’ data and sensitive information, especially when it comes to digital communication between user and client. Therefore it is utterly important to have the user’s safety in focus when digital systems are implemented, which is also the core of this project. In this project, a reliable database as well as a safe mobile application and web application has been created to simplify the communication between citizens and counties. In the mobile application, the user has the possibility to report errors, verify their submitted errands along with getting information from the county about ongoing events in the county in an efficient way. In the web application the customer, which in this case is the county, can check the errors that has been sent in and mark them as fixed as well as giving their citizens information. This takes place without the customer having access to the user’s personal data that only exists in the database and not in the web application. After the literature studies that have been made, the database and the applications are safe for both the user and the customer. Actions have been made to ensure that no hostile application or user can reach sensitive data or has the possibility to modify the database on their own. As a result of this the county’s citizens can have a closer contact and communication with the county in a safe way.

Scania AB äger komplicerade testsystem som genererar stora och invecklade mängder av data. Ett av dessa testsystem är Hardware-In-the-Loop riggar (HIL) som testar elektriska system och genererar elektriska signaler samt resultat av de utförande testerna. Datat från dessa elektriska signaler skall sedan sparas i JSON-filer. För att dra nytta av Datat måste de sparas i en lämplig databas som kan be-handla denna data på ett bra sätt.Data från elektriska signaler beskriver olika fordonsegenskaper över tiden, vilket kan betraktas som en multivariat tidsserie.I det nuvarande systemet lagras och visualiseras data på ett ineffektivt sätt. Syftet med den första delen av studien är att undersöka 4 relevanta databaser som kan hantera JSON-filer. Den andra delen av detta arbete handlar om metoder för visua-lisering av signaler, det vill säga hur signaler kan representeras i form av grafer.Undersökningsresultat visade att två databaser är mer kvalificerade att ersätta den nuvarande databasen. CouchDB och PostgreSQL testades för att mäta deras pre-standa när det gäller lagring och hämtning av data.Testresultatet visade att CouchDB har högre prestanda för datahämtning än Post-greSQL. Därefter utvecklades en prototyp vars uppdrag var att visualisera signaler i webbläsare. / Scania AB owns the complex test systems that generate complex and large amounts of data. To take advantage of this data, it must be stored in a suitable database, de-pending on the data type. One of these test systems is Hardware-In-the-Loop which tests electrical system and produces large amounts of electrical signals. The data of these electrical signals will be saved in the form of JSON files.In the current system, these data are stored and visualized in an inefficient manner. The purpose of this study was to investigate 4 relevant databases that can handle JSON files. The second part of this work was to visualize signals in the web brow-ser.Results of investigations show that two databases were more qualified to replace the current database. CouchDB and PostgreSQL was a test-item to measure their performance in terms of response time in relation to file size and the number of signals.Results of the tests show that CouchDB has higher performance for retrieving data than PostgreSQL. Then, a prototype was developed in order to visualize the signals in the web browser.

Denna rapport återger arbetsprocessen kring att utvärdera datalagringsstruktur och förbättra prestanda för generering av parameterfiler för kortterminaler. Arbetet utfördes på plats hos Esplanad AB, ett företag som bland annat arbetar med säkerhetslösningar och distribution av inställningar för betalstationer. Uppgiften bestod av att utvärdera möjligheter till att förbättra databasen som sparar alla inställningarna för betalsystemen, samt att förbättra kodstruktur och prestanda för programmet som genererar filerna. Rapporten beskriver testning av prestanda, både på Esplanads gamla program för att generera parameterfiler och det nya som konstruerades. En lösning presenteras som inkluderar förbättring av filgenereringens prestanda och en ny struktur på databasen för ökad skalbarhet. Tester visar att det nya systemet klarar av att skapa parameterfiler på TLV-format ungefär 16 gånger snabbare. Den föreslagna lösningen implementerar parallella processer och replikering av databasen. / This thesis describes the process of analyzing and evaluating the structure of data storage and improving the performance for generating parameter files destined for card terminals. The work was done in house at Esplanad AB, a company dealing with security solutions and distribution of settings for payment stations. The first task was to evaluate the possibilities for improving the database storing the settings for each card reader. The second task was to improve the structure of the code and also improve the file generating systems performance. The thesis describes testing performance, both for Esplanad’s old system for generating parameter files, and the new one constructed. The solution presented includes improved performance of the file generating process and a new structure for the database that increases scalability. Tests show that the new system is capable of generating parameter files with TLV-format, about 16 times faster. The proposed solution implements parallel processes and database replication.

L'internet est devenu un environnement omniprésent dans le monde du travail et du loisir. La popularité sans cesse croissante des applications web ainsi que des services associés entraînent l'exécution de nombreuses transactions critiques, qui soulèvent des questions de sécurité. Du fait de cette croissance, des efforts ont été entrepris durant cette dernière décennie pour rendre les applications web plus sûres. Malgré ces efforts, de récents rapports provenant de l'institut SANS estiment que plus de 60 % des attaques commises sur l'Internet ciblent les applications web en se concentrant sur les vulnérabilités inhérentes aux problèmes de validation, comme le Cross-Site Scripting ou les injections SQL. Dans cette thèse, nous avons conduit deux études de recherche empirique, analysant un grand nombre d'application web vulnérables. Nous avons assemblé une base de données contenant plus de 10.000 rapports de vulnérabilités depuis l'an 2000. Ensuite, nous avons analysé ces données pour déterminer si les développeurs ont pris conscience des problématiques de sécurité web de nos jours, comparé à la période où ces applications émergeaient. Puis nous avons analysé l'étroit lien entre le langage de programmation utilisé pour développer l'application web et le nombre de vulnérabilité reporté. Avec ces résultats empiriques comme base, nous présentons notre solution IPAAS qui aide les développeurs novice en termes de sécurité à écrire des applications sécurisées par défaut. Nous montrons par ailleurs que cette technique améliore de manière probante la sécurité des applications web. / The web has become a backbone of our industry and daily life. The growing popularity of web applications and services and the increasing number of critical transactions being performed, has raised security concerns. For this reason, much effort has been spent over the past decade to make web applications more secure. Despite these efforts, recent data from SANS institute estimates that up to 60% of Internet attacks target web applications and critical vulnerabilities such as cross-site scripting and SQL injection are still very common. In this thesis, we conduct two empirical studies on a large number of web applications vulnerabilities with the aim of gaining deeper insights in how input validation flaws have evolved in the past decade and how these common vulnerabilities can be prevented. Our results suggest that the complexity of the attacks have not changed significantly and that many web problems are still simple in nature. Our studies also show that most SQL injection and a significant number of cross-site scripting vulnerabilities can be prevented using straight-forward validation mechanisms based on common data types. With these empirical results as foundation, we present IPAAS which helps developers that are unaware of security issues to write more secure web applications than they otherwise would do. It includes a novel technique for preventing the exploitation of cross-site scripting and SQL injection vulnerabilities based on automated data type detection of input parameters. We show that this technique results in significant and tangible security improvements for real web applications.

Traditional relational database systems can not be efficiently used to analyze data with large volume and different formats, i.e. big data. Apache Hadoop is one of the first open-source tools that provides a distributed data storage system and resource manager. The space of big data processing has been growing fast over the past years and many technologies have been introduced in the big data ecosystem to address the problem of processing large volumes of data, and some of the early tools have become widely adopted, with Apache Hive being one of them. However,with the recent advances in technology, there are other tools better suited for interactive analytics of big data, such as Apache Spark and Presto. In this thesis these technologies are examined and benchmarked in order to determine their performance for the task of interactive business intelligence queries. The benchmark is representative of interactive business intelligence queries, and uses a star-shaped schema. The performance HiveTez, Hive LLAP, Spark SQL, and Presto is examined with text, ORC, Parquet data on different volume and concurrency. A short analysis and conclusions are presented with the reasoning about the choice of framework and data format for a system that would run interactive queries on bigdata. / Traditionella relationella databassystem kan inte användas effektivt för att analysera stora datavolymer och filformat, såsom big data. Apache Hadoop är en av de första open-source verktyg som tillhandahåller ett distribuerat datalagring och resurshanteringssystem. Området för big data processing har växt fort de senaste åren och många teknologier har introducerats inom ekosystemet för big data för att hantera problemet med processering av stora datavolymer, och vissa tidiga verktyg har blivit vanligt förekommande, där Apache Hive är en av de. Med nya framsteg inom området finns det nu bättre verktyg som är bättre anpassade för interaktiva analyser av big data, som till exempel Apache Spark och Presto. I denna uppsats är dessa teknologier analyserade med benchmarks för att fastställa deras prestanda för uppgiften av interaktiva business intelligence queries. Dessa benchmarks är representative för interaktiva business intelligence queries och använder stjärnformade scheman. Prestandan är undersökt för Hive Tex, Hive LLAP, Spark SQL och Presto med text, ORC Parquet data för olika volymer och parallelism. En kort analys och sammanfattning är presenterad med ett resonemang om valet av framework och dataformat för ett system som exekverar interaktiva queries på big data.

Feature engineering at scale is always critical and challenging in the machine learning pipeline. Modern data warehouses enable data analysts to do feature engineering by transforming, validating and aggregating data in Structured Query Language (SQL). To help data analysts do this work, Data Build Tool (DBT), an open-source tool, was proposed to build and orchestrate SQL pipelines. Hopsworks, an open-source scalable feature store, would like to add support for DBT so that data scientists can do feature engineering in Python, Spark, Flink, and SQL in a single platform. This project aims to create a concept about how to build this support and then implement it. The project checks the feasibility of the solution using a sample DBT project. According to measurements, this working solution needs around 800 MB of space in the server and it takes more time than executing DBT commands locally. However, it persistently stores the results of each execution in HopsFS, which are available to users. By adding this novel support for SQL using DBT, Hopsworks might be one of the completest platforms for feature engineering so far. / Att utveckla funktioner i stor skala är alltid kritiskt och utmanande i pipeline för maskininlärning. Moderna datalager gör det möjligt för dataanalytiker att göra feature engineering genom att omvandla, validera och aggregera data i Structured Query Language (SQL). För att hjälpa dataanalytiker att utföra detta arbete föreslogs Data Build Tool (DBT), ett verktyg med öppen källkod, för att bygga och organisera SQL-pipelines. Hopsworks, ett skalbart funktionslager med öppen källkod, vill lägga till stöd för DBT så att datavetare kan göra funktionsutveckling i Python, Spark, Flink och SQL på en enda plattform. Det här projektet syftar till att skapa ett koncept för hur man bygger detta stöd och sedan genomföra det. Projektet kontrollerar lösningens genomförbarhet med hjälp av ett exempel på DBT-projekt. Enligt mätningar behöver denna fungerande lösning cirka 800 MB utrymme på servern och det tar mer tid än att utföra DBT-kommandon lokalt. Den lagrar dock permanent resultaten av varje körning i HopsFS, vilka är tillgängliga för användarna. Genom att lägga till detta nya stöd för SQL med DBT kan Hopsworks vara en av de mest kompletta plattformarna för funktionsutveckling hittills.

No description available.

Dagens samhälle är beroende av ett ständigt flöde av information och data. Företag och organisationer har ofta enorma mängder data som rör allt från kunder och personal till försäljningsstatistik och patientjournaler. Utvecklingen har gått mycket snabbt och många företag och organisationer har inte haft tid eller resurser för att hålla sina system uppdaterade för att hantera dessa enorma mängder data. I detta arbete har uppgiften varit att koppla samman databaser från flera olika system i syfte att göra underhåll och hantering av dessa enklare. Dessa system behandlar i regel samma typ av data (personaldata indelat i grupper i form av enheter) men den benämns på olika sätt, exempelvis med olika ID. Detta leder till att datan saknar relation på så vis att det är mycket svårt att avgöra vilka enheter som korresponderar med varandra då de saknar gemensamma nämnare. Som en lösning på detta skapades ytterligare två databaser sammankopplade med övriga genom ett API, där data kopplas samman genom att tilldelas ett gemensamt ID, ett master-id. På så vis kan användare och utvecklare enkelt söka efter ett objekt från ett system och få tillbaka all data för korresponderande objekt i andra system. Som tillägg skapades också ett semi-automatiserat system i form av ett användargränssnitt som används för sammankoppling av objekt. / Today’s society depends on a constant flow of information and data. Companies and organisations often hold huge amounts of data, ranging from customers and staff to sales statistics and patient records. The pace of change has been very fast and many companies and organisations have not had the time or resources to keep their systems up to date to handle these huge amounts of data. In this thesis, the task has been to link databases from multiple systems to make maintenance and management easier. These systems generally process the same type of data (personnel data divided into groups in the form of units) which are named in different ways, for example with different IDs. As a result, the data is unrelated in a way that makes it very difficult to determine which entities correspond to each other as they have no common denominator. As a solution to this, two additional databases were created and linked to each other through an API, where the data is linked by being assigned a common ID, or a master-ID. In this way, users and developers can easily search for an object from one system and get in return all the data for the corresponding objects in other systems. In addition, a semi-automated system was created in the form of a user interface used for linking objects.

The thesis deals with connecting SAP ERP system via local database system MS SQL Server using the tools SAP BI, data synchronization between systems and advanced usage of T-SQL language for preparing data for web applications and reports written in PHP. The thesis contains a brief overview of the SAP system and the possibility of connecting to the SAP system. The general principles of described solution can be used in conjunction with other systems and programming languages.