Vid stor mängd data i form av kundomdömen kan det vara ett relativt tidskrävande arbeteatt bedöma varje omdömes sentiment manuellt, om det är positivt eller negativt laddat. Denna avhandling har utförts för att automatiskt kunna klassificera kundomdömen efter positiva eller negativa omdömen vilket hanterades med hjälp av maskininlärning. Tre olika djupa neurala nätverk testades och jämfördes med hjälp av två olika ramverk, TensorFlow och Keras, på både större och mindre datamängder. Även olika inbäddningsmetoder testades med de neurala nätverken. Den bästa kombination av neuralt nätverk, ramverk och inbäddningsmetod var ett Convolutional Neural Network (CNN) som använde ordinbäddningsmetoden Word2Vec, var skriven i ramverket Keras och gav en träffsäkerhetpå ca 88.87% med en avvikelse på ca 0.4%. CNN gav bäst resultat i alla olika tester framför de andra två neurala nätverken, Recurrent Neural Network (RNN) och Convolutional Recurrent Neural Network (CRNN) / With large amount of data in the form of customer reviews, it could be time consuming to manually go through each review and decide if its sentiment is positive or negative. This thesis have been done to automatically classify client reviews to determine if a review is positive or negative. This was dealt with by machine learning. Three different deep neural network was tested on greater and lesser datasets, and compared with the help of two different frameworks, TensorFlow and Keras. Different embedding methods were tested on the neural networks. The best combination of a neural network, a framework and anembedding was the Convolutional Neural Network (CNN) which used the word embedding method Word2Vec, was written in Keras framework and gave an accuracy of approximately 88.87% with a deviation of approximately 0.4%. CNN scored a better result in all of the tests in comparison with the two other neural networks, Recurrent NeuralNetwork (RNN) and Convolutional Recurrent Neural Network (CRNN).

The automatic interpretation of signs of a sign language involves image recognition. An appropriate approach for this task is to use Deep Learning, and in particular, Convolutional Neural Networks. This method typically needs large amounts of data to be able to perform well. Transfer learning could be a feasible approach to achieve high accuracy despite using a small data set. The hypothesis of this thesis is to test if transfer learning works well to interpret the hand alphabet of the Swedish Sign Language. The goal of the project is to implement a model that can interpret signs, as well as to build a user-friendly web application for this purpose. The final testing accuracy of the model is 85%. Since this accuracy is comparable to those received in other studies, the project’s hypothesis is shown to be supported. The final network is based on the pre-trained model InceptionV3 with five frozen layers, and the optimization algorithm mini-batch gradient descent with a batch size of 32, and a step-size factor of 1.2. Transfer learning is used, however, not to the extent that the network became too specialized in the pre-trained model and its data. The network has shown to be unbiased for diverse testing data sets. Suggestions for future work include integrating dynamic signing data to interpret words and sentences, evaluating the method on another sign language’s hand alphabet, and integrate dynamic interpretation in the web application for several letters or words to be interpreted after each other. In the long run, this research could benefit deaf people who have access to technology and enhance good health, quality education, decent work, and reduced inequalities. / Automatisk tolkning av tecken i ett teckenspråk involverar bildigenkänning. Ett ändamålsenligt tillvägagångsätt för denna uppgift är att använda djupinlärning, och mer specifikt, Convolutional Neural Networks. Denna metod behöver generellt stora mängder data för att prestera väl. Därför kan transfer learning vara en rimlig metod för att nå en hög precision trots liten mängd data. Avhandlingens hypotes är att utvärdera om transfer learning fungerar för att tolka det svenska teckenspråkets handalfabet. Målet med projektet är att implementera en modell som kan tolka tecken, samt att bygga en användarvänlig webapplikation för detta syfte. Modellen lyckas klassificera 85% av testinstanserna korrekt. Då denna precision är jämförbar med de från andra studier, tyder det på att projektets hypotes är korrekt. Det slutgiltiga nätverket baseras på den förtränade modellen InceptionV3 med fem frysta lager, samt optimiseringsalgoritmen mini-batch gradient descent med en batchstorlek på 32 och en stegfaktor på 1,2. Transfer learning användes, men däremot inte till den nivå så att nätverket blev för specialiserat på den förtränade modellen och dess data. Nätverket har visat sig vara ickepartiskt för det mångfaldiga testningsdatasetet. Förslag på framtida arbeten inkluderar att integrera dynamisk teckendata för att kunna tolka ord och meningar, evaluera metoden på andra teckenspråkshandalfabet, samt att integrera dynamisk tolkning i webapplikationen så flera bokstäver eller ord kan tolkas efter varandra. I det långa loppet kan denna studie gagna döva personer som har tillgång till teknik, och därmed öka chanserna för god hälsa, kvalitetsundervisning, anständigt arbete och minskade ojämlikheter.

Image classification is the process of identifying to which class a previously unobserved object belongs to. Classifying images is a commonly occurring task in companies. Currently many of these companies perform this classification manually. Automated classification however, has a lower expected accuracy. This thesis examines how automated classification could be improved by the addition of augmented data into the learning process of the classifier. We conduct a quantitative empirical study on the effects of two image augmentations, random horizontal/vertical flips and random rotations (<180◦). The data set that is used is from an auction house search engine under the commercial name of Barnebys. The data sets contain 700 000, 50 000 and 28 000 images with each set containing 28 classes. In this bachelor’s thesis, we re-trained a convolutional neural network model called the Inception-v3 model with the two larger data sets. The remaining set is used to get more class specific accuracies. In order to get a more accurate value of the effects we used a tenfold cross-validation method. Results of our quantitative study shows that the Inception-v3 model can reach a base line mean accuracy of 64.5% (700 000 data set) and a mean accuracy of 51.1% (50 000 data set). The overall accuracy decreased with augmentations on our data sets. However, our results display an increase in accuracy for some classes. The highest flat accuracy increase observed is in the class "Whine & Spirits" in the small data set where it went from 42.3% correctly classified images to 72.7% correctly classified images of the specific class. / Bildklassificering är uppgiften att identifiera vilken klass ett tidigare osett objekt tillhör. Att klassificera bilder är en vanligt förekommande uppgift hos företag. För närvarande utför många av dessa företag klassificering manuellt. Automatiserade klassificerare har en lägre förväntad nogrannhet. I detta examensarbete studeradas hur en maskinklassificerar kan förbättras genom att lägga till ytterligare förändrad data i inlärningsprocessen av klassificeraren. Vi genomför en kvantitativ empirisk studie om effekterna av två bildförändringar, slumpmässiga horisontella/vertikala speglingar och slumpmässiga rotationer (<180◦). Bilddatasetet som används är från ett auktionshus sökmotor under det kommersiella namnet Barnebys. De dataseten som används består av tre separata dataset, 700 000, 50 000 och 28 000 bilder. Var och en av dataseten innehåller 28 klasser vilka mappas till verksamheten. I det här examensarbetet har vi tränat Inception-v3-modellen med dataset av storlek 700 000 och 50 000. Vi utvärderade sedan noggrannhet av de tränade modellerna genom att klassificera 28 000-datasetet. För att få ett mer exakt värde av effekterna använde vi en tiofaldig korsvalideringsmetod. Resultatet av vår kvantitativa studie visar att Inceptionv3-modellen kan nå en genomsnittlig noggrannhet på 64,5% (700 000 dataset) och en genomsnittlig noggrannhet på 51,1% (50 000 dataset). Den övergripande noggrannheten minskade med förändringar på vårat dataset. Dock visar våra resultat en ökad noggrannhet i vissa klasser. Den observerade högsta noggrannhetsökningen var i klassen Åhine & Spirits", där vi gick från 42,3 % korrekt klassificerade bilder till 72,7 % korrekt klassificerade bilder i det lilla datasetet med förändringar.

Retrieving specific information from newspapers can be a difficult task due to differences in their design, layout, imagery, and typography. Using newspapers from different publishers that are archived at the National Library of Sweden, this thesis aims to train a deep learning model that is able to detect and classify advertisements. Experiments are performed to see how well the models generalize to different publishers, and to a time period that is nearby, but outside the time period in which the models were trained. Results from experiments show that using a CNN, advertisements can be detected and classified to a high degree. Models were found to perform particularly well on data from the same publisher and time period as it was trained. Performance losses were generally observed when models were tested on other publishers or in another time domain than the training data. Further drops in performance were seen when models were tested on a combination of both a different publisher and a different time period. / Att återhämta specifik information från digitalt lagrade nyhetstidningar kan vara en svår utmaning. Detta beror delvis på nyhetstidningars varierande design, men även dess användande av bild- och skriftspråk. I detta arbete används nyhetstidningar från olika utgivare som är arkiverat på Kungliga Biblioteket för att träna maskininlärnings modeller med målet att kunna detektera annonser i nyhetstidningar. Experiment utförs även för att undersöka hur väl de tränade modellerna generaliserar till andra utgivare, samt hur de generaliserar till en annan tidsperiod än tidsperioden som modellen var tränad på. Resultaten från experimenten visar att ett CNN kan detektera och klassificera annonser till en hög grad. Modeller hade högst prestation på nyhetstidningar inom samma tidsperiod och från samma utgivare som den tränats på. Generaliserings test visade lägre prestation när modeller testades på andra tidsperioder och utgivare, i synnerhet när de testades på en kombination av både en annan utgivare i en annan tidsperiod.

Machine Learning (ML) has revolutionized various domains, with biomedicine standing out as a major beneficiary. In the realm of biomedicine, Convolutional Neural Networks (CNNs) have notably played a pivotal role since their inception, particularly in applications such as time-series classification. Deep Convolutional Neural Networks (DCNNs) have shown promise in classifying electrocardiogram (ECG) signals. However, their deep architecture leads not only to risk for over-fitting when insufficient data is at hand, but also to large computational costs. This study leverages the efficient architecture of Mini-ROCKET, a variant of CNN, to explore improvements in ECG signal classification at Getinge. The primary objective is to enhance the efficiency of the Electrical Activity of the Diaphragm (Edi) catheter position classification compared to the existing Residual Network (ResNet) approach. In the Intensive Care Unit (ICU), patients are often connected to mechanical ventilators operating based on Edi catheter-detected signals. However, weak or absent EMG signals can occur, necessitating ECG interpretation, which lacks the precision required for optimal Edi catheter placement. Clinicians have long recognized the challenges of manual Edi catheter positioning. Currently, positioning relies on manual interpretation of electromyography (EMG) and ECG signals from a 9-lead electrode array. Given the risk for electrode displacement due to patient movements, continuous monitoring by skilled clinicians is essential. This thesis demonstrates the potential of Mini-ROCKET in addressing these challenges. By training the model on Getinge’s proprietary ECG patient dataset, the study aims to measure improvements in computational cost, accuracy, and user value as compared to previous work with Edicathere positioning at Getinge. The findings of this research hold significant implications for the future of ECG signal classification and the broader application of Mini-ROCKET in medical signal processing. / Maskininlärning har revolutionerat många områden, varav biomedicin som visat enorm utveckling. Inom biomedicin har konvolutionella neurala nätverk (CNNs) gjort stor positiv påverkan, särskilt inom tillämpningar som tidsserieklassificering. Djupa konvolutionella neurala nätverk (DCNNs) har visat lovande resultat inom elektrokardiogram (EKG) klassificering. Deras djupa arkitektur leder dock inte bara till risk för överanpassning med bägränsad data till handa, utan även till betydliga beräkningskostnader. Denna studie utnyttjar den effektiva arkitekturen av Mini-ROCKET, en variant av CNN, för att utforska förbättringar i EKG-signal klassificering på Getinge. Huvudmålet är att förbättra effektiviteten av Edi kateterpositionsklassificering jämfört med den befintliga Residual Network (ResNet) metoden. På intensivvårdsavdelningen (IVA) kopplas patienter ofta till mekaniska ventilatorer som fungerar baserat på Edi-kateter-detekterade signaler. Dock kan svaga eller frånvarande EMG-signaler förekomma, vilket kräver EKG-tolkning, som saknar den precision som krävs för optimal Edikateterplacering. Det är väl känt att det finns svårigheter för kliniker att positionera en matningssond utrustad med elektroder för att mäta Edi. För närvarande bygger positionering på manuell tolkning av elektromyografi (EMG) och EKG-signaler från en uppsättning av 9 elektroder. Med tanke på risken för elektrodförskjutning på grund av patientrörelser är kontinuerlig övervakning av erfarna användare nödvändigt. Denna avhandling visar potentialen av Mini-ROCKET för att ta itu med dessa utmaningar. Genom att träna modellen på Getinges proprietära EKGpatientdataset syftar studien till att mäta förbättringar i beräkningskostnad, noggrannhet och användarnytta jämfört med tidigare arbete inom Edi-kateter positionering på Getinge. Forskningens resultat har betydande implikationer för EKG-signal klassificeringens framtid och den bredare tillämpningen av Mini-ROCKET inom medicinsk signalbehandling.

Convolutional neural networks are commonly used when training deep networks with time-independent data and have demonstrated positive results in predicting DNA binding sites for DNA-binding proteins. Based upon the success of convolutional neural networks in predicting DNA binding sites of proteins, this project intends to determine if a convolutional neural network could predict possible HIV-B provirus integration sites. When exploring existing research, little information was found regarding DNA sequences targeted by HIV for integration, few, if any, have attempted to use artificial neural networks to identify these sequences and the integration sites themselves. Using data from the Retrovirus Integration Database, we train a convolutional artificial neural network to determine if it can detect potential target sites for HIV integration. The analysis and results reveal that the created convolutional neural network is able to predict HIV integration sites in human DNA with an accuracy that exceeds that of a potential random binary classifier. When analyzing the datasets separated by the neural network, the relative distribution of the different nucleotides in the immediate vicinity of HIV integration site reveals that some nucleotides are disproportionately occurring less often at these sites compared to nucleotides in randomly sampled human DNA. / Konvolutionella artificiella nätverk används vanligen vid tidsoberoende datamängder. Konvolutionella artificiella nätverk har varit framgångsrika med att förutse bindningssiter för DNA-bindande proteiner. Med de framsteg som gjorts med konvolutionella artificiella nätverk vill detta projekt bestämma huruvida det går att med ett konvolutionellt artificiella nätverk förutsäga möjliga siter för HIV-B integration i mänskligt DNA. Våran eftersökning visar att det finns lite kunskap om huruvida det finns nukleotidsekvenser i mänskligt DNA som främjar HIV integration. Samtidigt har få eller inga studier gjorts med konvolutionella artificiella nätverk i försök att förutsäga integrationssiter för HIV i mänskligt DNA. Genom att använda data från Retrovirus Integration Database tänker vi träna ett konvolutionellt artificiellt nätverk med syftet att försöka bestämma huruvida det tränade konvolutionella artificiella nätverket kan förutspå potentiella integrationssiter för HIV. Våra resultat visar att det skapade konvolutionella artificiella nätverket kan förutsäga HIV integration i mänskligt DNA med en träffsäkerhet som överträffar en potentiell slumpmässig binär klassificerare. Vid analys av datamängderna separerade av det neurala nätverket framträder en bild där vissa nukleotider förekommer oproportionerligt mindre frekvent i närheten av integrationssiterna i jämförelse med nukleotider i slumpmässigt genererad mänsklig DNA.

Объектом исследования являются методы машинного обучения, позволяющие фильтровать данные, и методы разработки информационных платформ. Фильтрация данных подобного типа применяется в такой области, как поисковые системы, чтобы на основе запроса выдать пользователю релевантные результаты. Предмет исследования – разработка модели машинного обучения, фильтрующей текстовые данные, и информационной платформы для отображения отфильтрованных данных. Особенностями исследования являются открытая реализация полного проекта, то есть она доступна каждому, и возможность его модификации. Для обучения модели был использован самостоятельно составленный набор научных работ, информационная платформа была разработана с нуля. Итоговая модель LSTM, выбранная методом сравнения метрик, показала результат предсказания соответствия целевой тематике в 90%, что позволяет говорить о ее возможном внедрении в соответствующие Интернет-ресурсы, так как они гарантированно уменьшат объем научных работ, проверяемых вручную. / The object of the research is machine learning methods that allow filtering text data obtained from the information platform. Filtering of this type of data is used in such an area as search engines to give relevant results to the user based on a query. Within the framework of this dissertation, it was proposed to apply machine learning methods to filter a set of scientific papers based on their title and target label in the form of the subject of the work. The features of the study are the open implementation of the full project, that is, it is available to everyone, and the possibility of its modification. A self-compiled set of scientific papers was used to train the model, the information platform was developed from scratch. The final LSTM model, chosen by the method of comparing metrics, showed the result of predicting compliance with the target topic in 95%, which allows us to talk about its possible implementation in the relevant Internet resources, since they are guaranteed to reduce the volume of scientific papers checked manually.

Breast cancer is the most common cancer type for women worldwide. Early detection is key to improve prognosis and treatment success. A cost-efficient way of finding breast cancer early is mammography screening on a population basis. A major issue with mammography screening is in-between screening cancers. One method of targeting this issue is calculating breast cancer risk stratification on healthy mammography scans, however, this method is as of today insufficient. One proposed addition to refine risk stratification is to use Artificial Intelligence guided age prediction. The aim of this study was to investigate to what extent there is an additive value of age prediction on breast cancer risk stratification. Convolutional Neural Networks (CNNs) were used to train a model on an age prediction task using healthy mammography scans from the Cohort of Screen-Aged Women. The predicted ages and delta ages, calculated as predicted age minus chronological age, were then added to a logistic regression task together with, and without, the known risk factor mammographic density. The results showed an increase in breast cancer detection with the risk model incorporating age prediction for some age groups. This suggests age prediction using CNNs might increase breast cancer detection. More studies are needed to confirm these findings. / Bröstcancer är den vanligaste cancertypen för kvinnor globalt. Tidig upptäckt är en nyckelfaktor för att förbättra prognos och behandlingsframgång. Ett kostnadseffektivt sätt att hitta tidigt utvecklad bröstcancer är allmän screening med mammografi. Ett problem med denna screening är cancer som uppkommer mellan screeningtillfällen. En metod för att lösa detta problem är riskstratifiering som ämnar att beräkna risken att utveckla cancer från friska mammografibilder, men denna metod är idag otillräcklig. Ett förslag på tillägg för att förfina resultatet av detta är att använda artificiell intelligens guidad åldersbedömning. I den här studien var syftet att undersöka i vilken utsträckning det finns ett additivt värde av åldersbedömning för modellering av risken att utveckla bröstcancer. Convolutional Neural Networks (CNNs) användes för att träna en åldersbedömningssmodell på friska mammografibilder från Cohort of ScreenAged Women. De bedömda åldrarna samt deltaåldrarna, beräknade som bedömd ålder minus kronologisk ålder, användes sedan som input till en logistisk regressionsuppgift tillsammans med, samt utan, den kända riskfaktorn mammografisk densitet. Resultaten visade en ökad upptäckt av bröstcancer för vissa åldersgrupper då riskmodellen inkluderade deltaåldrarna. Detta tyder på att åldersbedömning med CNNs kan öka upptäckten av bröstcancer. Fler studier behövs för att bekräfta dessa fynd.

This dissertation examines multi-antenna transceiver design over flat-fading wireless channels. Bit Interleaved Coded Modulation (BICM) and MultiLevel Coded Modulation (MLCM) transmitter structures are considered, as well as the used of an optional spatial precoder under slow and quasi-static fading conditions. At the receiver, MultiStage Decoder (MSD) and Iterative Detection and Decoding (IDD) strategies are applied. Precoder, mapper and subcode designs are optimized for different receiver structures over the different antenna and fading scenarios. Under slow and quasi-static channel conditions, fade resistant multi-antenna transmission is achieved through a combination of linear spatial precoding and non-linear multi-dimensional mapping. A time-varying random unitary precoder is proposed, with significant performance gains over spatial interleaving. The fade resistant properties of multidimensional random mapping are also analyzed. For MLCM architectures, a group random labelling strategy is proposed for large antenna systems. The use of complexity constrained receivers in BICM and MLCM transmissions is explored. Two multi-antenna detectors are proposed based on a group detection strategy, whose complexity can be adjusted through the group size parameter. These detectors show performance gains over the the Minimum Mean Squared Error (MMSE)detector in spatially multiplexed systems having an excess number of transmitter antennas. A class of irregular convolutional codes is proposed for use in BICM transmissions. An irregular convolutional code is formed by encoding fractions of bits with different puncture patterns and mother codes of different memory. The code profile is designed with the aid of extrinsic information transfer charts, based on the channel and mapping function characteristics. In multi-antenna applications, these codes outperform convolutional turbo codes under independent and quasi-static fading conditions. For finite length transmissions, MLCM-MSD performance is affected by the mapping function. Labelling schemes such as set partitioning and multidimensional random labelling generate a large spread of subcode rates. A class of generalized Low Density Parity Check (LDPC) codes is proposed, to improve low-rate subcode performance. For MLCM-MSD transmissions, the proposed generalized LDPC codes outperform conventional LDPC code construction over a wide range of channels and design rates.

1 Title: Convolutional neural networks and their application in object detection Author: Matej Hrinčár Department: Department of Theoretical Computer Science and Mathematical Logic Supervisor: doc. RNDr. Iveta Mrázová, CSc. Supervisor's e-mail address: Iveta.Mrazova@mff.cuni.cz Abstract: Nowadays, it has become popular to enhance live sport streams with an augmented reality like adding various statistics over the hockey players. To do so, players must be automatically detected first. This thesis deals with such a challenging task. Our aim is to deliver not only a sufficient accuracy but also a speed because we should be able to make the detection in real time. We use one of the newer model of neural network which is a convolutional network. This model is suitable for proces- sing image data a can use input image without any preprocessing whatsoever. After our detailed analysis we choose this model as a detector for hockey players. We have tested several different architectures of the networks which we then compared and choose the one which is not only accurate but also fast enough. We have also tested the robustness of the network with noisy patterns. Finally we assigned detected pla- yers to their corresponding teams utilizing K-mean algorithm using the information about their jersey color. Keywords:...