A new branch of machine and deep learning models has evolved in constrained optimization, specifically in mixed integer programming problems (MIP). These models draw inspiration from earlier solver methods, primarily the heuristic, branch and bound. While utilizing the branch and bound framework, machine and deep learning models enhance either the computational efficiency or performance of the model. This thesis examines how imitating different variable selection strategies of classical MIP solvers behave on a state-of-the-art deep learning model. A recently developed deep learning algorithm is used in this thesis, which represents the branch and bound state as a bipartite graph. This graph serves as the input to a graph network model, which determines the variable in the MIP on which branching occurs. This thesis compares how imitating different classical branching strategies behaves on different algorithm outputs and, most importantly, time span. More specifically, this thesis conducts an empirical study on a MIP known as the facility location problem (FLP) and compares the different methods for imitation. This thesis shows that the deep learning algorithm can outperform the classical methods in terms of time span. More specifically, imitating the branching strategies resulting in small branch and bound trees give rise to a more rapid performance in finding the global optimum. Lastly, it is shown that a smaller embedding size in the network model is preferred for these instances when looking at the trade-off between variable selection and time cost. / En ny typ av maskin och djupinlärningsmodeller har utvecklats inom villkors optimering, specifikt för så kallade blandade heltalsproblem (MIP). Dessa modeller hämtar inspiration från tidigare lösningsmetoder, främst en heuristisk som kallas “branch and bound”. Genom att använda “branch and bound” ramverket förbättrar maskin och djupinlärningsmodeller antingen beräkningshastigheten eller prestandan hos modellen. Denna uppsats undersöker hur imitation av olika strategier för val av variabler från klassiska MIP-algoritmer beter sig på en modern djupinlärningsmodell. I denna uppsats används en nyligen utvecklad djupinlärningsalgoritm som representerar “branch and bound” tillståndet som en bipartit graf. Denna graf används som indata till en “graph network” modell som avgör vilken variabel i MIP-problemet som tas hänsyn till. Uppsatsen jämför hur imitation av olika klassiska “branching” strategier påverkar olika algoritmutgångar, framför allt, tidslängd. Mer specifikt utför denna uppsats en empirisk studie på ett MIP-problem som kallas för “facility location problem” (FLP) och jämför imitationen av de olika metoderna. I denna uppsats visas det att denna djupinlärningsalgoritm kan överträffa de klassiska metoderna när det gäller tidslängd. Mer specifikt ger imitation av “branching” strategier som resulterar i små “branch and bound” träd upphov till en snabbare prestation vid sökning av den globala optimala lösningen. Slutligen visas det att en mindre inbäddningsstorlek i nätverksmodellen föredras i dessa fall när man ser på avvägningen mellan val av variabler och tidskostnad.

C-arm Cone Beam CT (CBCT) systems – due to compact size, flexible geometry and low radiation exposure – inaugurated the era of on-board 3D image guidance in therapeutic and surgical procedures. Leksell Gamma Knife Icon by Elekta introduced an integrated CBCT system to determine patient position prior to surgical session, thus advancing to a paradigm shift in facilitating frameless stereotactic radiosurgeries. While CBCT offers a quick imaging facility with high spatial accuracy, the quantitative values tend to be distorted due to various physics based artifacts such as scatter, beam hardening and cone beam effect. Several 3D reconstruction algorithms targeting these artifacts involve an accurate and fast segmentation of craniofacial CBCT images into air, tissue and bone. The objective of the thesis is to investigate the performance of deep learning based convolutional neural networks (CNN) in relation to conventional image processing and machine learning algorithms in segmenting CBCT images. CBCT data for training and testing procedures was provided by Elekta. A framework of segmentation algorithms including multilevel automatic thresholding, fuzzy clustering, multilayer perceptron and CNN is developed and tested against pre-defined evaluation metrics carrying pixel-wise prediction accuracy, statistical tests and execution times among others. CNN has proven its ability to outperform other segmentation algorithms throughout the evaluation metrics except for execution times. Mean segmentation error for CNN is found to be 0.4% with a standard deviation of 0.07%, followed by fuzzy clustering with mean segmentation error of 0.8% and a standard deviation of 0.12%. CNN based segmentation takes 500s compared to multilevel thresholding which requires ~1s on similar sized CBCT image. The present work demonstrates the ability of CNN in handling artifacts and noise in CBCT images and maintaining a high semantic segmentation performance. However, further efforts targeting CNN execution speed are required to utilize the segmentation framework within real-time 3D reconstruction algorithms. / C-arm Cone Beam CT (CBCT) system har tack vare sitt kompakta format, flexibla geometri och låga strålningsdos startat en era av inbyggda 3D bildtagningssystem för styrning av terapeutiska och kirurgiska ingripanden. Elektas Leksell Gamma Knife Icon introducerade ett integrerat CBCT-system för att bestämma patientens position för operationer och på så sätt gå in i en paradigm av ramlös stereotaktisk strålkirurgi. Även om CBCT erbjuder snabb bildtagning med hög spatiel noggrannhet så tenderar de kvantitativa värdena att störas av olika artefakter som spridning, beam hardening och cone beam effekten. Ett flertal 3D rekonstruktionsalgorithmer som försöker reducera dessa artefakter kräver en noggrann och snabb segmentering av kraniofaciala CBCT-bilder i luft, mjukvävnad och ben. Målet med den här avhandlingen är att undersöka hur djupa neurala nätverk baserade på faltning (convolutional neural networks, CNN) presterar i jämförelse med konventionella bildbehandlings- och maskininlärningalgorithmer för segmentering av CBCT-bilder. CBCT-data för träning och testning tillhandahölls av Elekta. Ett ramverk för segmenteringsalgorithmer inklusive flernivåströskling (multilevel automatic thresholding), suddig klustring (fuzzy clustering), flerlagersperceptroner (multilayer perceptron) och CNN utvecklas och testas mot fördefinerade utvärderingskriterier som pixelvis noggrannhet, statistiska tester och körtid. CNN presterade bäst i alla metriker förutom körtid. Det genomsnittliga segmenteringsfelet för CNN var 0.4% med en standardavvikelse på 0.07%, följt av suddig klustring med ett medelfel på 0.8% och en standardavvikelse på 0.12%. CNN kräver 500 sekunder jämfört med ungefär 1 sekund för den snabbaste algorithmen, flernivåströskling på lika stora CBCT-volymer. Arbetet visar CNNs förmåga att handera artefakter och brus i CBCT-bilder och bibehålla en högkvalitativ semantisk segmentering. Vidare arbete behövs dock för att förbättra presetandan hos algorithmen för att metoden ska vara applicerbar i realtidsrekonstruktionsalgorithmer.

The threaded fastener is by far the most common method for securing components together and plays a significant role in determining the quality of a product. Atlas Copco offers industrial tools for tightening these fasteners, which are today suffering from errors in the applied torque. These errors have been found to behave in periodic patterns which indicate that the errors can be predicted and therefore compensated for. However, this is only possible by knowing the rotational position of the tool. Atlas Copco is interested in the possibility of acquiring this rotational position without installing sensors inside the tools. To address this challenge, the thesis explores the feasibility of estimating the rotational position by analysing the behaviour of the errors and finding periodicities in the data. The objective is to determine whether these periodicities can be used to accurately estimate the rotation of the torque errors of unknown data relative to errors of data where the rotational position is known. The tool analysed in this thesis exhibits a periodic pattern in the torque error with a period of 11 revolutions.  Two methods for estimating the rotational position were evaluated: a simple nearest neighbour method that uses mean squared error (MSE) as distance measure, and a more complex circular fully convolutional network (CFCN). The project involved data collection from a custom-built setup. However, the setup was not fully completed, and the models were therefore evaluated on a limited dataset. The results showed that the CFCN method was not able to identify the rotational position of the signal. The insufficient size of the data is discussed to be the cause for this. The nearest neighbour method, however, was able to estimate the rotational position correctly with 100% accuracy across 1000 iterations, even when looking at a fragment of a signal as small as 40%. Unfortunately, this method is computationally demanding and exhibits slow performance when applied to large datasets. Consequently, adjustments are required to enhance its practical applicability. In summary, the findings suggest that the nearest neighbour method is a promising approach for estimating the rotational position and could potentially contribute to improving the accuracy of tools. / Skruvförband är den vanligaste typen av förband för att sammanfoga komponenter och är avgörande för en produkts kvalitet. Atlas Copco tillverkar industriverktyg avsedda för sådana skruvförband, som dessvärre lider av små avvikelser i åtdragningsmomentet. Avvikelserna uppvisar ett konsekvent periodiskt mönster, vilket indikerar att de är förutsägbara och därför möjliga att kompenseras för. Det är dock endast möjligt genom att veta verktygets vinkelposition. Atlas Copco vill veta om det är möjligt att erhålla vinkelpositionen utan att installera sensorer i verktygen. Denna uppsats undersöker möjligheten att uppskatta vinkelpositionen genom att analysera beteendet hos avvikelserna i åtdragningsmomentet och identifiera periodiciteter i datan, samt undersöka om dessa periodiciteter kan utnyttjas för att uppskatta rotationen hos avvikelserna hos okänd data i förhållande till tidigare data. Det verktyget som används i detta projekt uppvisar en tydlig periodicitet med en period på 11 varv. Två metoder för att uppskatta vinkelpositionen utvärderades: en simpel nearest neighbour-metod som använder mean squared error (MSE) som mått för avstånd, och ett mer komplext circular fully convolutional network (CFCN). Projektet innefattade datainsamling från en egendesignad testrigg som tyvärr aldrig blev färdigställd, vilket medförde att utvärderingen av modellerna utfördes på ett begränsat dataset.  Resultatet indikerade att CFCN-metoden kräver en större datamängd för att kunna uppskatta rotationen hos den okända datan. Nearest neighbour-metoden lyckades uppskatta rotationen med 100% noggrannhet över 1000 iterationer, även när endast ett segment så litet som 40% av signalen utvärderades. Tyvärr lider denna metod av hög beräkningsbelastning och kräver förbättringar för att vara praktiskt tillämpbar. Sammantaget visade resultaten att nearest neighbour-metoden har potential att vara ett lovande tillvägagångssätt för att uppskatta vinkelpositionen och kan på så sätt bidra till förbättring av verktygens noggrannhet.

High-efficiency point cloud 3D object detection is important for autonomous driving. 3D object detection based on point cloud data is naturally more complex and difficult than the 2D task based on images. Researchers keep working on improving 3D object detection performance in autonomous driving scenarios recently. In this report, we present our optimized point cloud 3D object detection model based on CenterPoint method. CenterPoint detects centers of objects using a keypoint detector on top of a voxel-based backbone, then regresses to other attributes. On the basis of this, our modified model is featured with an improved Region Proposal Network (RPN) with extended receptive field, an added sub-head that produces an IoU-aware confidence score, as well as box ensemble inference strategies with more accurate predictions. These model enhancements, together with class-balanced data pre-processing, lead to a competitive accuracy of 72.02 mAP on ONCE Validation Split, and 79.09 mAP on ONCE Test Split. Our model gains the fifth place of ICCV 2021 Workshop SSLAD Track 3D Object Detection Challenge. / Högeffektiv punktmoln 3D-objektdetektering är viktig för autonom körning. 3D-objektdetektering baserad på punktmolnsdata är naturligtvis mer komplex och svårare än 2D-uppgiften baserad på bilder. Forskare fortsätter att arbeta med att förbättra 3D-objektdetekteringsprestandan i scenarier för autonom körning nyligen. I den här rapporten presenterar vi vår optimerade 3D-objektdetekteringsmodell baserad på CenterPoint. CenterPoint upptäcker objektcentrum med hjälp av en nyckelpunktsdetektor ovanpå en voxelbaserad ryggrad och går sedan tillbaka till andra attribut. På grundval av detta presenteras vår modifierade modell med ett förbättrat regionförslagsnätverk med utökat receptivt fält, en extra underrubrik som producerar en IoU-medveten konfidenspoäng och ensemblestrategier med mer exakta förutsägelser. Dessa modellförbättringar, tillsammans med klassbalanserad dataförbehandling, leder till en konkurrenskraftig noggrannhet på 72,02 mAP på ONCE Validation Split och 79,09 mAP på ONCE Test Split. Vår modell vinner femteplatsen i ICCV 2021 Workshop SSLAD Track 3D Object Detection Challenge.

This paper investigates the use of deep Convolutional Neural Networks for modeling the intronic regulation of Alternative Splicing on the basis of DNA sequence. By training the CNN on massively parallel synthetic DNA libraries of Alternative 5'-splicing and Alternatively Skipped exon events, the model is capable of predicting the relative abundance of alternatively spliced mRNA isoforms on held-out library data to a very high accuracy (R2 = 0.77 for Alt. 5'-splicing). Furthermore, the CNN is shown to generalize alternative splicing across cell lines efficiently. The Convolutional Neural Net is tested against a Logistic regression model and the results show that while prediction accuracy on the synthetic library is notably higher compared to the LR model, the CNN is worse at generalizing to new intronic contexts. Tests on non-synthetic human SNP genes suggest the CNN is dependent on the relative position of the intronic region it was trained for, a problem which is alleviated with LR. The increased library prediction accuracy of the CNN compared to Logistic regression is concluded to come from the non-linearity introduced by the deep layer architecture. It adds the capacity to model complex regulatory interactions and combinatorial RBP effects which studies have shown largely affect alternative splicing. However, the architecture makes interpreting the CNN hard, as the regulatory interactions are encoded deep within the layers. Nevertheless, high-performance modeling of alternative splicing using CNNs may still prove useful in numerous Synthetic biology applications, for example to model differentially spliced genes as is done in this paper. / Den här uppsatsen undersöker hur djupa neurala nätverk baserade på faltning ("Convolutions") kan användas för att modellera den introniska regleringen av Alternativ Splicing med endast DNA-sekvensen som indata. Nätverket tränas på ett massivt parallelt bibliotek av syntetiskt DNA innehållandes Alternativa Splicing-event där delar av de introniska regionerna har randomiserats. Uppsatsen visar att nätverksarkitekturen kan förutspå den relativa mängden alternativt splicat RNA till en mycket hög noggrannhet inom det syntetiska biblioteket. Modellen generaliserar även alternativ splicing mellan mänskliga celltyper väl. Hursomhelst, tester på icke-syntetiska mänskliga gener med SNP-mutationer visar att nätverkets prestanda försämras när den introniska region som används som indata flyttas i jämförelse till den relativa position som modellen tränats på. Uppsatsen jämför modellen med Logistic regression och drar slutsatsen att nätverkets förbättrade prestanda grundar sig i dess förmåga att modellera icke-linjära beroenden i datan. Detta medför dock svårigheter i att tolka vad modellen faktiskt lärt sig, eftersom interaktionen mellan reglerande element är inbäddat i nätverkslagren. Trots det kan högpresterande modellering av alternativ splicing med hjälp av neurala nät vara användbart, exempelvis inom Syntetisk biologi där modellen kan användas för att kontrollera regleringen av splicing när man konstruerar syntetiska gener.

Matched frequency responses are a fundamental starting point for a variety ofimplementations for microphone arrays. In this report, two methods for frequencyresponse-calibration of a pre-assembled microphone array are presented andevaluated. This is done by extracting the deviation in frequency responses of themicrophones in relation to a selected reference microphone, using a swept sine asa stimulus signal and an inverse filter. The swept sine includes all frequencieswithin the bandwidth of human speech. This allows for a full frequency responsemeasurements from all microphones using a single recording.Using the swept sine, the deviation in frequency response between the microphonescan be obtained. This deviation represents the scaling factor that all microphonesmust be calibrated with to match the reference microphone. Applying the scalingfactors on the recorded stimulus signal shows an improvement for both implementedmethods, and where one method matches the frequency response of the microphoneswith high accuracy.Once the scaling factors of the various microphones is obtained, it can be usedto calibrate other recorded signals. This leads to an minor improvement formatching the frequency responses, as it has been shown that the differencesin frequency response between the microphones is signal-dependent and variesbetween recordings. The response differences between the microphones dependson the design of the array, speaker, room and the acoustic frequency dispersionthat occurs with sound waves. This makes it difficult to calibrate the frequencyresponses of the microphones without appropriate equipment because the responseof the microphones is noticeably affected by these other factors. Proposals to addressthese problems are discussed in the report as future work. / Matchade frekvenssvar är en grundläggande utgångspunkt för ett flertal implementationer för mikrofonarrayer. I denna rapport presenteras och utvärderas tvåmetoder för frekvenssvarskalibrering för en förmonterad mikrofonarray. Detta görsgenom att extrahera avvikelsen i frekvenssvar hos alla mikrofoner i förhållandetill en vald referensmikrofon. Frekvenssvaren tas fram med hjälp av ettsinussvep som stimulanssignal och ett inverterat filter. Sinussvepet inkluderar helafrekvensbredden för mänskligt tal och möjliggör att mikrofonernas fulla frekvenssvarkan analyseras från en enda inspelning.Med hjälp av sinussvepet kan avvikelsen i frekvenssvar mellan mikrofonerna erhållas.Denna avvikelse representerar den skalningsfaktor alla mikrofoner måste kalibrerasefter för att matcha referensmikrofonen. Genom att applicera faktorerna på deninspelade stimulussignalen ses en förbättring för båda implementerade metoderna,där en metod matchar mikrofonernas frekvenssvar med hög noggrannhet.När skalningsfaktorn för de olika mikrofonerna har erhållits kan den användas föratt kalibrera andra inspelade signaler. Detta leder till en liten förbättring i att matchafrekvenssvaren, då det har visat sig att skillnader mellan mikrofonernas frekvenssvarär signalberoende och varierar mellan inspelningar. Skillnader i frekvenssvar mellanmikrofonerna beror på ljudets utbredning i rummet, utformningen av arrayen,högtalaren och den akustiska frekvensspridningen som uppstår hos ljudvågor. Dettagör det svårt att kalibrera frekvenssvaren hos mikrofonerna utan lämplig utrustningeftersom mikrofonernas respons märkbart påverkas av dessa andra faktorer. Förslagför att kringgå dessa problem diskuteras i rapporten och tas upp som framtidaarbete.

This thesis explores and compares traditional and reinforcement learning (RL) methods of performing 2D flight path planning in 3D space. A wide overview of natural, classic, and learning approaches to planning s done in conjunction with a review of some general recurring problems and tradeoffs that appear within planning. This general background then serves as a basis for motivating different possible solutions for this specific problem. These solutions are implemented, together with a testbed inform of a parallelizable simulation environment. This environment makes use of random world generation and physics combined with an aerodynamical model. An A* planner, a local RL planner, and a global RL planner are developed and compared against each other in terms of performance, speed, and general behavior. An autopilot model is also trained and used both to measure flight feasibility and to constrain the planners to followable paths. All planners were partially successful, with the global planner exhibiting the highest overall performance. The RL planners were also found to be more reliable in terms of both speed and followability because of their ability to leave difficult decisions to the autopilot. From this it is concluded that machine learning in general, and reinforcement learning in particular, is a promising future avenue for solving the problem of flight route planning in dangerous environments.

Several manufacturers of road vehicles today are working on developing autonomous vehicles. One subject that is often up for discussion when it comes to integrating autonomous road vehicles into the infrastructure is the safety aspect. There is in the context no common view of how safety should be quantified. As a contribution to this discussion we propose describing each potential hazardous event of a vehicle as a Semi-Markov Process (SMP). A reliability-based method for using the semi-Markov representation to calculate the probability of a hazardous event to occur is presented. The method simplifies the expression for the reliability using the Laplace-Stieltjes transform and calculates the transform of the reliability exactly. Numerical inversion algorithms are then applied to approximate the reliability up to a desired error tolerance. The method is validated using alternative techniques and is thereafter applied to a system for automated steering based on a real example from the industry. A desired evolution of the method is to involve a framework for how to represent each hazardous event as a SMP. / Flertalet tillverkare av vägfordon jobbar idag på att utveckla autonoma fordon. Ett ämne ofta på agendan i diskussionen om att integrera autonoma fordon på vägarna är säkerhet. Det finns i sammanhanget ingen klar bild över hur säkerhet ska kvantifieras. Som ett bidrag till denna diskussion föreslås här att beskriva varje potentiellt farlig situation av ett fordon som en Semi-Markov process (SMP). En metod presenteras för att via beräkning av funktionssäkerheten nyttja semi-Markov representationen för att beräkna sannolikheten för att en farlig situation ska uppstå. Metoden nyttjar Laplace-Stieltjes transformen för att förenkla uttrycket för funktionssäkerheten och beräknar transformen av funktionssäkerheten exakt. Numeriska algoritmer för den inversa transformen appliceras sedan för att beräkna funktionssäkerheten upp till en viss feltolerans. Metoden valideras genom alternativa tekniker och appliceras sedan på ett system för autonom styrning baserat på ett riktigt exempel från industrin. En fördelaktig utveckling av metoden som presenteras här skulle vara att involvera ett ramverk för hur varje potentiellt farlig situation ska representeras som en SMP.