We study modifications to the novel stochastic watershed method for segmentation of digital images. This is a stochastic version of the original watershed method which is repeatedly realized in order to create a probability density function for the segmentation. The study is primarily done on synthetic images with both same-sized regions and differently sized regions, and at the end we apply our methods on two endothelial cell images of the human cornea. We find that, for same-sized regions, the seeds should be placed in a spaced grid instead of a random uniform distribution in order to yield a more accurate segmentation. When images with differently sized regions are being segmented, the seeds should be placed dependent on the gradient, and by also adding uniform or gaussian noise to the image in every iteration a satisfactory result is obtained.

The detection and early repair of road damage are paramount for the quality and safety of roads. Current detection efforts typically rely on Deep Learning methods for object detection with bounding boxes, with calculations performed on high-performance hardware. However, semantic segmentation can more accurately express the location of damages on the road, improving the descriptive quality of the detection. In addition, the use of lightweight networks to make these calculations potentially allows the technology to be run entirely on-site, without connecting to remote cloud services. The domain of road damage is inherently challenging. We select and evaluate several techniques for segmenting scarce and small objects; a common problem in traffic scene datasets containing road damage. To evaluate its effectiveness, the most promising method is applied to a new road damage dataset collected in Sweden. We present the results as an early foundation for future studies on segmenting road damage on mobile hardware. / Tidigt upptäckta vägskador och dess reparationer är av stor betydelse för vägens kvalitet och resenärens säkerhet. Aktuella detektionsmetoder förlitar sig vanligtvis på djupinlärnings metoder såsom objektigenkänning, där beräkningarna oftast utförs på högpresterande hårdvara. Med hjälp av semantisk segmentering från beräkningslätta neutrala nätverk kan metoderna förbättras, och potentiellt utföras på plats på mobila enheter utan nätverksankomst. Att segmentera vägskador medför en del utmaningar eftersom skadorna ofta är förhållandevis små och sällan förekommande i dataset. Ett urval av metoder för att bemöta dessa utmaningarna evalueras och den mest välpresterande tekniken tillämpas vidare på ett nyinsamlat dataset från Sverige. Vi presenterar resultatet som grund för framtida studier inom bildsegmentering, och vägskadadetektioner på mobil hårdvara.

In cancer research, there is a need to make accurate spatial measurements in multi-layered fluorescence microscopy images. Researchers would like to measure distances in and between biological objects such as nerves and tumours, to investigate questions which includes if nerve distribution in and around tumours can have a prognostic value in cancer diagnostics. This thesis is split into two parts, the first being: given arbitrary florescent images of cancer tissue samples, investigate the feasibility of automatically identifying nerves, tumours and blood vessels using classic image analysis. The second part is: given an image with identified objects, quantify their spatial data. By analysing 58 different cancer tissue samples we found that a modified Otsu method gives the most promising results for image segmentation. We found that non-verifiable objects and verifiable objects share the same pixel intensity distributions which implies that it is in general not possible to solely use thresholding methods to separate them from each other. For the spatial analysis, two measurement methods were introduced. An object based method that provides measurements from the edges of nerves to tumour edges, and a pixel based measurement method, which provides fraction based measurements that are comparable between different tissue samples.

In this century and the last, serious efforts have been made to digitize the content housed by libraries across the world. In order to open up these volumes to content-based information retrieval, independent elements such as headlines, body text, bylines, images and captions ideally need to be connected semantically as article-level units. To query on facets such as author, section, content type or other metadata, further processing of these documents is required. Even though humans have shown exceptional ability to segment different types of elements into related components, even in languages foreign to them, this task has proven difficult for computers. The challenge of semantic segmentation in newspapers lies in the diversity of the medium: Newspapers have vastly different layouts, covering diverse content, from news articles to ads to weather reports. State-of-the-art object detection and segmentation models have been trained to detect and segment real-world objects. It is not clear whether these architectures can perform equally well when applied to scanned images of printed text. In the domain of newspapers, in addition to the images themselves, we have access to textual information through Optical Character Recognition. The recent progress made in the field of instance segmentation of real-world objects using deep learning techniques begs the question: Can the same methodology be applied in the domain of newspaper articles? In this thesis we investigate one possible approach to encode the textual signal into the image in an attempt to improve performance. Based on newspapers from the National Library of Sweden, we investigate the predictive power of visual and textual features and their capacity to generalize across different typographic designs. Results show impressive mean Average Precision scores (>0:9) for test sets sampled from the same newspaper designs as the training data when using only the image modality. / I detta och det förra århundradet har kraftiga åtaganden gjorts för att digitalisera traditionellt medieinnehåll som tidigare endast tryckts i pappersformat. För att kunna stödja sökningar och fasetter i detta innehåll krävs bearbetning påsemantisk nivå, det vill säga att innehållet styckas upp påartikelnivå, istället för per sida. Trots att människor har lätt att dela upp innehåll påsemantisk nivå, även påett främmande språk, fortsätter arbetet för automatisering av denna uppgift. Utmaningen i att segmentera nyhetsartiklar återfinns i mångfalden av utseende och format. Innehållet är även detta mångfaldigt, där man återfinner allt ifrån faktamässiga artiklar, till debatter, listor av fakta och upplysningar, reklam och väder bland annat. Stora framsteg har gjorts inom djupinlärning just för objektdetektering och semantisk segmentering bara de senaste årtiondet. Frågan vi ställer oss är: Kan samma metodik appliceras inom domänen nyhetsartiklar? Dessa modeller är skapta för att klassificera världsliga ting. I denna domän har vi tillgång till texten och dess koordinater via en potentiellt bristfällig optisk teckenigenkänning. Vi undersöker ett sätt att utnyttja denna textinformation i ett försök att förbättra resultatet i denna specifika domän. Baserat pådata från Kungliga Biblioteket undersöker vi hur väl denna metod lämpar sig för uppstyckandet av innehåll i tidningar längsmed tidsperioder där designen förändrar sig markant. Resultaten visar att Mask R-CNN lämpar sig väl för användning inom domänen nyhetsartikelsegmentering, även utan texten som input till modellen.

Illegal gold mining in the Amazon forest has increased dramatically since 2005 with the rise in the price of gold. The use of chemicals such as mercury, which facilitate the gold extraction, increases the toxicity of the soil and can enter the food chain, leading to health problems for the inhabitants, and causes the environmental scourge we know today. In addition, the massive increase in these activities favours deforestation and impacts on protected areas such as indigenous areas and natural reserves. Organisations and governments from Peru, Brazil and French Guyana in particular, are trying to regulate these activities, but the area to cover being very large, by the time illegal exploitation is detected it is often too late to react. The idea of this thesis is to evaluate whether it is possible to automate the task of detecting these illegal gold mines using open satellite images and deep learning. In order to answer this question, this report includes the creation of new datasets, as well as the evaluation of two techniques which are object detection using RetinaNet and semantic segmentation using U-Net. The influence of image spectral bands is also studied in this thesis. The numerous trained models are all evaluated using the Dice Coefficient and Intersection over Union metrics, and each comparison is supported by the statistical sign-test. The report shows the superiority of the segmentation model for the binary classification of illegal mines. However, it is suggested to first use RetinaNet to find out more precisely whether the mine is legal or illegal, and then to use U-Net if the mine is illegal in order to make a more precise segmentation. It also shows and illustrates the importance of using the right image spectral bands which greatly increases the accuracy of the models. / Den illegala guldutvinningen i Amazonas har ökat dramatiskt sedan 2005 i och med att guldpriset stigit. Användningen av kemikalier, exempelvis kvicksilver, underlättar guldutvinningen men ökar giftigheten i marken och kan komma in i näringskedjan. Detta leder till hälsoproblem för invånarna och orsakar det miljöplågeri som vi känner till i dag. Dessutom leder den massiva ökningen av dessa verksamheter till ytterligare avskogning i skyddade områden, vilket exempelvis påverkar ursprungsområden och naturreservat. Organisationer och regeringar i Peru, Brasilien och Franska Guyana försöker att reglera denna verksamhet, men eftersom det område som ska täckas är mycket stort är det ofta för sent att agera när olaglig exploatering upptäcks. Syftet med denna avhandling är att utvärdera om det är möjligt att automatisera uppgiften att upptäcka dessa illegala guldgruvor med hjälp av öppna satellitbilder och djup inlärning. För att besvara denna fråga omfattar denna rapport skapandet av nya datamängder samt utvärderingen av två tekniker som är objektsdetektering med hjälp av RetinaNet och semantisk segmentering med hjälp av U-Net. Inflytandet av bildens spektralband studeras också i denna avhandling. De tränade modellerna utvärderas alla med hjälp av Dice-koefficienten och Intersection over Union-måtten, och varje jämförelse stöds av det statistiska sign-testet. Rapporten visar att segmenteringsmodellen är extremt överlägsen när det gäller binär klassificering av illegala gruvor. Det föreslås dock att man först använder RetinaNet för att mer exakt ta reda på om gruvan är laglig eller olaglig, och sedan använder U-Net om gruvan är olaglig för att göra en mer exakt segmentering. Rapporten visar och illustrerar också vikten av att använda rätt bildspektralband, vilket ökar modellernas noggrannhet avsevärt

Traumatic brain injury (TBI) affects millions of people worldwide, leading to significant mortality and disability rates. Elevated intracranial pressure (ICP) resulting from TBI can cause severe complications and requires early detection to improve patient outcomes. While invasive methods are commonly used to measure ICP accurately, non-invasive techniques such as optic nerve sheath diameter (ONSD) measurement show promise. This study aims at the creation of a tool that can automatically perform a segmentation of the ONS from a head computed tomography (CT) scan, and extracts meaningful measures from the segmentation mask, that can be used by radiologists and medics when treating people affected by TBI. This has been achieved using a deep learning model called ”nnU-Net”, commonly adopted for semantic segmentation in medical contexts. The project makes use of manually labeled head CT scans from a public dataset named CQ500, to train the aforementioned segmentation model, using an iterative approach. The initial training using 33 manually segmented samples demonstrated highly satisfactory segmentations, with good performance indicated by Dice scores. A subsequent training, combined with manual corrections of 44 unseen samples, further improved the segmentation quality. The segmentation masks enabled the development of an automatic tool to extract and straighten optic nerve volumes, facilitating the extraction of relevant measures. Correlation analysis with a binary label indicating potential raised ICP showed a stronger correlation when measurements were taken closer to the eyeball. Additionally, a comparison between manual and automated measures of optic nerve sheath diameter (ONSD), taken at a 3mm distance from the eyeball, revealed similarity between the two methods. Overall, this thesis lays the foundation for the creation of an automatic tool whose purpose is to make faster and more accurate diagnosis, by automatically segmenting the optic nerve and extracting useful prognostic predictors. / Traumatisk hjärnskada (TBI) drabbar miljontals människor över hela världen, vilket leder till betydande dödlighet och funktionshinder. Förhöjt intrakraniellt tryck (ICP) till följd av TBI kan orsaka allvarliga komplikationer och kräver tidig upptäckt för att förbättra patientens resultat. Medan invasiva metoder vanligtvis används för att mäta ICP exakt, icke-invasiva tekniker som synnervens höljediameter (ONSD) mätning ser lovande ut. Denna studie syftar till att skapa ett verktyg som automatiskt kan utföra en segmentering av ONS från en datortomografi skanning av huvudet, och extraherar meningsfulla åtgärder från segmenteringsmasken, som kan användas av radiologer och läkare vid behandling av personer som drabbats av TBI. Detta har uppnåtts med hjälp av en deep learning modell som kallas ”nnU-Net”, som vanligtvis används för semantisk segmentering i medicinska sammanhang. Projektet använder sig av manuellt märkta datortomografi skanningar från en offentlig datauppsättning som heter CQ500, för att träna den tidigare nämnda segmenteringsmodellen, med hjälp av en iterativ metod. Den inledande träningen med 33 manuellt segmenterade prov visade tillfredsställande segmentering, med god prestation indikerad av Dice-poäng. En efterföljande utbildning, i kombination med manuella korrigeringar av 44 osedda prover, förbättrade segmenteringskvaliteten ytterligare. Segmenteringsmaskerna möjliggjorde utvecklingen av ett automatiskt verktyg för att extrahera och räta ut optiska nervvolymer, vilket underlättade utvinningen av relevanta mått. Korrelationsanalys med en binär märkning som indikerar potentiellt förhöjd ICP visade en starkare korrelation när mätningar gjordes närmare ögongloben. Dessutom avslöjade en jämförelse mellan manuella och automatiserade mätningar av optisk nervmanteldiameter (ONSD), tagna på ett avstånd på 3 mm från ögongloben, likheten mellan de två metoderna. Sammantaget lägger denna avhandling grunden för skapandet av ett automatiskt verktyg vars syfte är att göra snabbare och mer exakta diagnoser, genom att automatiskt segmentera synnerven och extrahera användbara prognostiska prediktorer.

För närvarande utforskas quantum walk som en potentiell metod för att analysera medicinska bilder. Med inspiration från Gradys random walk-algoritm för bildbehandling har vi utvecklat en metod som bygger på de kvantmekaniska fördelar som quantum walk innehar för att detektera och segmentera medicinska bilder. Vidare har de segmenterade bilderna utvärderats utifrån klinisk relevans. Teoretiskt sett kan quantum walk-algoritmer erbjuda en mer effektiv metod för bildanalys inom medicin jämfört med traditionella metoder för bildsegmentering som exempelvis klassisk random walk, som inte bygger på kvantmekanik. Inom området finns omfattande potential för utveckling, och det är av yttersta vikt att fortsätta utforska och förbättra metoder. För närvarande kan det konstateras att det är en lång väg att vandra innan detta är något som kan appliceras i en klinisk miljö. / Currently, quantum walk is being explored as a potential method for analyzing medical images. Taking inspiration from Grady's random walk algorithm for image processing, we have developed an approach that leverages the quantum mechanical advantages inherent in quantum walk to detect and segment medical images. Furthermore, the segmented images have been evaluated in terms of clinical relevance. Theoretically, quantum walk algorithms have the potential to offer a more efficient method for medical image analysis compared to traditional methods of image segmentation, such as classical random walk, which do not rely on quantum mechanics. Within this field, there is significant potential for development, and it is of utmost importance to continue exploring and refining these methods. However, it should be noted that there is a long way to go before this becomes something that can be applied in a clinical environment.

Accurate segmentation of anatomical structures is crucial for radiation therapy in cancer treatment. Deep learning methods have been demonstrated effective for segmentation of 3D medical images, establishing the current standard. However, they require large amounts of labelled data and suffer from reduced performance on domain shift. A possible solution to these challenges is self-supervised learning, that uses unlabelled data to learn representations, which could possibly reduce the need for labelled data and produce more robust segmentation models. This thesis investigates the impact of self-supervised pre-training on an attention-based model for 3D medical image segmentation, specifically focusing on single-organ semantic segmentation, exploring whether self-supervised pre-training enhances the segmentation performance on CT scans with and without domain shift. The Swin UNETR is chosen as the deep learning model since it has been shown to be a successful attention-based architecture for semantic segmentation. During the pre-training stage, the contracting path is trained for three self-supervised pretext tasks using a large dataset of 5 465 unlabelled CT scans. The model is then fine-tuned using labelled datasets with 97, 142 and 288 segmentations of the stomach, the sternum and the pancreas. The results indicate that a substantial performance gain from self-supervised pre-training is not evident. Parameter freezing of the contracting path suggest that the representational power of the contracting path is not as critical for model performance as expected. Decreasing the amount of supervised training data shows that while the pre-training improves model performance when the amount of training data is restricted, the improvements are strongly decreased when more supervised training data is used. / Noggrann segmentering av anatomiska strukturer är avgörande för strålbehandling inom cancervården. Djupinlärningmetoder har visat sig vara effektiva och utgör standard för segmentering av 3D medicinska bilder. Dessa metoder kräver däremot stora mängder märkt data och kännetecknas av lägre prestanda vid domänskift. Eftersom självövervakade inlärningsmetoder använder icke-märkt data för inlärning, kan de möjligen minska behovet av märkt data och producera mer robusta segmenteringsmodeller. Denna uppsats undersöker effekten av självövervakad förberedande träning av en attention-baserad modell för 3D medicinsk bildsegmentering, med särskilt fokus på semantisk segmentering av enskilda organ. Syftet är att studera om självövervakad förberedande träning förbättrar segmenteringsprestandan utan respektive med domänskift. Swin UNETR har valts som djupinlärningsmodell eftersom den har visat sig vara en framgångsrik attention-baserad arkitektur för semantisk segmentering. Under den förberedande träningsfasen optimeras modellens kontraherande del med 5 465 icke-märkta CT-scanningar. Modellen tränas sedan på märkta dataset med 97, 142 och 288 segmenterade skanningar av magen, bröstbenet och bukspottkörteln. Resultaten visar att prestandaökningen från självövervakad förberedande träning inte är tydlig. Parameterfrysning av den kontraherande delen visar att dess representationer inte lika avgörande för segmenteringsprestandan som förväntat. Minskning av mängden träningsdata tyder på att även om den förberedande träningen förbättrar modellens prestanda när mängden träningsdata är begränsad, minskas förbättringarna betydligt när mer träningsdata används.

Segmentation of ultrasonic images is a common task in healthcare that requires time and attention from healthcare professionals. Automation of medical image segmentation using deep learning solutions is fast growing field and has been shown to be capable of near human performance. Ultrasonic images suffer from low signal-to-noise ratio and speckle patterns, noise filtering is a common pre-processing step in non-deep learning image segmentation methods used to improve segmentation results. In this thesis the effect of speckle filtering of echocardiographic images in deep learning segmentation using U-Net is investigated. When trained with speckle reduced and despeckled datasets, a U-Net model with 0.5·106 trainable parameters saw an rage dice score improvement of +0.15 in the 17 out of 32 categories that were found to be statistically different compared to the same network trained with unfiltered images. The U-Net model with 1.9·106 trainable parameters saw a decrease in performance in only 5 out of 32 categories, and the U-Net model with 31·106 trainable parameters saw a decrease in performance in 10 out of 32 categories when trained with the speckle filtered datasets. No definite differences in performance between the use of speckle suppression and full speckle removal were observed. This result shows potential for speckle filtering to be used as a means to reduce the complexity required of deep learning models in ultrasound segmentation tasks. The use of the wavelet transform as a down- and up-sampling layer in U-Net was also investigated. The speckle patterns in ultrasonic images can contain information about the tissue. The wavelet transform is capable of lossless down- and up-sampling in contrast to the commonly used down-sampling methods, which could enable the network to make use textural information and improve segmentations. The U-Net modified with the wavelet transform shows slightly improved results when trained with despeckled datasets compared to the unfiltered dataset, suggesting that it was not capable of extracting any information from the speckle. The experiments with the wavelet transform were far from exhaustive and more research is needed for proper assessment. / Segmentering av ultraljudsbilder är en vanlig uppgift inom vården som kräver tid och uppmärksamhet från vårdpersonal. Automatisering av medicinsk bildsegmentering med djupinlärning är ett snabbt växande område och har visat kunna nå prestanda nära mänsklig nivå.  Ultraljudsbilder har dålig signal-brusförhållande och speckle mönster, ofta bearbetas bilder med brusfiltrering när icke djupinlärningsmetoder används för segmentering för att förbättra resultat. Effekten av speckle-filtrering i ultraljudsbilder i djupinlärnings segmentering med U-Net undersöks i den här masterexamensuppsatsen.   U-Net nätverket med 0.5·106 träningsbara parametrar presterade bättre när den tränades med speckle filtrerade dataset jämfört för med ofiltrerade bilder, men en ökning i dice-koefficienten av +0.15 i medel i de 17 kategorier av 32 som var statistikst signifikanta. En försämring av resultaten för U-Net nätverket med 1.9·106 träningsbara parametrar observerades i 5 av 32 kategorier, och en försämring av resultaten för U-Net nätverket med 31·106 träningsbara parametrar observerardes när de tränades med speckle filtrerade dataset i 10 av 32 kategorier. Inga skillnader i prestanda mellan användning av minskning av speckle och fullständig speckle borttagning observerades. Detta resultat visar att det finns potential för att använda speckle filtrering som en metod för att minska komplexiteten som kan krävas hos djupinlärningsnätverk inom ultraljudssegmentering. Användning av wavelet transformen som ett ned- och uppsamplings lager i U-Net undersöktes också. Speckle mönstren i ultraljudsbilder kan innehålla information om vävnaden. Wavelet transformen möjliggör ned- och uppsamplings av bilden utan informationsförlust till skillnad från de vanliga metoderna, vilket skulle kunna göra det möjligt för nätverket att utnyttja information om vävnadstexturen och förbättra segmenteringarna. U-Net nätverket som modifierades med wavelet transformen visar någorlunda bättre prestanda när den tränas med speckle filtrerade dataset jämfört med ofiltrerade dataset. Det tyder på att nätverket inte kunde utnyttja någon information från speckle mönstren. Wavelet transform experimenten var ej uttömmande och mer forskning behövs för en korrekt bedömning.

Neural Networks have been demonstrated to perform well in computer vision tasks, especially in the field of semantic segmentation, where a classification is performed on a per pixel-level. Using deep learning can reduce time and effort in comparison to manual segmentation, however, the performance of neural networks highly depends on the data quality and quantity, which is costly and time-consuming to obtain; especially for image segmentation tasks. In this work, this problem is addressed by investigating a combined approach of self-supervised pre-training and active learning aimed at selecting the most informative training samples. Experiments were performed using the Gland Segmentation and BraTS 2020 datasets. The results indicate that active learning can increase performance for both datasets when only a small percentage of labeled data is used. Furthermore, self-supervised pre-training improves model robustness as well as in some cases additionally boosts model performance. / Neurala nätverk har visats fungera bra för att lösa visionsbasesarade problem med datorer, särskilt inom bildsegmentering, där operationer utförs på en per pixelnivå. Att använda djupinlärning kan minska tid och ansträngning jämfört med manuell segmentering. Prestandan för dessa metoder är dock beror på kvaliteten och kvantiteten på den tillgängliga datan, vilket är kostsamt och tidskrävande att få fram. I detta arbete behandlar vi problemet om kostsam dataannotering genom att undersöka mer effektiva tillvägagångssätt för att träna dessa modeller på mindre annoterad data genom en kombination av självövervakad förträning och active learning - som kan användas för att finna de mest informativa träningspunkterna. Experiment utfördes med hjälp av datasetten Gland Segmentation och BraTS 2020. Resultaten indikerar attactive learning kan öka prestandan för båda datamängderna när endast ett fåtal datapunkter har annoterats och används för träning. Dessutom förbättrar självövervakad pre-training modellens robusthet och kan i vissa fall öka modellprestandan.