Visual textures play an important role in image understanding because theyare a key component of the semantic of many images. Furthermore, texture representations, which pool local image descriptors in an orderless manner, have hada tremendous impact in a wide range of computer vision problems, from texture recognition to object detection. In this thesis we make several contributions to the area of texture understanding. First, we add a new semantic dimension to texture recognition. Instead of focusing on instance or material recognition, we propose a human-interpretable vocabulary of texture attributes, inspired from studies in Cognitive Science, to describe common texture patterns. We also develop a corresponding dataset, the Describable Texture Dataset (DTD), for benchmarking. We show that these texture attributes produce intuitive descriptions of textures. We also show that they can be used to extract a very low dimensional representation of any texture that is very effective in other texture analysis tasks, including improving the state-of-the art in material recognition on the most challenging datasets available today. Second, we look at the problem of recognizing texture attributes and materials in realistic uncontrolled imaging conditions, including when textures appear in clutter. We build on top of the recently proposed Open Surfaces dataset, introduced by the graphics community, by deriving a corresponding benchmarks for material recognition. In addition to material labels, we also augment a subset of Open Surfaces with semantic attributes. Third, we propose a novel texture representation, combining the recent advances in deep-learning with the power of Fisher Vector pooling. We provide thorough evaluation of the new representation, and revisit in general classic texture representations, including bag-of-visual-words, VLAD and the Fisher Vectors, in the context of deep learning. We show that these pooling mechanisms have excellent efficiency and generalisation properties if the convolutional layers of a deep model are used as local features. We obtain in this manner state-of-the-art performance in numerous datasets, both in texture recognition and image understanding in general. We show through our experiments that the proposed representation is an efficient way to apply deep features to image regions, and that it is an effective manner of transferring deep features from one domain to another.

The increasing popularity of drones has made it convenient to capture a large number of images of a property, which can then be used to build a 3D model. The conditions of buildings can be analyzed to plan renovations. This creates an interest for automatically identifying building materials, a task well suited for machine learning. With access to drone imagery of buildings as well as depth maps and normal maps, we created a dataset for semantic segmentation. Two different convolutional neural networks were trained and evaluated, to see how well they perform material segmentation. DeepLabv3+, which uses RGB data, was compared to Depth-Aware CNN, which uses RGB-D data. Our experiments showed that DeepLabv3+ achieved higher mean intersection over union. To investigate if the information in the depth maps and normal maps could give a performance boost, we conducted experiments with an encoding we call HMN - horizontal disparity, magnitude of normal with ground, normal parallel with gravity. This three channel encoding was used to jointly train two CNNs, one with RGB and one with HMN, and then sum their predictions. This led to improved results for both DeepLabv3+ and Depth-Aware CNN. / Den ökade populariteten av drönare har gjort det smidigt att ta ett stort antal bilder av en fastighet, och sedan skapa en 3D-modell. Skicket hos en byggnad kan enkelt analyseras och renoveringar planeras. Det är då av intresse att automatiskt kunna identifiera byggnadsmaterial, en uppgift som lämpar sig väl för maskininlärning.  Med tillgång till såväl drönarbilder av byggnader som djupkartor och normalkartor har vi skapat ett dataset för semantisk segmentering. Två olika faltande neuronnät har tränats och utvärderats för att se hur väl de fungerar för materialigenkänning. DeepLabv3+ som använder sig av RGB-data har jämförts med Depth-Aware CNN som använder RGB-D-data och våra experiment visar att DeepLabv3+ får högre mean intersection over union. För att undersöka om resultaten kan förbättras med hjälp av datat i djupkartor och normalkartor har vi kodat samman informationen till vad vi valt att benämna HMN - horisontell disparitet, magnitud av normalen parallell med marken, normal i gravitationsriktningen. Denna trekanalsinput kan användas för att träna ett extra CNN samtidigt som man tränar med RGB-bilder, och sedan summera båda predikteringarna. Våra experiment visar att detta leder till bättre segmenteringar för både DeepLabv3+ och Depth-Aware CNN.

This thesis concerns the development and characterisation of X-ray imaging systems based on single photon processing. “Colour” X-ray imaging opens up new perspectives within the fields of medical X-ray diagnosis and also in industrial X-ray quality control. The difference in absorption for different “colours” can be used to discern materials in the object. For instance, this information might be used to identify diseases such as brittle-bone disease. The “colour” of the X-rays can be identified if the detector system can process each X-ray photon individually. Such a detector system is called a “single photon processing” system or, less precise, a “photon counting system”. With modern technology it is possible to construct photon counting detector systems that can resolve details to a level of approximately 50 µm. However with such small pixels a problem will occur. In a semiconductor detector each absorbed X-ray photon creates a cloud of charge which contributes to the image. For high photon energies the size of the charge cloud is comparable to 50 µm and might be distributed between several pixels in the image. Charge sharing is a key problem since, not only is the resolution degenerated, but it also destroys the “colour” information in the image. This thesis presents characterisation and simulations to provide a detailed understanding of the physical processes concerning charge sharing in detectors from the MEDIPIX collaboration. Charge summing schemes utilising pixel to pixel communications are proposed. Charge sharing can also be suppressed by introducing 3D-detector structures. In the next generation of the MEDIPIX system, Medipix3, charge summing will be implemented. This system, equipped with a 3D-silicon detector, or a thin planar high-Z detector of good quality, has the potential to become a commercial product for medical imaging. This would be beneficial to the public health within the entire European Union. / Denna avhandling berör utveckling och karaktärisering av fotonräknande röntgensystem. ”Färgröntgen” öppnar nya perspektiv för medicinsk röntgendiagnostik och även för materialröntgen inom industrin. Skillnaden i absorption av olika ”färger” kan användas för att särskilja olika material i ett objekt. Färginformationen kan till exempel användas i sjukvården för att identifiera benskörhet. Färgen på röntgenfotonen kan identifieras om detektorsystemet kan detektera varje foton individuellt. Sådana detektorsystem kallas ”fotonräknande” system. Med modern teknik är det möjligt att konstruera fotonräknande detektorsystem som kan urskilja detaljer ner till en upplösning på circa 50 µm. Med så små pixlar kommer ett problem att uppstå. I en halvledardetektor ger varje absorberad foton upphov till ett laddningsmoln som bidrar till den erhållna bilden. För höga fotonenergier är storleken på laddningsmolnet jämförbar med 50 µm och molnet kan därför fördelas över flera pixlar i bilden. Laddningsdelning är ett centralt problem delvis på grund av att bildens upplösning försämras, men framför allt för att färginformationen i bilden förstörs. Denna avhandling presenterar karaktärisering och simulering för att ge en mer detaljerad förståelse för fysikaliska processer som bidrar till laddningsdelning i detektorer från MEDIPIX-projekter. Designstrategier för summering av laddning genom kommunikation från pixel till pixel föreslås. Laddningsdelning kan också begränsas genom att introducera detektorkonstruktioner i 3D-struktur. I nästa generation av MEDIPIX-systemet, Medipix3, kommer summering av laddning att vara implementerat. Detta system, utrustat med en 3D-detektor i kisel, eller en tunn plan detektor av högabsorberande material med god kvalitet, har potentialen att kunna kommersialiseras för medicinska röntgensystem. Detta skulle bidra till bättre folkhälsa inom hela Europeiska Unionen.