In den letzten Jahren hat sich der Einsatz von Remotely Piloted Aerial Systems (RPAS) zur Geodatenerfassung immer mehr verbreitet. Dabei liegt das Hauptaugenmerk auf dem Einsatz von herkömmlichen Kameras mit drei Kanälen (Rot, Grün, Blau (RGB)). Mit dieser Kombination werden 3D-Daten und Orthophotomosaike erzeugt. Ein weiteres, jedoch kleineres Augenmerk liegt auf der Entwicklung von Sensoren mit mehr als drei Kanälen für Fragestellungen der Fernerkundung. Auffallend ist dabei, dass die Hersteller viel Arbeit in die radiometrische Qualität und die spektrale Auflösung der Sensoren stecken, deren geometrische Qualität ganz im Gegensatz zur herkömmlichen RGB-Kamera aber vernachlässigen. Die vorliegende Arbeit verfolgt einen anderen Ansatz: Ein bestehendes System wird unter der Berücksichtigung eines begrenzten Budgets (low-cost) und dem Erhalt der hohen geometrischen Abbildungsqualität um einen vierten Kanal im nahen Infrarot ergänzt. Anwendungsmöglichkeiten ergeben sich überall dort, wo gleichzeitig das Vorhandensein oder der Zustand von Vegetation und die Geometrie mit RPAS erfasst werden soll. Sigma Kameras mit Foveon® Sensoren sind bereits für ihre hohe Abbildungsqualität bekannt. Durch den Ausbau des Infrarot-Sperrfilters kann diese Kamera, ebenso wie fast alle Sensoren auf Silizium-Basis, für die Erfassung des Near Infrared (NIR) modifiziert werden. Mit der Kombination einer RGB- und einer NIR-Kamera zu einem Sensorkopf und einer selbst entwickelten Datenverarbeitung können Vierkanalbilddaten erzeugt werden, die die hohe Abbildungsqualität der Sigma Kamera und gleichzeitig die Zusatzinformation im NIR besitzen. Die Weiterverarbeitung in einer modernen Photogrammetriesoftware mit einem Structure from Motion (SFM)-Ansatz verspricht ein effizientes und praxisgerechtes Arbeiten. Der entwickelte Sensorkopf wird in zwei Einsatzszenarien zur Anwendung gebracht. In der Luftbildarchäologie kann der Zeitraum der Erfassung von Bodendenkmälern mit RPAS durch diesen Sensorkopf erheblich erweitert werden. Das Bodendenkmal ist sowohl im hochaufgelösten Oberflächenmodell als auch im NIR deutlicher zu erkennen als in einer herkömmlichen RGB-Aufnahme. Bei der Filterung eines Oberflächenmodells zu einem Geländemodell konnte gezeigt werden, dass die Verwendung des NIR den herkömmlichen Einsatz von neigungsbasierten Filtern sinnvoll ergänzt und zu besseren Ergebnissen führt. Durch den Rückgriff auf gebrauchte Sigma Kompaktkameras und weit verbreitete Software mit SFM-Algorithmen konnte der low-cost Ansatz voll erfüllt werden. Die radiometrische Qualität wurde untersucht und es wurde festgestellt, dass diese nicht an den Stand der Technik von speziellen und teuren Algorithmen und Sensoren heranreicht. Für die gezeigten Anwendungen ist sie jedoch als ausreichend zu bewerten.

Att som operatör ha möjlighet att se i ett elektromagnetiskt spektrum som det blotta ögat inte kan upptäcka bidrar till en rad fördelar. Den militära nyttan av IR-sensorer har drivit utvecklingen inom många av dess användningsområden som till exempel målsökare och mörkerkapacitet i totalt mörker. Det finns en svårighet kopplat till IR-sensorer och det är att det måste ske en avvägning mellan dess synfält och dess räckvidd. Syftet med den här uppsatsen är att undersöka vad det är som tvingar tillverkarna av dessa sensorer till att välja mellan dessa två parametrar. Detta för att sedan kunna ha en diskussion om eventuella lösningar och deras bidrag till de två grundläggande förmågorna verkan och underrättelse/information. Två nyare tekniker kommer även att undersökas för att kunna upptäcka alternativa lösningar på problemet.Undersökningen visade på att det största hindret var ett fysikaliskt sådant och detta var kopplat till bildformeringen, optikens fokallängd. En kort fokallängd gav ett brett synfält medan en längre fokallängd gav bättre räckvidd.

In this master thesis the possibility of detecting and tracking objects in multispectral infrared video sequences is investigated. The current method  with fix-sized rectangles have significant disadvantages. These disadvantages will be solved using image segmentation to estimate the shape of the object. The result of the image segmentation is used to determine the infrared contrast of the object. Our results show how some objects will give very good segmentation, tracking as well as shape detection. The objects that perform best are the flares and countermeasures. But especially helicopters seen from the side, with significant movements, is better detected with our method. The motion of the object is very important since movement is the main component in successful shape detection. This is so because helicopters are much colder than flares and engines. Detecting the presence and position of moving objects is easier and can be done quite successfully even with helicopters. But using structure tensors we can also detect the presence and estimate the position for stationary objects. / I detta examensarbete undersöks möjligheterna att detektera och spåra intressanta objekt i multispektrala infraröda videosekvenser. Den nuvarande metoden, som använder sig av rektanglar med fix storlek, har sina nackdelar. Dessa nackdelar kommer att lösas med hjälp av bildsegmentering för att uppskatta formen på önskade mål.Utöver detektering och spårning försöker vi också att hitta formen och konturen för intressanta objekt för att kunna använda den exaktare passformen vid kontrastberäkningar. Denna framsegmenterade kontur ersätter de gamla fixa rektanglarna som använts tidigare för att beräkna intensitetskontrasten för objekt i de infraröda våglängderna. Resultaten som presenteras visar att det för vissa objekt, som motmedel och facklor, är lättare att få fram en bra kontur samt målföljning än vad det är med helikoptrar, som var en annan önskad måltyp. De svårigheter som uppkommer med helikoptrar beror till stor del på att de är mycket svalare vilket gör att delar av helikoptern kan helt döljas i bruset från bildsensorn. För att kompensera för detta används metoder som utgår ifrån att objektet rör sig mycket i videon så att rörelsen kan användas som detekteringsparameter. Detta ger bra resultat för de videosekvenser där målet rör sig mycket i förhållande till sin storlek.

Detta arbete presenterar en icke-destruktiv metod för att detektera och klassificera mognadsgraden hos äpplen med användning av hyperspektrala bilder. Fastställning av mognadsgraden hos äpplen är intressant för bland annat äppelodlare och musterier vid lagring och beredning. Äpplens mognadsgrad är även intressant inom växtförädling. För att fastställa mognadsgraden idag krävs att det skärs i frukten, en så kallad destruktiv metod. Hyperspektrala bilder kan idag användas inom områden som jordbruk, miljöövervakning och militär spaning. / <p>Examensarbetet är utfört vid Institutionen för teknik och naturvetenskap (ITN) vid Tekniska fakulteten, Linköpings universitet</p>

Cloud detection on satellite imagery is an essential pre-processing step for several remote sensing applications. In general, machine learning based methods for cloud detection perform well, especially the ones based on deep learning as they consider both spatial and spectral features of the input image. However, false alarms become a major issue in winter images, wherein bright objects like snow/ice are also detected as cloud. This affects further image analysis like urban change detection, weather forecast, disaster risk management. In this thesis, we consider optical remote sensing images from small satellites constellation of PlanetScope. These have limited multispectral capacity of four bands: Red, Green, Blue (RGB) and Near-Infrared (NIR) bands. Detection algorithms tend to be more efficient when considering information from more than one spectral band to perform the detection. This study explores the data diversity provided by NIR band to RGB band images in terms of improvement in cloud detection accuracy. Two deep learning algorithms based on convolutional neural networks with different architectures are trained on RGB, NIR and RGB+NIR image data, resulting in six trained models. Each of these networks is tested with winter images of varying amounts of clouds and land covered with snow and ice. The evaluation is done based on performance metrics for accuracy and Intersection-over-Union (IoU) scores, as well as visual inspection. A total of eighteen experiments are performed, and it is observed that NIR band provides significant data diversity when combined with RGB bands, by reducing the false alarms and improving the accuracy. In terms of processing time, there is no significant increase for the algorithms evaluated, therefore better cloud detection can be achieved without significantly increasing the computational costs. Based on this analysis, Unibap iX10-100 embedded system is a possible choice for implementing these algorithms as it is suitable for AI applications. / Detektering av moln på satellitbilder är ett viktigt bearbetningssteg för flera fjärr analysapplikationer. I allmänhet fungerar maskininlärningsbaserade metoder för molndetektering bra, särskilt de som är baserade på djupinlärning eftersom de tar hänsyn till både spatiala och spektrala egenskaper i input bilder. Men falsklarm blir ett stort problem i vinterbilder, där medbringande föremål som snö/is också upptäcks som moln. Detta påverkar ytterligare bildanalyser som upptäckt av stadsförändringar, väderprognos, katastrofrisk-hantering. I denna avhandling tar vi hänsyn till optiska fjärranalysbilder från små satellitkonstellationer PlanetScope. Dessa har begränsad multispektral kapacitet på fyra band: röda, gröna, blå (RGB) och near-infrared (NIR) band. Detektionsalgoritmer tenderar att vara mer effektiva när man överväger information från mer än ett spektralband för att utföra detekteringen. Denna studie utforskar datadiversiteten som tillhandahålls av NIR-band till RGB-bandbilder när det gäller förbättring av molndetekteringsnoggrannheten. Två djupinlärningsalgoritmer baserade på konvolutionella neurala nätverk med olika arkitekturer tränas på RGB-, NIR- och RGB+NIR-bilddata, vilket resulterar i sex tränade modeller. Vart och ett av dessa nätverk testas med vinterbilder av varierande mängder moln och land täckt med snö och is. Utvärderingen görs baserat på prestandamått för noggrannhet och Intersection-over-Union (IoU) poäng, samt visuell inspektion. Totalt arton experiment utförs, och det observeras att NIR-bandet ger betydande datadiversitet när det kombineras med RGB-band, genom att minska de falska larmen och förbättra noggrannheten. När det gäller bearbetningstid finns det ingen signifikant ökning av den för de utvärderade algoritmerna, därför kan bättre molndetektering uppnås utan att nämnvärt öka beräkningskostnaderna. Baserat på denna analys är Unibap iX10-100 inbyggt system ett möjligt val för implementera dessa algoritmer eftersom det är lämpligt för AI-tillämpningar.