Monitoring the thermal behavior of material while heated or cooled is of great importance in order to understand the structural behavior of materials. This thesis aims to investigate the prospects for imaging hot materials using an RGB-camera. The main motivation of using an RGB-camera is the very simple set-up and, in comparison to thermal IR-cameras, low price. A method and code enabling thermographic measurements in the temperature range of 800°C up to 1500°C has been produced. Calibration of the RGB-camera was made, the accuracy was predicted to be poor within the temperature range of 1000°C up to about 1200°C. The poor accuracy of the calibration within this range has its source in the non-linear (and irregular) response of the CMOS sensor prohibiting a valid exposure time function to be accurately determined. The calibration is thus performed with different settings (i.e different exposure times and aperture settings) but without any correction for the setting change. The validation experiments were performed in (or very close to) the temperatures where the temperature error was predicted to be the largest. An under-estimation of approximately 30-50°C in the temperature range between 950°C and 1015°C could be seen corresponding to an absolute error of about 3-5% in this temperature range. The accuracy is however thought to increase with the temperature above a temperature of approximately 1250°C . It is possible to perform a temperature transform of target images with temperatures above 1500°C since the Look-up-table produced for the temperature transform extends to about 3000°C . However, the accuracy is unknown since no calibration or validation experiments within these ranges were performed. The result of the calibration and experiments along with the theoretical assessment within the thesis gave background to the discussion of optimal imaging system for thermographic measurements. In order to receive more accurate temperature measurements, a CCD-sensor is to prefer since producing more uniform images with a more linear and predictable response. This would most likely enable the implementation of the camera setting influence. To receive better color accuracy but mainly to prevent channel overlap a system using three sensors instead of one (as for the current imaging system) is to prefer. This would result in larger freedom of channel choice and thus, the temperature transform can somewhat be customized for the specific measured temperature ranges. A brief discussion concerning the overall choice of camera was also brought up. Since the temperature range is large and the red, green and blue channels are sensitive to temperature changes the demands on the sensor dynamic range will be high in order to receive a linear response, or even a fully predictable response, across the whole temperature range. A suggested option to the RGB-camera, still offering the very simple set up, is a dual-wavelength camera in the near (or medium wavelength) infrared range. / Kartläggning av materialförändringar vid uppvärmning eller nedkylning är av stor betydelse för förståelsen för ett materials strukturella beteende. Denna masteruppsatts syftar till att utforska utsikterna för termisk avbildning av varma material med en RGB-kamera. I detta inkluderas kalibrering av kamera, validerings experiment och teoretiska efterforskningar. Det huvudsakliga motivet för användning av en RGB-kamera är den enkla uppställningen (endast en kamera där de olika färg-lagren är alignerade) och det, i jämförelse med många IR-kameror, låga priset. En metod och en kod som möjliggör termografiska mätningar (både video och stillbild) inom temperaturområdet 800°C till 1500°C har tagits fram där kalibrering av kameran är inkluderat. Efter utförd kalibrering förutspåddes att noggrannheten av mätningarna mest troligt skulle vara bristfälliga i området 1000°C upp till cirka 1200°C.  Denna bristfälliga noggrannheten har sin grund i den icke-linjära (och i vissa fall oregelbundna) sensorresponsen vilket, i huvudsak, försvårade bestämning av exponeringstidens signalinflytande. Med anledning av detta gjordes en kalibrering med fixa inställningar, det vill säga; fixa exponeringstider och bländarinställningar för mätningar inom specifika temperaturområden, men utan korrigering vid förändring av kamerainställningar. Valideringsexperimenten som utfördes var i (eller mycket nära) det temperaturområde där de största temperaturavvikelserna förutspåddes vara.  Utförd validering av metod för temperaturavbildning visade att mätningen med RGB-kameran underskattade temperaturerna med cirka 30-50°C i temperaturområdet mellan 975-1015° motsvarar ett absolut fel på cirka 3-5% inom detta temperaturområde. Det är dock troligt att noggrannheten av mätningarna ökar då temperaturerna av det avbildade objektet är större än 1250°C då man i kalibreringsprocessen kunde se mindre avvikelser i detta område.  Med producerad look-up table (skapad i kalibreringsprocessen) är det möjligt att utföra temperaturtransformationer för avbildningar av objekt som har temperaturer över 1500°C, dock med okända osäkerheter då varken kalibrerings- eller valideringsexperiment har utförts för så pass höga temperaturer.  Resultatet av kalibreringen och experimenten, tillsammans med en teoretisk utredning av begränsningar och möjliga förbättringar vid termografiska mätningar, lade grunden till diskussion gällande optimalt bildsystem. Rekommendationer för att i framtiden utföra mer exakta termografiska mätningar med en RGB-kamera togs fram där en 3-CCD kamera föreslogs för att förbättra mätresultaten.  En CCD sensor är att föredra framför en CMOS sensor då de icke-verkliga pixel-avvikelserna inte är lika kritiska för en CCD-sensor som för en CMOS-sensor. CCD-sensorn är dessutom i många aspekter mer tillförlitlig vid vetenskapliga mätningar och har oftast mer linjär och förutsägbar respons vilket mest troligt skulle möjliggöra inkludering av exponeringstidens signalinflytande.  En kort diskussion gällande val av kanaler (våglängdsområden) som kan användas vid temperaturmätningar tas även upp i avhandlingen. Eftersom temperatur-mätområdet är stort och den röda, gröna och blå kanalen är känsliga för temperaturförändringar (liten förändring av temperatur ger stor förändring i uppmätt emission) så kommer kravet på det dynamiska omfånget av sensorn vara högt.  Ett alternativ till RGB-kameran, som fortfarande har en enkel uppställning, är en dubbel-sensor-kamera med ett dubbelt bandpass-filter i det när-infraröda (NIR) området. Detta kräver dock en utredning för hur sensorer i detta område påverkar den uppmätta signalen.

La production agricole doit augmenter plus rapidement pour répondre à la demande alimentaire mondiale dans un avenir proche. Le phénotypage, c'est-à-dire la surveillance quantitative des variables de l'état des cultures et du fonctionnement quantitatif de la canopée, a été reconnu comme le goulot d'étranglement pour accélérer le progrès génétique et augmenter le rendement. Le phénotypage sur le terrain est obligatoire car il permet d'évaluer les génotypes dans des conditions naturelles de champ. Les progrès technologiques des capteurs, de la communication et de l'informatique favorisent le développement de systèmes de phénotypage à haut débit au cours de la dernière décennie. Toutefois, l'interprétation des mesures de phénotypage n' a fait l'objet que d'une attention limitée, ce qui a entraîné une sous-exploitation des potentiels des systèmes actuels. Cette thèse se concentre sur l'interprétation des mesures de phénotypage au champ sur les cultures de blé. Il comprend trois aspects complémentaires qui illustrent les potentiels du traitement d'image avancé, de l'inversion du modèle et de l'assimilation des données pour l'interprétation des mesures de phénotypage afin d'accéder à de nouveaux caractères ou d'améliorer la précision avec laquelle les caractères déjà accessibles ont été récupérés. Plusieurs plateformes (phénotypette, phénomobile, drones) et capteurs (caméras haute résolution RVB, LiDAR) ont été utilisés tout au long de cette étude. Les positions précises des plantes le long et à travers la rangée ont été décrites à partir d'images RVB haute résolution. Des modèles statistiques pour l'espacement des plantes le long du rang et la distance au centre du rang ont ensuite été proposés et calibrés. L'influence du profil de semis sur la fraction verte, facilement mesurable avec les techniques de phénotypage, a ensuite été évaluée. Le modèle statistique utilisé pour décrire la distribution de l'espacement des plantes le long de la rangée a été utilisé pour étudier la taille d'échantillonnage optimale et la méthode d'estimation de la densité des plantes. Enfin, une méthode a été mise au point pour estimer automatiquement la densité végétale à partir des images RVB haute résolution. Les résultats montrent une précision relativement élevée lorsque la résolution spatiale est suffisamment élevée et lorsque les observations sont effectuées avant que les plantes n'aient atteint trois stades de feuilles. Il est relativement facile d'obtenir une estimation précise du DG en utilisant des observations passives à un stade précoce. Toutefois, les performances se dégradent en cas de conditions DG élevées en raison du problème de saturation. L'utilisation du LiDAR avec sa capacité à apporter des informations sur la troisième dimension a été étudiée comme un moyen possible d'atténuer l'effet de saturation basé sur les régularités entre les couches supérieures et plus profondes de la canopée, comme décrit par le modèle ADEL_Wheat. Le LiDAR utilisé équipe la plate-forme de phénotypage phénomobile. Les résultats montrent une amélioration significative des performances lors de l'utilisation des observations LiDAR par rapport à l'estimation classique basée sur la fraction verte, assimilation de l'évolution temporelle des fractions vertes dans le modèle ADEL-Wheat. La surveillance de la dynamique de l'architecture de la canopée pour obtenir les premiers traits de vigueur de la culture est très recherchée par les sélectionneurs. Les résultats montrent que peu de paramètres du modèle ADEL-Wheat sont effectivement accessibles à partir de cette technique d'assimilation. De plus, il permet également d'estimer avec une bonne précision les propriétés émergentes de la canopée telles que le GAI et le nombre de tiges avec plus de 3 feuilles. Sur la base de ces résultats novateurs, des conclusions sont finalement tirées sur les limites de cette étude et sur les travaux futurs à entreprendre pour un phénotypage efficace sur le terrain à haut débit. / Crop production has to increase faster to meet the global food demand in the near future. Phenotyping, i.e. the monitoring crop state variables and canopy functioning quantitatively, was recognized as the bottleneck to accelerate genetic progress to increase the yield. Field phenotyping is mandatory since it allows evaluating the genotypes under natural field conditions. The technological advances of sensors, communication and computing foster the development of high-throughput phenotyping systems during the last decade. However, only limited attentions was paid in the interpretation of phenotyping measurements, leading to an under-exploitation of the potentials of current systems. This thesis focuses on advancing the interpretation of field phenotyping measurements over wheat crops. It includes three complementary aspects that illustrate the potentials of advanced image processing, model inversion and data assimilation for the interpretation of phenotyping measurements to access new traits or improve the accuracy with which already accessible traits have been retrieved. Several platforms (phenotypette, phenomobile, UAV) and sensors (RGB high resolution cameras, LiDAR) were used along this study.Characterization of the sowing pattern and density. The precise plant positions along and across the row was described from high resolution RGB images. Statistical models for the spacing of plants along the row and distance to the row center were then proposed and calibrated. The influence of the sowing pattern on the green fraction that can be easily measured with phenotyping techniques was then evaluated. The statistical model used to describe the distribution of plant spacing along the row was exploited to investigate the optimal sampling siz and method for plant density estimation. Finally, a method was developed to automatically estimate the plant density from the high resolution RGB images. Results show a relatively high accuracy when the spatial resolution is high enough and when observations are made before plants have reached 3 leaves stages.ADEL-Wheat model assisted Estimation of GAI from LiDAR measurements. It is relatively easy to achieve accurate GAI estimate using passive observations at early stages. However, the performances degrade for high GAI conditions due to the saturation problem. The use of LiDAR with its capacity to bring information on the third dimension was investigated as a possible way to alleviate the saturation effect based on the regularities between top and deeper canopy layers as described by the ADEL_Wheat model. The LiDAR used is equipping the phenomobile phenotyping platform. Focus was put on the stage of maximum GAI development when saturation effects are the largest. Results show a significant improvement of performances when using LiDAR observations as compared to classical green fraction based estimation.Assimilation of green fractions temporal evolution into ADEL-Wheat model. Monitoring the dynamics of canopy architecture to get early vigor traits of the crop is highly desired by breeders. The feasibility and interest of a phenotyping data assimilation approach was evaluated based on in silico experiments using the ADEL_Wheat model simulations. The green fraction observed from several view directions and dates is the variable that is assimilated. A sensitivity analysis was conducted to evaluate the effect of the number and spacing of the observation dates as well as the number of view directions used. Results show that few parameters of the ADEL-Wheat model are actually accessible from this assimilation technique. Further, it allows also estimating with a good accuracy emerging canopy properties such as the GAI and the number of stems with more than 3 leaves. Based on these innovative results, conclusions are finally drawn on the limits of this study and on the future work to undertake for efficient field high-throughput phenotyping

Tracking and understanding human gait is an important step towards improving elderly mobility and safety. This thesis presents a vision-based tracking system that estimates the 3D pose of a wheeled walker user's lower limbs with cameras mounted on the moving walker. The tracker estimates 3D poses from images of the lower limbs in the coronal plane in a dynamic, uncontrolled environment. It employs a probabilistic approach based on particle filtering with three different camera setups: a monocular RGB camera, binocular RGB cameras, and a depth camera. For the RGB cameras, observation likelihoods are designed to compare the colors and gradients of each frame with initial templates that are manually extracted. Two strategies are also investigated for handling appearance change of tracking target: increasing number of templates and using different representations of colors. For the depth camera, two observation likelihoods are developed: the first one works directly in the 3D space, while the second one works in the projected image space. Experiments are conducted to evaluate the performance of the tracking system with different users for all three camera setups. It is demonstrated that the trackers with the RGB cameras produce results with higher error as compared to the depth camera, and the strategies for handling appearance change improve tracking accuracy in general. On the other hand, the tracker with the depth sensor successfully tracks the 3D poses of users over the entire video sequence and is robust against unfavorable conditions such as partial occlusion, missing observations, and deformable tracking target.

Tracking and understanding human gait is an important step towards improving elderly mobility and safety. This thesis presents a vision-based tracking system that estimates the 3D pose of a wheeled walker user's lower limbs with cameras mounted on the moving walker. The tracker estimates 3D poses from images of the lower limbs in the coronal plane in a dynamic, uncontrolled environment. It employs a probabilistic approach based on particle filtering with three different camera setups: a monocular RGB camera, binocular RGB cameras, and a depth camera. For the RGB cameras, observation likelihoods are designed to compare the colors and gradients of each frame with initial templates that are manually extracted. Two strategies are also investigated for handling appearance change of tracking target: increasing number of templates and using different representations of colors. For the depth camera, two observation likelihoods are developed: the first one works directly in the 3D space, while the second one works in the projected image space. Experiments are conducted to evaluate the performance of the tracking system with different users for all three camera setups. It is demonstrated that the trackers with the RGB cameras produce results with higher error as compared to the depth camera, and the strategies for handling appearance change improve tracking accuracy in general. On the other hand, the tracker with the depth sensor successfully tracks the 3D poses of users over the entire video sequence and is robust against unfavorable conditions such as partial occlusion, missing observations, and deformable tracking target.

Tracking eye movements has been a central part in understanding attention and visual processing in the mind. Studying how the eyes move and what they fixate on during specific moments has been considered by some to offer a direct way to measure spatial attention. The underlying technology, known as eye tracking, has been used in order to reliably and accurately measure gaze. Despite the numerous benefits of eye tracking, research and development as well as commercial applications have been limited due to the cost and lack of scalability which the technology usually entails. The purpose and goal of this project is to make eye tracking more available to the common user by implementing and evaluating a new promising technique. The thesis explores the possibility of implementing a gaze tracking prototype using a normal smartphone camera. The hypothesis is to achieve accurate gaze estimation by utilizing deep learning neural networks and personalizing them to fit each individual. The resulting prototype is highly inaccurate in its estimations; however, adjusting a few key components such as the neural network initialization weights may lead to improved results. / Att spåra ögonrörelser har varit en central del i att förstå uppmärksamhet och visuell bearbetning i hjärnan. Att studera hur ögonen rör sig och vad de fokuserar på under specifika moment har av vissa ansetts vara ett sätt att mäta visuell uppmärksamhet. Den bakomliggande tekniken, känd som blickspårning, har använts för att pålitligt och noggrant mäta blickens riktning. Trots de fördelar som finns med blickspårning, har forskning och utveckling samt även kommersiella produkter begränsats av kostnaden och oförmågan till skalbarhet som tekniken ofta medför. Syftet och målet med arbetet är att göra blickspårning mer tillgängligt för vardagliga användare genom att implementera och utvärdera en ny lovande teknik. Arbetet undersöker möjligheten att implementera en blickspårningsprototyp genom användning av en vanlig mobilkamera. Hypotesen är att uppnå noggrann blickspårning genom användning av djupinlärning och neuronnät, samt att personalisera dem till att passa den enskilda individen. Den resulterande prototypen är väldigt oprecis i dess uppskattning av blickriktningen, dock kan justeringen av ett fåtal nyckelkomponenter, som initialiseringsvikterna till det neurala nätverket leda till bättre resultat.

Betesskador på skog kostar både skogsägare och industri stora summor pengar. Ett sätt att minska betesskador kan vara bättre kontroll över populationsstorleken av klövvilt. I Sverige används flera olika etablerade viltinventeringsmetoder. Svagheten är att de baseras på trender, index och avskjutningar mer än att få fram en siffra på antalet djur. En tillförlitlig inventeringsmetod är av stor vikt som beslutsunderlag till förvaltningsplaner. Drönare är ett obemannat luftfartyg som kan utrustas med olika kameror och sensorer. Tidigare fältstudier har visat att värme från vilt kan plockas upp av en drönare utrustad med termisk kamera. Svårigheten har varit att få tillförlitlighet vid artbestämning av vilt med enbart termiska kamera. I denna studie utfördes en viltinventering av ett 506 ha stort område norr om Ljungby i Kronobergs län under januari 2020. Med hjälp av en drönare utrustad med både termisk och RGB kamera utfördes en totalinventering av området. Resultatet visar att kombinationen av både termisk och RGB kamera ökar tillförlitligheten vid artbestämning av vilt. Metodens svagheter är täta krontak av gran, gällande regelverk från transportstyrelsen samt drönarens begränsande batterikapacitet. Slutsatsen är att vilt säkrare kan identifieras och artbestämmas med kombinationen av termisk- och RGB kamera jämfört med enbart termisk kamera men att metoden behöver vidareutvecklas.