Return to search

Thermal human detection for Search & Rescue UAVs / Termisk människodetektion för sök- och räddnings UAVs

Unmanned Aerial Vehicles (UAVs) could play an important role in Search & Rescue (SAR) operations thanks to their ability to cover large, remote, or inaccessible search areas quickly without putting any personnel at risk. As UAVs are becoming autonomous, the problem of identifying humans in a variety of conditions can be solved with computer vision implemented with a thermal camera. In some cases, it would be necessary to operate with one or several small, agile UAVs to search for people in dense and narrow environments, where flying at a high altitude is not a viable option. This could for example be in a forest, cave, or a collapsed building. A small UAV has a limitation in carrying capacity, which is why this thesis aimed to propose a lightweight thermal solution for human detection that could be applied on a small SAR-UAV for operation in dense environments. The solution included a Raspberry Pi 4 and a FLIR Lepton 3.5 thermal camera in terms of hardware, which were mainly chosen thanks to their small footprint regarding size and weight, while also fitting within budget restrictions. In terms of object detection software, EfficentDet-Lite0 in TensorFlow Lite format was incorporated thanks to good balance between speed, accuracy, and resource usage. An own dataset of thermal images was collected and trained upon. The objective was to characterize disturbances and challenges this solution might face during a UAV SAR-operation in dense environments, as well as to measure how the performance of the proposed platform varied with increasing amount of environmental coverage of a human. This was solved by conducting a literature study, an experiment in a replicated dense environment and through observations of the system behavior combined with analysis of the measurements. Disturbances that affect a thermal camera in use for human detection were found to be a mixture of objective and subjective parameters, which formed a base of what type of phenomena to include in a diverse thermal dataset. The results from the experiment showed that stable and reliable detection performance can be expected up to 75% vegetational coverage of a human. When fully covered, the solution was not reliable when trained on the dataset used in this thesis. / Obemannade drönare (UAVs) kan spela en viktig roll i sök- och räddningsuppdrag (SAR) tack vare deras förmåga att snabbt täcka stora, avlägsna eller otillgängliga sökområden utan att utsätta personal för risker. För autonoma UAVs kan problemet med att identifiera människor i en mängd olika förhållanden lösas med datorseende implementerat tillsammans med en värmekamera. I vissa fall kan det vara nödvändigt att operera med en eller flera små, smidiga UAVs för att söka efter människor i täta och trånga miljöer, där flygning på hög höjd inte är ett genomförbart alternativ. Det kan till exempel vara i en skog, grotta eller i en kollapsad byggnad. En liten UAV har begränsad bärförmåga, vilket är varför denna avhandling syftade till att föreslå en lättviktslösning för mänsklig detektering med värmekamera som skulle kunna appliceras på en liten SAR-UAV för drift i täta miljöer. Lösningen inkluderade Raspberry Pi 4 och en FLIR Lepton 3.5 värmekamera gällande hårdvara, tack vare liten formfaktor och liten vikt, samtidigt som de passade inom budgetramen. Gällande detekterings-mjukvara användes EfficentDet-Lite0 i TensorFlow Lite-format tack vare en bra balans mellan hastighet, noggrannhet och resursanvändning. En egen uppsättning av värmebilder samlades in och tränades på. Målet var att identifiera vilka störningar och utmaningar som denna lösning kan påträffa under en sökoperation med UAVs i täta miljöer, samt att mäta hur prestandan för den föreslagna plattformen varierade när täckningsgraden av en människa ökar p.g.a. omgivningen. Detta löstes genom att genomföra en litteraturstudie, ett experiment i en replikerad tät miljö och genom observationer av systemets beteende kombinerat med analys av mätningarna. Störningar som påverkar en värmekamera som används för mänsklig detektion visade sig vara en blandning av objektiva och subjektiva parametrar, vilka utgjorde en bas för vilka typer av fenomen som skulle inkluderas i en mångsidig kollektion med värmebilder. Resultaten från experimentet visade att stabil och pålitlig detekteringsprestanda kan förväntas upp till 75% täckningsgrad av en människa p.g.a. vegetation. När människan var helt täckt var lösningen inte tillförlitlig när den var tränad på kollektionen som användes i denna avhandling.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-320844
Date January 2022
CreatorsWiklund-Oinonen, Tobias
PublisherKTH, Maskinkonstruktion (Inst.)
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageSwedish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess
RelationTRITA-ITM-EX ; 2022:384

Page generated in 0.0036 seconds