Summary

Hensikten med dette prosjektet er å benytte og videreutvikle metoder for segmentering av menneskelige bevegelser for fullstendig eller delvis automatisering av redigeringsprosessen. Bevegelsene i dette tilfellet kommer primært fra spedbarn og det er videoopptak av disse som danner grunnlaget for dataene brukt i dette prosjektet. Noen av fremgangsmåtene og metodene benyttet er også sterkt knyttet til musikkrelaterte bevegelser slik at dette også er en naturlig del av bakgrunnen til dette arbeidet. Analysen av musikalske bevegelser er inspirasjonen til de utviklede metodene for behandling av spedbarnsbevegelser og er derfor et viktig element i forklaringen av hvordan metodene er konstruert. Bevegelsene til spedbarn er viktig å kunne tolke dersom det er mistanke om nedsatte motoriske ferdigheter. Slike tegn kan være et varsel på at barnet senere kan få diagnosen cerebral parese og det er derfor en fordel å kunne bekrefte eller avkrefte dette med hensyn på iverksetting av eventuelle forebyggende tiltak.For å lage metoder for segmentering må man trekke ut nyttige variabler fra de tilgjengelige dataene. I dette tilfellet er det videoopptakene det er snakk om og disse er behandlet for å fokusere på informasjonen som har med bevegelser å gjøre. En video består av bilder (frames) og disse vises 25 ganger i sekundet for å lage ”bevegelige bilder” som vanligvis kalles en film. Bildene blir omgjort til ”bevegelsesbilder” ved matematisk å subtrahere dem fra hverandre slik at resultatet blir bilder hvor kun bevegelse fra en frame til den neste er synelig. Dette er mulig ved at pikslene i bildet som forandrer seg vises som hvite og alle uforandrede piksler blir svarte. Med dette er det mulig å kalkulerer sentrum for bevegelsen i hvert bilde samt hvor mye bevegelse det er, noe som gir grunnlag for enda flere variable som for eksempel standardavvik og varians. Bevegelsesbildene kan også gjøres om til såkalte ”motiongram” som er en måte å visualisere bevegelsene i bevegelsesbildene over tid. Motiongram er bilder som inneholder bevegelseskurver og kan selv brukes til segmentering, men er best egnet til grafisk analyse. Segmenteringen baserer seg altså på data fra bevegelsesbilder og er laget for å finne segmenter hvor bevegelsesmønsteret er betraktet som normalt. Det er ønskelig å finne disse regionene automatisk slik at avgjørelsen om grundigere oppfølging er nødvendig eller ikke kan gjøres mer effektivt. Å kunne finne segmenter som garantert inneholder normal bevegelse ved hjelp av digitale verktøy ville være et stort skritt mot effektiviseringen av denne analysen. Metodene for generering av bevegelsesbilder og motiongram sammen med gjennomføringen av klassifisering og segmentering er implementert i MATLAB. Segmenteringen baseres på å sammenligne variabelverdier for segmenter med og uten normal bevegelse. En fullstendig egenkomponert algoritme er utviklet og brukt hovedsakelig til testing mens en metode basert på lineær diskriminantanalyse også er laget med tanke på videre bruk. Resultatene viser at de utviklede metodene absolutt er lovende og har potensial til å bidra sterkt ved segmentering av bevegelsesdata. Evalueringen av de automatiske metodene i forhold til den tradisjonelle, manuelle fremgangsmåten, kan vise til solide resultater og med gode muligheter for forbedring ved anvendelse av enda flere variabeltyper samt klassifiseringsalgoritmer har arbeidet videre også svært gode utsikter.

I denne rapporten presenteres et rammeverk for Hardware in the Loop Simulation (HILS) i forbindelse med utvikling av Unmanned Aerial Vehicle (UAV) styresystemer. Oppgaven er utført som masteroppgave ved Teknisk Kybernetikk, NTNU.Rammeverket er utviklet i Windows 7 og baserer seg på dynamisk simulator programmert i MATLAB/Simulink og Flight Gear er brukt for visuell fremstilling av flyet. Resultatet består av tre deler som til sammen kompletterer en fullstendig HIL simulator. Oppgaven avgrenser seg til det datatekniske omkring utviklingen av HIL. Det vil si at den matematiske bakgrunnen for flymodeller og simuleringen ikke er utledet.Kapittel 2 gir en innføring i begreper og maskinvare utviklet for Odin Recce UAV. Resultatet er deretter presentert i tre deler.I kapittel 3 er oppbyggingen av et driverbibliotek for avlesing av joystick gjennomgått i detalj for språkene: C/C++, Java, MATLAB og Simulink. En grafisk bakkestasjon for logging av data og styring av modellen utviklet i MATLAB i kapittel 4.Tilsvarende systemer er beskrevet og analysert som basis for videre utvikling som siste av resultatet tilhørende kapittel 5. Her også testprosedyrer og feilkilder redegjort for.Oppgaven presenterer en generell fremgangsmåte for HIL simulering. Rammeverket er kodet med lavest mulig kobling og høy kohesjon for at løsningen skal kunne gjenbrukes senere.Ved å tilpasse den dynamiske modellen til ønsket fysisk system kan en legge til reguleringssløyfer og kontrollsystem med mulighet for å påtrykke eventuelle feilsituasjoner – brukeren får visuell tilbakemelding på flyets oppførsel via Flight Gear og bakkestasjonen gjør det også mulig å logge sanntidsdata.Prosjektet er en del av utviklingen omkring Odin Recce D6 UAV, men denne modellen er ikke brukt spesifikt i utviklingen. Mer informasjon om Odin er på www.odin.aero.

The theory of mathematical optimization is useful within a wide range of disciplines such as science, engineering, economics and industry. Application areas have been growing steadily, driving forward the development of new effective methods. Inspired by the need for fast computational schemes in wireless sensor networks, a new optimization theory, called Fast Lipschitz, has emerged to provide effective algorithms both for distributed and centralized computations. An important property of these algorithms is that a globally optimal solution is always guranteed. In this master thesis project, a new MATLAB toolbox is developed to check wether an optimization problem is F-Lipschitz and to solve it efficiently. The difficulty is posed in verifying that a given problem is in fact F-Lipschitz. However, it is shown that under certain circumstances, this operation has a computational complexity of O(n^2) for a problem with n decision variables. The toolbox provides both a graphical interface as well as inline functions. A user guide is presented, explaining the functionalities by discussions and illustrations of example problems. Among others, a convex optimization problem of distributed detection is considered, as well as a non-convex radio power allocation problem. The novel toolbox presented in this thesis may be of considerable utility in solving optimization problems and studying their characteristics.

The NTNU Test Satellite project aims to launch a 10x10x20 cm nanosatellite, weighing less than 2.66 kg. The satellite, which follows the CubeSat standard, is a relatively low cost project, and explores the use of comercially available, low cost electronic components in space. This work is mainly concerned with power management and distribution for NUTS, but also describes the design of a system backplane.The thesis is split into two parts. The first describes the design and evaluation of the backplane with main focus on power distribution, and the second part describes battery charging and power conversion in the Electrical Power System (EPS) unit.The backplane has been designed with flexibility, fault-tolerance and simplicity in mind. The design is based on a single I2C bus with bus repeaters for each sub-module, with the ability to isolate individual modules from the system in case of a malfunction. Power is distributed with dual 3.3V and dual 5V buses working in active redundancy, ensuring continued operation should a voltage converter fail. Power distribution for each module consists of three parts: power supply or-ing, current-limit switch and power monitor, and is integrated into the backplane. The state of the power switches and bus repeaters are controlled from two master modules, and a watchdog timer ensures return to a default state should both master modules be disabled. The proposed solution integrates all the management logic and power distribution circuitry into the backplane itself, leaving the valuable PCB space on the sub-modules free for module implementations. The power distribution unit has been evaluated with a separate prototype, and displays good performance in terms of power losses and response to over-current conditions. A prototype implementation of the backplane has been produced.The electrical power system of the satellite consists of solar panels, batteries, and voltage converters. With very limited power available, the main focus of the design has been to reduce losses in power conversion. A battery charge regulator (BCR) has therefore been proposed, which charges the battery while keeping the solar panels at their maximum operating point. This integrates a Maximum Power Point Tracking stage with a battery charger into a single converter, greatly increasing efficiency. Redundancy can be achieved by using separate converters for separate panels in parallel. A prototype BCR has been tested, and initial results show over 91% converter efficiency.

Gjennom denne oppgåva har det blitt laga eit system for styring av tekniske installasjonar, basert på ZigBee som kommunikasjonsteknologi. Systemet er laga slik at det òg kan nyttast som ei plattform for andre applikasjonar seinare.Arbeidet vart gjort på bakgrunn av eit studie av både eksisterande, kommersielle system og aktuelle forskingsprosjekt innanfor området. Forskingsaktiviteten er stor, og det er relativt stort spenn i prosjekta som er omtalt, frå reine tekniske prosjekt, til prosjekt med fokus meir på dei sosiale konsekvensane av meir intelligente heimar. Basert på delar av dei eksisterande systema, forskingsresultat og eigne idear, vart det laga eit bruksscenario som har fungert som ein referanse i det vidare arbeidet. Dette scenariet skildrar korleis eit slikt system kan fungera, både i seg sjølv og som ei plattform for andre applikasjonar. Som grunnleggjande konsept valde ein å laga systemet desentralisert, i det atkonfigurasjonen ligg lagra i dei enkelte einingane i systemet. Likevel har systemet ein sentral, for å kunna gjera automatisert, sentral styring. Sentralen skal òg tilby styring og konfigurasjon gjennom eit web-grensesnitt.Av fysiske einingar vart det i denne omgang laga ein sentral, ein brytarnode og ein relénode. Desse kan saman nyttast til å slå av og på alle typar elektriske einingar, opp til 16 A ved 230 V. Ein valde å skilja alle komponentar som har med ZigBee-kommunikasjon ut på eit eige kort. Alle dei tre andre nodane nyttar difor same type kort her. Å ha dette som eit eige kort, gir betre fleksibilitet, og gjer det enklare å nytta dette kortet i andre prosjekt. Tidlegare arbeid har gjort ein kjent med Atmel sine komponentar, og ein valde å nytta desse òg no, i form av Atmega128RFA1. Dette er ein mikrokontrollar med innebygd kommunikasjonsbrikke. Heimesentralen vart i tillegg til Atmel-brikka bygd rundt Beagleboard -xM, ein kraftig ARM-basert enkelt-kort-datamaskin, med nettverksfunksjonalitet, USB-portar og microSD-kort for lagring. Ein spesielt tilpassa Linux-distribusjon med tilhøyrande pakkesystem vart laga ved hjelp av Yocto-prosjektet. Dette gir eit system som startar svært raskt, og er enkelt å utvida med nye applikasjonar.Web-grensesnittet vart implementert på toppen av dette, basert på Python-rammeverket Django. Bruken av eit fullverdig operativsystem vil gjera det enkelt å integrera andre applikasjonar i denne sentralen seinare. Under utvikling og testing vart det tydeleg at rekkevidda til nodane ikkje var så god som ho burde vore. Truleg kjem dette av at impedansen i kretskortbanane mellom mikrokontrollaren og antenna ikkje er heilt riktig. Dette kan difor truleg fiksast i ein ny revisjon av ZigBee-kortet. Til gjengjeld viste batterilevetida seg å vera svært god, med håp om å få levetid på over 3 år i faktisk bruk ut av 2 AAA-batteri. Òg responstida i systemet var god, med tider på om lag 5 ms frå ein trykkar på ein knapp til reléet skifta tilstand. Å laga maskinvare tok dessverre svært mykje lenger tid enn ein hadde rekna med. Ein har difor ikkje rukke å implementera den funksjonaliteten ein hadde håpa. I tillegg finst det utfordringar i forhold til sikkerheit i nettverket, og det å få inn nye nodar i nettverket på ein trygg måte. Det er difor stort rom for vidare arbeid.Totalt sett kan systemet ikkje seiast å vera komplett, slik det framstår i dag. Primært er det noko manglande funksjonalitet, samt den dårlege rekkevidda som er dei største problema. Arbeidet som er gjort her, er likevel eit svært godt grunnlag. For det første kan nettverket og sentralen nyttast til å implementera nye applikasjonar innanfor husstyring i vid forstand. For det andre burde eit system som her òg ha eit visst kommersielt potensiale, om ein fullfører ein del av den manglande funksjonaliteten og finpussar på brukargrensesnitta.

Når en mobil robot begir seg ut i et dynamisk miljø for å utføre enoppgave er det mye den må ta hensyn til. Ikke bare må roboten holderede på hvor den er og hvor den skal, den må også sørge for at kinematiske,dynamiske og oppgavebestemte begrensninger overholdes. Endaviktigere er det at roboten ikke uforvarende støter borti mennesker, dyreller gjenstander som befinner seg i området. Denne rapporten presentereret design og en implementasjon av et algoritmesystem som skalhåndtere utfordringene en slik robot står overfor. Systemet er basertpå det elastiske veikartet utformet av Yang og Brock [23], som er ennyskapende og effektiv tilnærming til problemet bevegelsesplanlegging.Systemet presenteres i sammenheng med en bred oversikt overlitteratur og teori som behandler planleggingstemaet, med fokus påsamplings- og tilbakekoblingsbasert planleggingsmetodikk.Det implementerte algoritmesystemet demonstreres og analyseresgjennom en rekke simulerte testscenarioer. Resultatet er et utvidbartog fremtidsrettet planleggingssystem som kan planlegge og utføre enbevegelse mellom en start- og målposisjon, og kan i sanntid håndtereendringer i robotens omgivelser.

This thesis presents an innovative approach to social robotics through gesture recognition. The focus is on recognizing gestures because this is an important aspect regarding interpretation of a person's intent when he or she gives commands to a robot.The equipment used is a Kinect sensor, developed by Microsoft, attached to a moving platform. The Kinect communicates with software running on a PC through the OpenNI interface and uses the NITE middleware by PrimeSense.The results of this thesis are: - a broad literature study presenting the state of the art of gesture recognition - a system which handles the problems that arise when the Kinect is non-stationary - a gesture recognizer that observes and analyzes human actionsThere are mainly two problems that are solved by the implemented system. First, user labels might be incorrectly swapped when the Kinect's standard algorithm loses track of a user for a few frames. Second, false-positive users are detected, as the Kinect is assumed stationary. Because of this, everything that moves relative to the Kinect is marked as a user. The first problem is counteracted by mapping the observed label to where it was last seen. The second problem is solved using a combination of optical flow and feature analysis.The gesture recognizer has been developed to allow robust and efficient segmentation, joint detection and gesture recognition. To achieve both high efficiency and good results, these algorithms are tailored to be used with the high quality user silhouettes detected by the Kinect. In addition, the default Kinect algorithm needs some time to initialize when a new human user is detected. The implemented gesture recognizer has no such delay.

På broen i et moderne cruise-skip kryr det av teknologiske innretninger for styring av forskjellige tekniske detaljer ved båten. Støynivået skal være lavt og utstyr som genererer unødvendig støy skal ikke forekomme. Derfor foretrekkes visuelle presentasjonssystemer som er rasjonelle og som ikke stresser mannskapet.Mesteparten av båtens tekniske systemer presenterer en helhetlig oversikt over systemet via en skjerm, og muligens et pekredskap/tastatur oppe på broen.Ettersom moderne skip i dag er meget høyteknologiske resulterer dette i et stort antall systemer med tilhørende informasjonspresentasjonssystemer som alle krever oppmerksomhet fra tid til annen.Autronica som ledene aktør innenfor branndeteksjon ønsker å se nærmere på alternative måter å skaffe en rask og helhetlig oversikt over deres system. Oppgaven tar for seg et eksperiment hvor det studeres om det er mulig å presentere store datamengder ved å påtrykke spesielle parametere til et komplekst dynamisk system.

The Department of Engineering Cybernetics at the Norwegian University of Science andTechnology established the Unmanned Vehicle Laboratory fall 2010. The goal is to havestudents develop a fully functional autonomous aerial vehicle over time as part of projects and master’s theses. A range of projects were carried out fall 2010, among others the report General Platform for Unmanned Autonomous Systems was written on the topic of hardware, operating systems and peripheral interfacing.This master’s thesis continues where the previous report left suggestions for further work, and covers the topics of a software framework, sensor error detection, actuator and sensor interfacing, that is now part of the autonomous flight system.A highly modular software framework has been constructed, applicable far beyond theunmanned vehicle domain. Due to the high level of encapsulation and modularity it isespecially valuable in projects where there is a high mobility of the workforce, such as student projects and theses. It acts as a middleware layer, with language independent, separately compilable modules, communicating with one another to achieve the desired functionality.To prevent unrealistic or erroneous sensor readings from spreading through the system, a software detection unit catches signal anomalies based on statistics and alerts subscribing modules. The algorithm has been interfaced into the software framework, and is applicable to numerous sensors.Hardware was designed, constructed and tested to handle sensor interfacing, power supply demands and real-time critical actions such as actuator control. The design is performed from an aerial vehicle application point of view, but general to such an extent that is usable in a wide range of autonomous crafts.The framework, filter and hardware are merged together and tested on an embedded system, verifying the system functionality with a feedback loop from measurements to actuators. Utilizing the previous work along with all three elements of this thesis, a fully functional system for vehicle control is achieved.