Abstract This work addresses the problems related to three-dimensional modeling of scenes and objects and model evaluation. The work is divided into four main parts. At first, the work concentrates on purely image-based reconstruction while the second part presents a modeling pipeline based on an active depth sensor. Then, the work introduces methods for producing surface meshes from point clouds, and finally, a novel approach for model evaluation is presented. In the first part, this work proposes a multi-view stereo (MVS) reconstruction method that takes a set of images as an input and outputs a model represented as a point cloud. The method is based on match propagation, where a set of initial corresponding points between images is expanded iteratively into larger regions by searching new correspondences in the spatial neighborhood of the existing ones. The expansion is implemented using a best-first strategy, where the most reliable match is always expanded first. The method produces comparable results with the state-of-the-art but significantly faster. In the second part, this work presents a method that merges a sequence of depth maps into a single non-redundant point cloud. In the areas, where the depth maps overlap, the method fuses points together by giving more weight to points which seem to be more reliable. The method overcomes its predecessor both in accuracy and robustness. In addition, this part introduces a method for depth camera calibration. The method develops on an existing calibration approach which was originally designed for the first generation Microsoft Kinect device. The third part of the thesis addresses the problem of converting the point clouds to surface meshes. The work briefly reviews two well-known approaches and compares their ability to produce sparse mesh models without sacrificing accuracy. Finally, the fourth part of this work describes the development of a novel approach for performance evaluation of reconstruction algorithms. In addition to the accuracy and completeness, which are the metrics commonly used in existing evaluation benchmarks, the method also takes the compactness of the models into account. The metric enables the evaluation of the accuracy-compactness trade-off of the models. / Tiivistelmä Tässä työssä käsitellään näkymän tai esineen kolmiulotteista mallintamista ja tulosten laadun arviointia. Työ on jaettu neljään osaan. Ensiksi keskitytään pelkästään valokuvia hyödyntävään mallinnukseen ja sitten esitellään menetelmä syvyyskamerapohjaiseen mallinnukseen. Kolmas osa kuvaa menetelmiä verkkomallien luomiseen pistepilvestä ja lopuksi esitellään menetelmä mallien laadun arviointiin. Ensimmäisessä osassa esitellään usean kuvan stereoon perustuva mallinnusmenetelmä, joka saa syötteenä joukon valokuvia ja tuottaa kuvissa näkyvästä kohteesta pistepilvimallin. Menetelmä perustuu vastinpisteiden laajennukseen, jossa kuvien välisiä pistevastaavuuksia laajennetaan iteratiivisesti suuremmiksi vastinalueiksi hakemalla uusia vastinpistepareja jo löydettyjen läheisyydestä. Laajennus käyttää paras ensin -menetelmää, jossa luotettavin pistevastaavuus laajennetaan aina ensin. Menetelmä tuottaa vertailukelpoisia tuloksia johtaviin menetelmiin verrattuna, mutta merkittävästi nopeammin. Toisessa osassa esitellään menetelmä, joka yhdistää joukon syvyyskameralla kaapattuja syvyyskarttoja yhdeksi pistepilveksi. Alueilla, jotka sisältävät syvyysmittauksia useasta syvyyskartasta, päällekkäiset mittaukset yhdistetään painottamalla luotettavammalta vaikuttavaa mittausta. Menetelmä on tarkempi kuin edeltäjänsä ja toimii paremmin kohinaisemmalla datalla. Lisäksi tässä osassa esitellään menetelmä syvyyskameran kalibrointiin. Menetelmä kehittää jo olemassa olevaa kalibrointityökalua, joka alun perin kehitettiin ensimmäisen sukupolven Microsoft Kinect laitteelle. Väitöskirjan kolmas osa käsittelee pintamallin luomista pistepilvestä. Työ esittelee kaksi hyvin tunnettua menetelmää ja vertailee niiden kykyä luoda harvoja, mutta edelleen tarkkoja malleja. Lopuksi esitellään uudenlainen menetelmä mallinnusmenetelmien arviointiin. Tarkkuuden ja kattavuuden lisäksi, jotka ovat yleisimmät arvioinnissa käytetyt metriikat, menetelmä ottaa huomioon myös mallin pistetiheyden. Metriikan avulla on mahdollista arvioida kompromissia mallin tarkkuuden ja tiheyden välillä.

Abstract Gestures are present in most daily human activities and automatic gestures analysis is a significant topic with the goal of enabling the interaction between humans and computers as natural as the communication between humans. From a computer vision perspective, a gesture analysis system is typically composed of two stages, the low-level stage for human motion detection and the high-level stage for understanding human gestures. Therefore, this thesis contributes to the research on gesture analysis from two aspects, 1) Detection: human motion segmentation from video sequences, and 2) Understanding: gesture cues extraction and recognition. In the first part of this thesis, two sparse signal recovery based human motion detection methods are presented. In real videos the foreground (human motions) pixels are often not randomly distributed but have the group properties in both spatial and temporal domains. Based on this observation, a spatio-temporal group sparsity recovery model is proposed, which explicitly consider the foreground pixels' group clustering priors of spatial coherence and temporal contiguity. Moreover, a pixel should be considered as a multi-channel signal. Namely, if a pixel is equal to the adjacent ones that means all the three RGB coefficients should be equal. Motivated by this observation, a multi-channel fused Lasso regularizer is developed to explore the smoothness of multi-channels signals. In the second part of this thesis, two human gesture recognition methods are presented to resolve the issue of temporal dynamics, which is crucial to the interpretation of the observed gestures. In the first study, a gesture skeletal sequence is characterized by a trajectory on a Riemannian manifold. Then, a time-warping invariant metric on the Riemannian manifold is proposed. Furthermore, a sparse coding for skeletal trajectories is presented by explicitly considering the labelling information, with the aim to enforcing the discriminant validity of the dictionary. In the second work, based on the observation that a gesture is a time series with distinctly defined phases, a low-rank matrix decomposition model is proposed to build temporal compositions of gestures. In this way, a more appropriate alignment of hidden states for a hidden Markov model can be achieved. / Tiivistelmä Eleet ovat läsnä useimmissa päivittäisissä ihmisen toiminnoissa. Automaattista eleiden analyysia tarvitaan laitteiden ja ihmisten välisestä vuorovaikutuksesta parantamiseksi ja tavoitteena on yhtä luonnollinen vuorovaikutus kuin ihmisten välinen vuorovaikutus. Konenäön näkökulmasta eleiden analyysijärjestelmä koostuu ihmisen liikkeiden havainnoinnista ja eleiden tunnistamisesta. Tämä väitöskirjatyö edistää eleanalyysin-tutkimusta erityisesti kahdesta näkökulmasta: 1) Havainnointi - ihmisen liikkeiden segmentointi videosekvenssistä. 2) Ymmärtäminen - elemarkkerien erottaminen ja tunnistaminen. Väitöskirjan ensimmäinen osa esittelee kaksi liikkeen havainnointi menetelmää, jotka perustuvat harvan signaalin rekonstruktioon. Videokuvan etualan (ihmisen liikkeet) pikselit eivät yleensä ole satunnaisesti jakautuneita vaan niillä toisistaan riippuvia ominaisuuksia spatiaali- ja aikatasolla tarkasteltuna. Tähän havaintoon perustuen esitellään spatiaalis-ajallinen harva rekonstruktiomalli, joka käsittää etualan pikseleiden klusteroinnin spatiaalisen koherenssin ja ajallisen jatkuvuuden perusteella. Lisäksi tehdään oletus, että pikseli on monikanavainen signaali (RGB-väriarvot). Pikselin ollessa samankaltainen vieruspikseliensä kanssa myös niiden värikanava-arvot ovat samankaltaisia. Havaintoon nojautuen kehitettiin kanavat yhdistävä lasso-regularisointi, joka mahdollistaa monikanavaisen signaalin tasaisuuden tutkimisen. Väitöskirjan toisessa osassa esitellään kaksi menetelmää ihmisen eleiden tunnistamiseksi. Menetelmiä voidaan käyttää eleiden ajallisen dynamiikan ongelmien (eleiden nopeuden vaihtelu) ratkaisemiseksi, mikä on ensiarvoisen tärkeää havainnoitujen eleiden oikein tulkitsemiseksi. Ensimmäisessä menetelmässä ele kuvataan luurankomallin liikeratana Riemannin monistossa (Riemannian manifold), joka hyödyntää aikavääristymille sietoista metriikkaa. Lisäksi esitellään harvakoodaus (sparse coding) luurankomallien liikeradoille. Harvakoodaus perustuu nimiöintitietoon, jonka tavoitteena on varmistua koodisanaston keskinäisestä riippumattomuudesta. Toisen menetelmän lähtökohtana on havainto, että ele on ajallinen sarja selkeästi määriteltäviä vaiheita. Vaiheiden yhdistämiseen ehdotetaan matala-asteista matriisihajotelmamallia, jotta piilotilat voidaan sovittaa paremmin Markovin piilomalliin (Hidden Markov Model).

Abstract In this thesis oxidation of a pure and alloyed Cu surface was studied using density functional theory based calculations. The mechanism and energetics behind experimentally observed missing row reconstruction on a pure Cu(100) surface were studied. Examination of the formation of the missing row was approached by studying the profitableness of vacancy formation to the surface at oxygen coverages below and equal to 0.5 ML. However, an ideal surface was in all cases more favourable in energy than vacancy included structures. Therefore an additional Cu atom was added to the simulation cell to promote vacancy formation. A consequence of this on-surface Cu addition was the identifying of a new energetically favoured Cu-O-Cu chain formation. This newly identified structure is a possible transition state in the path from an ideal surface to a reconstructed one. Copper(I)oxide formation through sub-surface adsorption was examined on a reconstructed Cu(100) surface. At low O coverage on-surface adsorption was found to be much more favoured than adsorption on sub-surface sites. However, when coverage increased to 0.75 ML structures with both on-surface and sub-surface adsorbates possessed the lowest energy. Furthermore, the diffusion barriers to the sub-surface adsorption sites were low. Both these facts support the conclusion that the transition from the reconstructed missing row structure to the copper(I)oxide takes place without any large energy effort. The adsorption induced segregation of copper on a Ag/Cu(100) surface was studied by calculating the surface energies of slabs where the silver layer was positioned at different depths with varying O coverage. In addition, the segregation energies were also calculated with two Ag compositions. It was discovered that without oxygen adsorbates silver atoms lying on top of the surface were favoured but the surface segregation probability of Cu increases with increasing O coverage. The same calculation procedure was expanded to study the segregation probability of five additional alloy metals with a Cu surface. Without oxygen present Mg, Al and Zn possess a weak tendency to segregate to the surface, however, V and Cr prefer to stay in the bulk. The addition of oxygen adsorbates on the surface causes the segregation of all the dopants to the top of the surface. With the Al dopant the effect of the surface orientation and the oxygen coverage were also studied. The bonds between adsorbates and the surface were strongest with the densest surface, (111), and weakest with the most opened surface, (110). Furthermore, the enrichment probability was largest in the case of the (111) surface and lowest with the (110) surface. Probability increased with increasing oxygen coverage. / Tiivistelmä Tässä väitöstyössä on tutkittu puhtaan ja seostetun kuparipinnan hapettumista tiheysfunktionaaliteoriaan perustuvilla laskuilla. Kokeellisesti Cu(100) pinnan on havaittu rekonstruoituvan hapen vaikutuksesta. Rekonstruoitumisen aikana ideaalisesta pinnasta irtoaa joka neljäs pintakuparirivi ja muodostuu niin kutsuttu missing row- rakenne. Tämän rakenteen muodostumismekanismia ja muodostumiseen kuluvaa energiaa tutkittiin vertaamalla pintavakansillisten rakenteiden pintaenergioita vastaaviin ideaalipinnan arvoihin vaihtelevalla happipeitolla. Koska ideaalipinta oli kaikilla peittoasteilla energeettisesti suotuisampi kuin vakanssirakenne, yksittäisiä kupariatomeja lisättiin pinnalle stabiloimaan vakanssirakenteita. Kuparilisäyksen seurauksena löydettiin uusi energeettisesti edullinen Cu-O-Cu ketjurakenne. Tämä rakenne on mahdollinen ideaalisen ja rekonstruoituneen pinnan välinen siirtymätila. Kupari(I)oksidin muodostumista pinnanalaisen happiadsorption kautta tutkittiin rekonstruoituneella Cu(100) pinnalla. Pienillä happi-peittoasteilla pinnanpäällisen adsorption havaittiin olevan huomattavasti suotuisampaa kuin pinnanalaisen adsorption. Kuitenkin happi peiton kasvaessa 0,75 ML:iin rakenteet, joissa oli adsorbaatteja sekä pinnan alla että päällä, tulivat muita suotuisimmiksi. Myös lasketut energiavallit hapen diffuusiolle pinnalta pinnan alle olivat hyvin pieniä. Kaikki tulokset viittaavat siihen, että rekonstruoitunut Cu(100) pinta hapettuu helposti kupari(I)oksidiksi. Happiadsorption aikaansaamaa kuparin rikastumista (segregaatio) hopeakupariseosmetallin pinnalle tutkittiin laskemalla vaihtelevilla happipeitoilla pintaenergiat kuparipinnoille, joissa ensimmäinen, toinen ja kolmas kuparikerros oli korvattu hopealla. Myös segregaatioenergiat laskettiin kahdella eri seoskoostumuksella. Saatujen tulosten mukaan ilman happiadsoptiota hopea segregoituu pinnalle, kun taas hapen peittoasteen kasvaessa kupari rikastuu pinnalle. Samaa tutkimustapaa käytettiin myös tarkasteltaessa viiden muun seosmetallin segregaatiotodennäköisyyttä kuparipinnalla. Ilman pintahappea magnesiumilla, alumiinilla ja sinkillä oli heikko taipumus rikastua pinnalle, kun taas vanadium ja kromi pysyivät syvemmällä metallissa. Sen sijaan happea lisättäessä kaikki tutkitut seosmetallit pyrkivät siirtymään kohti pintaa. Myös hapen peiton sekä pintaorientaation vaikutusta segregaatioon tutkittiin hopeakuparipinnalla. Sekä happiadsorbaattien ja pinnan välinen sidos että segregaatiotodennäköisyys oli sitä voimakkaampaa, mitä tiheämmästä pinnasta oli kyse. Segregaatiotodennäköisyys kasvoi pinta-adsorption lisääntyessä.