Abstract Human-computer interaction (HCI) is an integral part of modern society. Since the number of technical devices around us is increasing, the way of interacting is changing as well. The systems of the future should be proactive, so that they can adapt and adjust to people’s movements and actions without requiring any conscious control. Visual information plays a vital role in this kind of implicit human-computer interaction due to its expressiveness. It is therefore obvious that cameras equipped with computing power and computer vision techniques provide an unobtrusive way of analyzing human intentions. Despite its many advantages, use of computer vision is not always straightforward. Typically, every application sets specific requirements for the methods that can be applied. Given these motivations, this thesis aims to develop new vision-based methods and systems that can be utilized in proactive applications. As a case study, the thesis covers two different proactive computer vision applications. Firstly, an automated system that takes care of both the selection and switching of the video source in a distance education situation is presented. The system is further extended with a pan-tilt-zoom camera system that is designed to track the teacher when s/he walks at the front of the classroom. The second proactive application is targeted at mobile devices. The system presented recognizes landscape scenes which can be utilized in automatic shooting mode selection. Distributed smart cameras have been an active area of research in recent years, and they play an important role in many applications. Most of the research has focused on either the computer vision algorithms or on a specific implementation. There has been less activity on building generic frameworks which allow different algorithms, sensors and distribution methods to be used. In this field, the thesis presents an open and expendable framework for development of distributed sensor networks with an emphasis on peer-to-peer networking. From the methodological point of view, the thesis makes its contribution to the field of multi-object tracking. The method presented utilizes soft assignment to associate the measurements to the objects tracked. In addition, the thesis also presents two different ways of extracting location measurements from images. As a result, the method proposed provides location and trajectories of multiple objects which can be utilized in proactive applications. / Tiivistelmä Ihmisen ja eri laitteiden välisellä vuorovaikutuksella on keskeinen osa nyky-yhteiskunnassa. Teknisten laitteiden lisääntymisen myötä vuorovaikutustavat ovat myös muuttumassa. Tulevaisuuden järjestelmien tulisi olla proaktiivisia, jotta ne voisivat sopeutua ihmisten liikkeisiin ja toimintoihin ilman tietoista ohjausta. Ilmaisuvoimansa ansiosta visuaalisella tiedolla on keskeinen rooli tällaisessa epäsuorassa ihminen-tietokone –vuorovaikutuksessa. Tämän vuoksi on selvää, että kamerat yhdessä laskentaresurssien ja konenäkömenetelmien kanssa tarjoavat huomaamattoman tavan ihmisten toiminnan analysointiin. Lukuisista eduistaan huolimatta konenäön soveltaminen ei ole aina suoraviivaista. Yleensä jokainen sovellus asettaa erikoisvaatimuksia käytettäville menetelmille. Tästä syystä väitöskirjassa on päämääränä kehittää uusia kuvatietoon perustuvia menetelmiä ja järjestelmiä, joita voidaan hyödyntää proaktiivisissa sovelluksissa. Tässä väitöskirjassa esitellään kaksi proaktiivista sovellusta, jotka molemmat hyödyntävät tietokonenäköä. Ensimmäinen sovellus on etäopetusjärjestelmä, joka valitsee ja vaihtaa kuvalähteen automaattisesti. Järjestelmään esitellään myös ohjattavaan kameraan perustava laajennus, jonka avulla opettajaa voidaan seurata hänen liikkuessaan eri puolilla luokkahuonetta. Toinen proaktiivisen tekniikan sovellus on tarkoitettu mobiililaitteisiin. Kehitetty järjestelmä kykenee tunnistamaan maisemakuvat, jolloin kameran kuvaustila voidaan asettaa automaattisesti. Monissa sovelluksissa on tarpeen käyttää useampia kameroita. Tämän seurauksena eri puolille ympäristöä sijoitettavat älykkäät kamerat ovat olleet viime vuosina erityisen kiinnostuksen kohteena. Suurin osa kehityksestä on kuitenkin keskittynyt lähinnä eri konenäköalgoritmeihin tai yksittäisiin sovelluksiin. Sen sijaan panostukset yleisiin ja helposti laajennettaviin ratkaisuihin, jotka mahdollistavat erilaisten menetelmien, sensoreiden ja tiedonvälityskanavien käyttämisen, ovat olleet vähäisempiä. Tilanteen parantamiseksi väitöskirjassa esitellään hajautettujen sensoriverkkojen kehitykseen tarkoitettu avoin ja laajennettavissa oleva ohjelmistorunko. Menetelmien osalta tässä väitöskirjassa keskitytään useiden kohteiden seurantaan. Kehitetty seurantamenetelmä yhdistää saadut paikkamittaukset seurattaviin kohteisiin siten, että jokaiselle mittaukselle lasketaan todennäköisyys, jolla se kuuluu jokaiseen yksittäiseen seurattavaan kohteeseen. Seurantaongelman lisäksi työssä esitellään kaksi erilaista tapaa, joilla kohteiden paikka kuvassa voidaan määrittää. Esiteltyä kokonaisuutta voidaan hyödyntää proaktiivisissa sovelluksissa, jotka tarvitsevat usean kohteen paikkatiedon tai kohteiden kulkeman reitin.

Abstract Image acquisition devices are always subject to physical limitations that often manifest as distortions in the appearance of the captured image. The most common types of distortions can be divided into two categories: geometric and radiometric distortions. Examples of the latter ones are: changes in brightness, contrast, or illumination, sensor noise and blur. Since image blur can have many different causes, it is usually not convenient and also computationally expensive to develop ad hoc algorithms to correct each specific type of blur. Instead, it is often possible to extract a blur-invariant representation of the image, and utilize such information to make algorithms that are insensitive to blur. The work presented here mainly focuses on developing techniques for the extraction and the application of blur-invariant operators. This thesis contains several contributions. First, we propose a generalized framework based on group theory to constructively generate complete blur-invariants. We construct novel operators that are invariant to a large family of blurs occurring in real scenarios: namely, those blurs that can be modeled by a convolution with a point-spread function having rotational symmetry, or combined rotational and axial symmetry. A second important contribution is represented by the utilization of such operators to develop an algorithm for blur-invariant translational image registration. This algorithm is experimentally demonstrated to be more robust than other state-of-the-art registration techniques. The blur-invariant registration algorithm is then used as pre-processing steps to several restoration methods based on image fusion, like depth-of-field extension, and multi-channel blind deconvolution. All the described techniques are then re-interpreted as a particular instance of Wiener deconvolution filtering. Thus, the third main contribution is the generalization of the blur-invariants and the registration techniques to color images, by using respectively a representation of color images based on quaternions, and the quaternion Wiener filter. This leads to the development of a blur-and-noise-robust registration algorithm for color images. We observe experimentally a significant increase in performance in both color texture recognition, and in blurred color image registration. / Tiivistelmä Kuvauslaitteet ovat aina fyysisten olosuhteiden rajoittamia, mikä usein ilmenee tallennetun kuvan ilmiasun vääristyminä. Yleisimmät vääristymätyypit voidaan jakaa kahteen kategoriaan: geometrisiin ja radiometrisiin distortioihin. Jälkimmäisestä esimerkkejä ovat kirkkauden, kontrastin ja valon laadun muutokset sekä sensorin kohina ja kuvan sumeus. Koska kuvan sumeus voi johtua monista tekijöistä, yleensä ei ole tarkoitukseen sopivaa eikä laskennallisesti kannattavaa kehittää ad hoc algoritmeja erityyppisten sumeuksien korjaamiseen. Sitä vastoin on mahdollista erottaa kuvasta sumeuden invariantin edustuma ja käyttää tätä tietoa sumeudelle epäherkkien algoritmien tuottamiseen. Tässä väitöskirjassa keskitytään esittämään, millaisia eri tekniikoita voidaan käyttää sumeuden invarianttien operaattoreiden muodostamiseen ja sovellusten kehittämiseen. Tämä opinnäyte sisältää useammanlaista tieteellistä vaikuttavuutta. Ensiksi, väitöskirjassa esitellään ryhmäteoriaan perustuva yleinen viitekehys, jolla voidaan generoida sumeuden invariantteja. Konstruoimme uudentyyppisiä operaattoreita, jotka ovat monenlaiselle kuvaustilanteessa ilmenevälle sumeudelle invariantteja. Kyseessä ovat ne rotationaalisesti (ja/tai aksiaalisesti) symmetrisen sumeuden lajit, jotka voidaan mallintaa pistelähteen hajaantumisen funktion (PSF) konvoluutiolla. Toinen tämän väitöskirjan tärkeä tutkimuksellinen anti on esitettyjen sumeuden invarianttien operaattoreiden hyödyntäminen algoritmin kehittelyssä, joka on käytössä translatorisen kuvan rekisteröinnissä. Tällainen algoritmi on tässä tutkimuksessa osoitettu kokeellisesti johtavia kuvien rekisteröintitekniikoita robustimmaksi. Sumeuden invariantin rekisteröinnin algoritmia on käytetty esiprosessointina tässä tutkimuksessa useissa kuvien restaurointimenetelmissä, jotka perustuvat kuvan fuusioon, kuten syväterävyysaluelaajennus ja monikanavainen dekonvoluutio. Kaikki kuvatut tekniikat ovat lopulta uudelleen tulkittu erityistapauksena Wienerin dekonvoluution suodattimesta. Näin ollen tutkimuksen kolmas saavutus on sumeuden invarianttien ja rekisteröintiteknikoiden yleistäminen värikuviin käyttämällä värikuvien kvaternion edustumaa sekä Wienerin kvaternion suodatinta. Havaitsemme kokeellisesti merkittävän parannuksen sekä väritekstuurin tunnistuksessa että sumean kuvan rekisteröinnissä.