Abstract During the last few decades, digital watermarking techniques have gained a lot of interest. Such techniques enable hiding imperceptible information to images; information which can be extracted later from those images. As a result, digital watermarking techniques have many interesting applications for example in Internet distribution. Contents such as images are today manipulated mainly in digital form; thus, traditionally, the focus of watermarking research has been the digital domain. However, a vast amount of images will still appear in some physical format such as in books, posters or labels, and there are a number of possible applications of hidden information also in image printouts. In this case, an additional level of challenge is introduced, as the watermarking technique should be robust to extraction from printed output. In this thesis, methods are developed, where a watermarked image appears in a printout and the invisible information can be later extracted using a scanner or mobile phone camera and watermark extraction software. In these cases, the watermarking method has to be carefully designed because both the printing and capturing process cause distortions that make watermark extraction challenging. The focus of the study is on developing blind, multibit watermarking techniques, where the robustness of the algorithms is tested in an office environment, using standard office equipment. The possible effect of the background of the printed images, as well as compound attacks, are both paid particular attention to, since these are considered important in practical applications. The main objective is thus to provide technical means to achieve high robustness and to develop watermarking methods robust to printing and scanning process. A secondary objective is to develop methods where the extraction is possible with the aid of a mobile phone camera. The main contributions of the thesis are: (1) Methods to increase watermark extraction robustness with perceptual weighting; (2) Methods to robustly synchronize the extraction of a multibit message from a printout; (3) A method to encode a multibit message, utilizing directed periodic patterns and a method to decode the message after attacks; (4) A demonstrator of an interactive poster application and a key based robust and secure identification method from a printout. / Tiivistelmä Digitaalinen vesileimaus on parin viime vuosikymmenen aikana runsaasti huomiota saanut tekniikka, jonka avulla kuviin voidaan piilottaa aistein havaitsematonta tietoa. Tämä tieto voidaan myöhemmin poimia esiin, minkä vuoksi sovelluskohteita esimerkiksi Internetin kautta tapahtuvassa jakelussa on useita. Perinteisesti vesileimaustekniikat keskittyvät pelkästään digitaalisessa muodossa pysyvään tietoon. Kuitenkin iso osa kuvainformaatiosta saa yhä vielä myös fyysisen muodon esimerkiksi kirjoissa, julisteissa ja etiketeissä. Myös vesileimauksella on useita sovelluskohteita painettujen kuvienkin osalta. Vesileimausta ajatellen painatus tuo kumminkin omat erityishaasteensa vesileimaustekniikoille. Tässä väitöskirjassa kehitetään menetelmiä, jotka mahdollistavat piilotetun tiedon säilymisen painetussa kuvassa. Piilotettu tieto voidaan lukea käyttämällä skanneria tai matkapuhelimen kameraa tiedon digitalisointiin. Digitalisoinnin jälkeen vesileimausohjelma osaa lukea piilotetun tiedon. Vesileimauksen osalta haasteellisuus tulee vääristymistä, joita sekä kuvien tulostus sekä digitalisointi aiheuttavat. Väitöstyössä keskitytään monibittisiin vesileimaustekniikoihin, joissa alkuperäistä kuvaa ei tarvita vesileimaa poimittaessa. Väitöstyössä kehitetyt menetelmät on testattu toimistoympäristössä standardi toimistolaitteita käyttäen. Käytännön sovelluksia ajatellen, testeissä on kiinnitetty huomiota myös yhdistelmähyökkäysten sekä painetun kuvan taustan vaikutukseen algoritmin robustisuudelle. Ensisijainen tavoite on kehittää menetelmiä, jotka kestävät printtaus ja skannaus operaation. Toinen tavoite on tiedon kestävyys luettaessa tietoa matkapuhelimen kameran avulla. Väitöskirjassa tarkastellaan ja kehitellään ratkaisuja neljälle eri osa-alueelle: (1) Ihmisaisteja mallintavien menetelmien käyttö vesileimauksen kestävyyden lisäämiseksi; (2) Robusti synkronointi luettaessa monibittistä tietoa painotuotteesta; (3) Suunnattuja jaksollisia kuvioita käyttävä menetelmä, joka mahdollistaa monibittisen tiedon koodaamisen ja dekoodaamisen hyökkäysten jälkeen; (4) Sovellustasolla tarkastellaan kahta pääsovellusta: interaktiivinen juliste sekä kestävä ja turvattu avaimen avulla tapahtuva painotuotteen identifiointi.

Abstract There are many reasons for sharing a photo of a printout. The intention might be to copy the image for personal use or experience an interesting ad with friends. With watermarking, the images can also carry side information and with specialized watermarking methods the information can be read with a mobile device camera. In digital image watermarking, information is hidden on an image in such a way that a computer can read the hidden information but a human cannot discern it. The aim of this thesis is to research the process in which the watermarked image is printed and then read with a digital camera or a camera phone from the printed image. In order to survive the process, the watermark must survive multiple attacks. Some of the attacks occur during printing as the image is halftoned, others when the image is recaptured with a camera, in which case the camera might be rotated around multiple axis. These attacks may cause a loss of synchronization of the watermark and make the extraction impossible. The main objective of the thesis is thus to develop methods that are robust to the printing and capturing process, especially for the situations when the capturing angle is large. This problem contains the circumstances in which the synchronization is lost and the camera lens is not focused properly. In this work, research on digital image watermarking, computational photography and mobile phones are combined. The contributions of this thesis lie in two main parts: First, two print-cam robust methods are proposed, one based on a frame and the other on autocorrelation for synchronization. These two are then used as a basis for an algorithm that recovers the watermark even after camera rotation and image blurring caused by the narrow depth of focus of the lens. The algorithm is later refined and implemented for a mobile phone. The results show that the method is highly robust to capturing the watermark without errors in angles up to 60° with processing times acceptable for real-life applications. / Tiivistelmä On olemassa useita syitä tulosteesta otetun valokuvan jakamiseen. Aikomuksena voi olla kopioida kuva omaan käyttöön tai jakaa mielenkiintoinen ilmoitus ystävien kanssa. Vesileimauksessa kuvaan voidaan sijoittaa lisätietoa ja erityisillä menetelmillä tieto voidaan myöhemmin lukea mobiililaitteen kameralla. Digitaalisten kuvien vesileimauksen tavoite on piilottaa tietoa kuvaan siten, että tietokone pystyy lukemaan piilotetun informaation, siinä missä ihminen ei pysty sitä havaitsemaan. Tämän väitöskirjan tavoitteena on tutkia prosessia, missä vesileimattu kuva tulostetaan ja vesileima luetaan digitaalisella kameralla tai kamerapuhelimella tulosteesta. Selviytyäkseen tästä prosessista, vesileiman on kestettävä useita hyökkäyksiä. Osa hyökkäyksistä esiintyy tulostuksen aikana, kun kuva rasteroidaan, ja osa valokuvatessa, jolloin kamera voi olla kiertynyt. Näiden hyökkäysten seurauksena vesileiman synkronointi voi kadota, jolloin vesileiman lukeminen ei enää onnistu. Väitöskirjan päätavoitteena on siis kehittää tulostuksen ja valokuvauksen kestäviä vesileimausmenetelmiä erityisesti niitä tilanteita varten, jolloin kuvauskulma on suuri. Tämä ongelma sisältää olosuhteet, joissa synkronointi menetetään, ja kun kameran linssi ei ole kohdistunut oikein. Työssä yhdistetään digitaalinen kuvien vesileimaus, laskennallinen valokuvaus ja matkapuhelimet. Tutkimus voidaan jakaa kahteen osa-alueeseen: Ensimmäisessä kehitetään kaksi tulostuksen ja valokuvauksen kestävää menetelmää, joista toinen perustuu kehykseen ja toinen autokorrelaatioon synkronoinnin säilyttämiseksi. Toisessa osassa näitä menetelmiä hyödynnetään algoritmissa, joka kykenee vesileiman lukemiseen myös silloin kun kameran kiertyminen on voimakasta ja objektiivin kapea tarkennussyvyys aiheuttaa sumeita alueita kuvassa. Tutkimustyön lopussa tätä algoritmia viedään eteenpäin ja testataan matkapuhelinalustalla. Tulokset osoittavat menetelmän kestävän kameran kiertymistä 60°:seen saakka suoritusajoilla, jotka ovat hyväksyttäviä sovelluskäyttöön.