Le tatouage invisible d’images d’identité imprimées sur un support en plastique est un problème difficile qui intéresse le monde industriel. Dans cette étude, nous avons développé un algorithme de tatouage robuste aux diverses attaques présentes dans ce cas. Ces attaques sont liées aux processus d’impression/numérisation sur le support plastique ainsi qu’aux dégradations qu’une carte plastique peut rencontrer le long de sa durée de vie. La méthode de tatouage opère dans le domaine de Fourier car cette transformée présente des propriétés d’invariances aux attaques géométriques globales. Une méthode préventive consiste en un prétraitement de l’image originale avant le processus d’insertion qui réduit la variance du vecteur support de la marque. Une méthode corrective comporte deux contre-attaques corrigeant le flou et les variations colorimétriques. Pour une probabilité de fausse alarme de 10⁻⁴, nous avons obtenu une amélioration moyenne de 22% par rapport à la méthode de référence lorsque seule la méthode préventive est utilisée. La combinaison de la méthode préventive avec la méthode corrective correspond à un taux de détection supérieur à 99%. L’algorithme de détection prends moins de 1 seconde pour à une image de 512×512 pixels avec un ordinateur classique ce qui est compatible avec l’application industrielle visée. / Invisible watermarking for ID images printed on plastic card support is a challenging problem that interests the industrial world. In this study, we developed a watermarking algorithm robust to various attacks present in this case. These attacks are mainly related to the print/scan process on the plastic support and the degradations that an ID card can encounter along its lifetime. The watermarking scheme operates in the Fourier domain as this transform has invariance properties against global geometrical transformations. A preventive method consists of pre-processing the host image before the embedding process that reduces the variance of the embeddable vector. A curative method comprises two counterattacks dealing with blurring and color variations. For a false alarm probability of 10⁻⁴, we obtained an average improvement of 22% over the reference method when only preventative method is used. The combination of the preventive and curative methods leads to a detection rate greater than 99%. The detection algorithm takes less than 1 second for a 512×512 image with a conventional computer, which is compatible with the industrial application in question.

The thesis presents research on multiobjective optimization based on memetic computing and its applications in engineering. We have introduced a framework for adaptive multiobjective memetic optimization algorithms (AMMOA) with an information theoretic criterion for guiding the selection, clustering, and local refinements. A robust stopping criterion for AMMOA has also been introduced to solve non-linear and large-scale optimization problems. The framework has been implemented for different benchmark test problems with remarkable results. This thesis also presents two applications of these algorithms. First, an optimal image data hiding technique has been formulated as a multiobjective optimization problem with conflicting objectives. In particular, trade-off factors in designing an optimal image data hiding are investigated to maximize the quality of watermarked images and the robustness of watermark. With the fixed size of a logo watermark, there is a conflict between these two objectives, thus a multiobjective optimization problem is introduced. We propose to use a hybrid between general regression neural networks (GRNN) and the adaptive multiobjective memetic optimization algorithm (AMMOA) to solve this challenging problem. This novel image data hiding approach has been implemented for many different test natural images with remarkable robustness and transparency of the embedded logo watermark. We also introduce a perceptual measure based on the relative Rényi information spectrum to evaluate the quality of watermarked images. The second application is the problem of joint spectrum sensing and power control optimization for a multichannel, multiple-user cognitive radio network. We investigated trade-off factors in designing efficient spectrum sensing techniques to maximize the throughput and minimize the interference. To maximize the throughput of secondary users and minimize the interference to primary users, we propose a joint determination of the sensing and transmission parameters of the secondary users, such as sensing times, decision threshold vectors, and power allocation vectors. There is a conflict between these two objectives, thus a multiobjective optimization problem is used again in the form of AMMOA. This algorithm learns to find optimal spectrum sensing times, decision threshold vectors, and power allocation vectors to maximize the averaged opportunistic throughput and minimize the averaged interference to the cognitive radio network. / February 2016

Abstract During the last few decades, digital watermarking techniques have gained a lot of interest. Such techniques enable hiding imperceptible information to images; information which can be extracted later from those images. As a result, digital watermarking techniques have many interesting applications for example in Internet distribution. Contents such as images are today manipulated mainly in digital form; thus, traditionally, the focus of watermarking research has been the digital domain. However, a vast amount of images will still appear in some physical format such as in books, posters or labels, and there are a number of possible applications of hidden information also in image printouts. In this case, an additional level of challenge is introduced, as the watermarking technique should be robust to extraction from printed output. In this thesis, methods are developed, where a watermarked image appears in a printout and the invisible information can be later extracted using a scanner or mobile phone camera and watermark extraction software. In these cases, the watermarking method has to be carefully designed because both the printing and capturing process cause distortions that make watermark extraction challenging. The focus of the study is on developing blind, multibit watermarking techniques, where the robustness of the algorithms is tested in an office environment, using standard office equipment. The possible effect of the background of the printed images, as well as compound attacks, are both paid particular attention to, since these are considered important in practical applications. The main objective is thus to provide technical means to achieve high robustness and to develop watermarking methods robust to printing and scanning process. A secondary objective is to develop methods where the extraction is possible with the aid of a mobile phone camera. The main contributions of the thesis are: (1) Methods to increase watermark extraction robustness with perceptual weighting; (2) Methods to robustly synchronize the extraction of a multibit message from a printout; (3) A method to encode a multibit message, utilizing directed periodic patterns and a method to decode the message after attacks; (4) A demonstrator of an interactive poster application and a key based robust and secure identification method from a printout. / Tiivistelmä Digitaalinen vesileimaus on parin viime vuosikymmenen aikana runsaasti huomiota saanut tekniikka, jonka avulla kuviin voidaan piilottaa aistein havaitsematonta tietoa. Tämä tieto voidaan myöhemmin poimia esiin, minkä vuoksi sovelluskohteita esimerkiksi Internetin kautta tapahtuvassa jakelussa on useita. Perinteisesti vesileimaustekniikat keskittyvät pelkästään digitaalisessa muodossa pysyvään tietoon. Kuitenkin iso osa kuvainformaatiosta saa yhä vielä myös fyysisen muodon esimerkiksi kirjoissa, julisteissa ja etiketeissä. Myös vesileimauksella on useita sovelluskohteita painettujen kuvienkin osalta. Vesileimausta ajatellen painatus tuo kumminkin omat erityishaasteensa vesileimaustekniikoille. Tässä väitöskirjassa kehitetään menetelmiä, jotka mahdollistavat piilotetun tiedon säilymisen painetussa kuvassa. Piilotettu tieto voidaan lukea käyttämällä skanneria tai matkapuhelimen kameraa tiedon digitalisointiin. Digitalisoinnin jälkeen vesileimausohjelma osaa lukea piilotetun tiedon. Vesileimauksen osalta haasteellisuus tulee vääristymistä, joita sekä kuvien tulostus sekä digitalisointi aiheuttavat. Väitöstyössä keskitytään monibittisiin vesileimaustekniikoihin, joissa alkuperäistä kuvaa ei tarvita vesileimaa poimittaessa. Väitöstyössä kehitetyt menetelmät on testattu toimistoympäristössä standardi toimistolaitteita käyttäen. Käytännön sovelluksia ajatellen, testeissä on kiinnitetty huomiota myös yhdistelmähyökkäysten sekä painetun kuvan taustan vaikutukseen algoritmin robustisuudelle. Ensisijainen tavoite on kehittää menetelmiä, jotka kestävät printtaus ja skannaus operaation. Toinen tavoite on tiedon kestävyys luettaessa tietoa matkapuhelimen kameran avulla. Väitöskirjassa tarkastellaan ja kehitellään ratkaisuja neljälle eri osa-alueelle: (1) Ihmisaisteja mallintavien menetelmien käyttö vesileimauksen kestävyyden lisäämiseksi; (2) Robusti synkronointi luettaessa monibittistä tietoa painotuotteesta; (3) Suunnattuja jaksollisia kuvioita käyttävä menetelmä, joka mahdollistaa monibittisen tiedon koodaamisen ja dekoodaamisen hyökkäysten jälkeen; (4) Sovellustasolla tarkastellaan kahta pääsovellusta: interaktiivinen juliste sekä kestävä ja turvattu avaimen avulla tapahtuva painotuotteen identifiointi.

Abstract There are many reasons for sharing a photo of a printout. The intention might be to copy the image for personal use or experience an interesting ad with friends. With watermarking, the images can also carry side information and with specialized watermarking methods the information can be read with a mobile device camera. In digital image watermarking, information is hidden on an image in such a way that a computer can read the hidden information but a human cannot discern it. The aim of this thesis is to research the process in which the watermarked image is printed and then read with a digital camera or a camera phone from the printed image. In order to survive the process, the watermark must survive multiple attacks. Some of the attacks occur during printing as the image is halftoned, others when the image is recaptured with a camera, in which case the camera might be rotated around multiple axis. These attacks may cause a loss of synchronization of the watermark and make the extraction impossible. The main objective of the thesis is thus to develop methods that are robust to the printing and capturing process, especially for the situations when the capturing angle is large. This problem contains the circumstances in which the synchronization is lost and the camera lens is not focused properly. In this work, research on digital image watermarking, computational photography and mobile phones are combined. The contributions of this thesis lie in two main parts: First, two print-cam robust methods are proposed, one based on a frame and the other on autocorrelation for synchronization. These two are then used as a basis for an algorithm that recovers the watermark even after camera rotation and image blurring caused by the narrow depth of focus of the lens. The algorithm is later refined and implemented for a mobile phone. The results show that the method is highly robust to capturing the watermark without errors in angles up to 60° with processing times acceptable for real-life applications. / Tiivistelmä On olemassa useita syitä tulosteesta otetun valokuvan jakamiseen. Aikomuksena voi olla kopioida kuva omaan käyttöön tai jakaa mielenkiintoinen ilmoitus ystävien kanssa. Vesileimauksessa kuvaan voidaan sijoittaa lisätietoa ja erityisillä menetelmillä tieto voidaan myöhemmin lukea mobiililaitteen kameralla. Digitaalisten kuvien vesileimauksen tavoite on piilottaa tietoa kuvaan siten, että tietokone pystyy lukemaan piilotetun informaation, siinä missä ihminen ei pysty sitä havaitsemaan. Tämän väitöskirjan tavoitteena on tutkia prosessia, missä vesileimattu kuva tulostetaan ja vesileima luetaan digitaalisella kameralla tai kamerapuhelimella tulosteesta. Selviytyäkseen tästä prosessista, vesileiman on kestettävä useita hyökkäyksiä. Osa hyökkäyksistä esiintyy tulostuksen aikana, kun kuva rasteroidaan, ja osa valokuvatessa, jolloin kamera voi olla kiertynyt. Näiden hyökkäysten seurauksena vesileiman synkronointi voi kadota, jolloin vesileiman lukeminen ei enää onnistu. Väitöskirjan päätavoitteena on siis kehittää tulostuksen ja valokuvauksen kestäviä vesileimausmenetelmiä erityisesti niitä tilanteita varten, jolloin kuvauskulma on suuri. Tämä ongelma sisältää olosuhteet, joissa synkronointi menetetään, ja kun kameran linssi ei ole kohdistunut oikein. Työssä yhdistetään digitaalinen kuvien vesileimaus, laskennallinen valokuvaus ja matkapuhelimet. Tutkimus voidaan jakaa kahteen osa-alueeseen: Ensimmäisessä kehitetään kaksi tulostuksen ja valokuvauksen kestävää menetelmää, joista toinen perustuu kehykseen ja toinen autokorrelaatioon synkronoinnin säilyttämiseksi. Toisessa osassa näitä menetelmiä hyödynnetään algoritmissa, joka kykenee vesileiman lukemiseen myös silloin kun kameran kiertyminen on voimakasta ja objektiivin kapea tarkennussyvyys aiheuttaa sumeita alueita kuvassa. Tutkimustyön lopussa tätä algoritmia viedään eteenpäin ja testataan matkapuhelinalustalla. Tulokset osoittavat menetelmän kestävän kameran kiertymistä 60°:seen saakka suoritusajoilla, jotka ovat hyväksyttäviä sovelluskäyttöön.

Digital image watermarking has developed for the purpose of protecting intellectual property rights to multimedia data. The focus of this thesis is searching for an alternative solution of digital image watermarking methods. A detailed analysis of watermarking methods particularly in the frequency domain, and the modification of these methods are the main aim of this work. Improved performance in watermark extraction is one of the main goals. First, the common static image watermarking methods, possible attacks on the watermarked data and techniques for objective measurement of watermarked image quality are shortly introduced. Techniques which use the space domain for watermarking ar described in the next part of this work. It is about techniques which insert the watermark into the least significant bits of an image both in the RGB domain and in the YUV domain. The main part of the thesis depicts modified and newly developed static image watermarking methods in the frequency domain. These methods use various transforms and error-correction codes, by means of which the watermark robustness increases. All the methods developed are tested in MATLAB. Results together with tables and graphs are one part of work. The end of the thesis is devoted to a comparison of all the developed methods and their evaluation.

Η αντιστοίχιση εικόνων έχει σαν σκοπό την εύρεση γεωμετρικών και άλλων διαφορών ανάμεσα σε δύο ή περισσότερες εικόνες. Η ψηφιακή υδατογράφηση εικόνων προσφέρει κατοχύρωση των πνευματικών δικαιωμάτων, εισάγοντας στις εικόνες ένα αδιόρατο σήμα, ένα υδατογράφημα, με τέτοιο τρόπο ώστε να είναι δύσκολο να αφαιρεθεί. Η αντιστοίχιση μπορεί να αποτελέσει τμήμα της ψηφιακής υδατογράφησης, στη φάση της ανίχνευσης του υδατογραφήματος. Επιπλέον, για την ανίχνευση του υδατογραφήματος χρησιμοποιούνται παρόμοιες ή και ίδιες μετρικές ομοιότητας με αυτές που χρησιμοποιούνται στην αντιστοίχιση. Έτσι, οποιαδήποτε βελτίωση αφορά την αντιστοίχιση ή τις μετρικές ομοιότητας μπορεί να έχει θετικές επιδράσεις και στην ψηφιακή υδατογράφηση. Η έρευνα που έγινε στα πλαίσια της διδακτορικής διατριβής σε σχέση με το πρόβλημα της αντιστοίχισης αφορά τη συσχέτιση των εικόνων στο χωρικό πεδίο, η οποία έχει το εξής μειονέκτημα: η περιοχή γύρω από τη μέγιστη τιμή της μπορεί να έχει μεγάλο εύρος και να επηρεάζει την ακρίβεια της αντιστοίχισης. Για την αντιμετώπιση αυτού του προβλήματος, προτείνεται μια διαδικασία προ-λεύκανσης των εικόνων, βασισμένη στο φίλτρο σφάλματος πρόβλεψης. Επίσης, αναπτύσσεται ένας επαναληπτικός αλγόριθμος αντιστοίχισης για μετατοπίσεις και περιστροφές, ο οποίος εφαρμόζεται σε ακολουθίες ιατρικών εικόνων με σκοπό τη διάγνωση δυσπλασιών και κακοηθειών. Ένα δεύτερο μειονέκτημα της χωρικής συσχέτισης είναι το μεγάλο υπολογιστικό της κόστος. Στη διδακτορική διατριβή προτείνεται ένα γρήγορο σχήμα υπολογισμού της, το οποίο βασίζεται σε κατάλληλη τμηματοποίηση της εικόνας και στη χρήση του μετασχηματισμού Fourier. Επίσης, το πιο απαιτητικό κομμάτι της διαδικασίας αντιστοίχισης είναι ο υπολογισμός της χρησιμοποιούμενης μετρικής σαν συνάρτηση της σχετικής θέσης των εικόνων. Έτσι, αναπτύσσεται ένας αποδοτικός επαναληπτικός αλγόριθμος, ο οποίος μειώνει σημαντικά τις αναζητήσεις που απαιτούνται για την εύρεση του μεγίστου του συντελεστή συσχέτισης και παρέχει ακρίβεια εικονοστοιχείου. Τέλος, προτείνεται μια τεχνική η οποία παρέχει ακρίβεια υποδιαίρεσης εικονοστοιχείου και βασίζεται στη μεγιστοποίηση του συντελεστή συσχέτισης. Η τεχνική αυτή δεν απαιτεί ανακατασκευή των τιμών της έντασης και παρέχει μια λύση κλειστού τύπου για την εκτίμηση της μετατόπισης. Όσο αφορά το πρόβλημα της υδατογράφησης, η έρευνα που έγινε στα πλαίσια της διδακτορικής διατριβής στοχεύει στην ένθεση ισχυρών υδατογραφημάτων στο χωρικό πεδίο και στη βελτίωση της ανίχνευσής τους. Καταρχήν, προτείνεται μια χωρική αντιληπτική μάσκα, η οποία βασίζεται στην τοπική διασπορά του σφάλματος πρόβλεψης της αρχικής εικόνας. Παράλληλα, αναπτύσσεται ένα «τυφλό» σύστημα ανίχνευσης και η βελτιωμένη απόδοσή του σε σχέση με υπάρχοντες ανιχνευτές αποδεικνύεται θεωρητικά για τη γενική περίπτωση επίθεσης με γραμμικό φίλτρο και θόρυβο. Στη συνέχεια, παράγεται μια νέα χωρική μάσκα η οποία επιτρέπει την ένθεση υδατογραφημάτων με εξαιρετικά μεγάλη ενέργεια, διατηρώντας ταυτόχρονα την ποιότητα της εικόνας σε πολύ καλό επίπεδο. Η απόδοσή της συγκρίνεται με πολύ γνωστές και ευρέως χρησιμοποιούμενες μάσκες και αποδεικνύεται σημαντικά καλύτερη. Επίσης, αναπτύσσεται ένα βελτιωμένο σχήμα ανίχνευσης, το οποίο σε συνδυασμό με την προτεινόμενη μάσκα έχει πολύ καλή απόδοση. Τέλος, προτείνεται μια μέθοδος εισαγωγής υδατογραφήματος στην εικόνα με πολλαπλασιαστικό τρόπο, χρησιμοποιώντας χωρο-χρονική κωδικοποίηση μπλοκ και ειδικότερα μια 4x4 πραγματική, ορθογώνια διάταξη συμβόλων. Το σχήμα αυτό αποδεικνύεται να έχει πολύ καλύτερη απόδοση σε σχέση με την επαναληπτική υδατογράφηση. / Image registration aims at finding geometrical or other differences between two or more images. Image watermarking offers copyright protection by embedding in the images an invisible signal, a watermark, in such a way that it is difficult to be removed. Image registration can be part of a watermark detector. Moreover, similar (or the same) similarity measures are used for both image registration and watermark detection. Thus, any improvement concerning the image registration or the similarity measures can have positive effects on image watermarking, too. Our research concerning the image registration problem deals with the spatial cross-correlation, which has the following drawback: the region around its maximum value can be rather wide, affecting the registration accuracy. This problem can be solved, by properly pre-whitening the images with the prediction error filter. Furthermore, an iterative algorithm is proposed for registering images with translation and rotation differences, which is then applied in sequences of medical images for cancer diagnosis. A second disadvantage of the spatial correlation is its computational cost. A fast computation scheme is proposed, based on a proper partitioning of the images and the Fourier transform. Also, the most computationally intensive part of a registration process is the evaluation of the involved measure for different relative image positions. Thus, an efficient iterative algorithm is developed that considerably reduces the number of searches required for finding the correlation coefficient maximum value and provides pixel accuracy. Finally, an image registration technique with subpixel accuracy is proposed, which is based on the correlation coefficient maximization. This technique does not require the reconstruction of the intensity values and provides a closed form solution to the subpixel translation estimation problem. As far as the problem of image watermarking is concerned, our research aims at embedding robust watermarks in spatial domain and improving their detection. First, a spatial perceptual mask is proposed, based on the local variance of the initial image prediction error. A blind detector is also developed, which performs better than the existing ones. This is theoretically proved for the general attack case with linear filter and noise. Furthermore, a new spatial perceptual mask is proposed that allows for a significantly increased strength of the watermark, while at the same time the image quality remains very good. Its performance is compared to known and widely used masks and is proved to be much better. Moreover, an improved detector is developed, which, combined with the new mask, performs very well. Finally, a new multiplicative watermark embedding is proposed, which uses space-time block coding (specifically a 4x4 real orthogonal design). This scheme is proved to perform much better than the repetitive watermarking.