[pt] Na segurança e Justiça Criminal, os algoritmos tornaram-se prevalentes, utilizados por instituições como agências de inteligência, polícia e tribunais. Essas tecnologias, incluindo software de reconhecimento facial, são empregadas em várias práticas de segurança e vigilância em todo o mundo. Esse uso generalizado levanta questões sobre a autoridade epistêmica e a credibilidade dos algoritmos, particularmente na produção de práticas de (in)segurança e na contestação de evidências dentro do sistema de justiça criminal. Neste contexto, essa tese explora os complexos emaranhados das práticas de profissionais de segurança e do direito e algoritmos, enfatizando como essas tecnologias digitais se materializam, estabilizam e circulam em diversas práticas mesmo em meio a erros e contestações. Primeiro, a tese examina as implicações da razão algorítmica, abordando como essas tecnologias prometem simultaneamente eficiência e objetividade, enquanto recorrentemente erram. Seguidamente, explora como os algoritmos moldam percepções, identificam alvos e influenciam ações de segurança, focando especialmente em dados biométricos e algoritmos de reconhecimento facial, como o uso Clearview AI nos Estados Unidos. Ao analisar esses sistemas, a pesquisa visa entender como os algoritmos criam e legitimam imaginários de melhor justiça/segurança e suas consequências sociais e políticas mais amplas. A tese se situa dentro dos Estudos Críticos de Segurança, Estudos de Ciência e Tecnologia e críticas feministas da tecnociência, compondo com diferentes campos para entender a característica operativa da razão algorítmica na política internacional. Por fim, a pesquisa demonstra como os algoritmos criam condições de possibilidade para práticas de segurança e justiça, organizando uma multitude de elementos e produzindo uma ordem que impacta esses campos e destaca a importância de entender a força política dos discursos em torno dos algoritmos e seu papel na reformulação das condições de possibilidade para pensar e fazer segurança. / [en] In security, algorithms have become prevalent and used by institutions such as intelligence agencies, police, and courts. These technologies, including facial recognition software, are employed in various security and surveillance practices worldwide. This widespread use raises questions about algorithms epistemic authority and credibility, particularly in producing (in)security practices and contesting evidence within the criminal justice system. In this context, this thesis explores the complex entanglements of the practices of security and legal professionals and algorithms, emphasizing how these digital technologies materialize, stabilize, and circulate in diverse practices even amid errors and contestations. First, the thesis examines the implications of algorithmic reason, addressing how these technologies simultaneously promise efficiency and objectivity while repeatedly getting it wrong. It then explores how algorithms shape perceptions, identify targets, and influence security actions, focusing primarily on biometric data and facial recognition algorithms, such as the use of Clearview AI in the United States. By analyzing these systems, the research aims to understand how algorithms create and legitimize better justice/security imaginaries and their broader social and political consequences. The thesis is located within Critical Security Studies, Science and Technology Studies, and feminist critiques of technoscience, crossing different fields to understand the operative characteristic of algorithmic reason in international politics. Finally, the research demonstrates how algorithms create conditions of possibility for security and justice practices, organizing a multitude of elements and producing an order that impacts these fields and highlights the importance of understanding the political force of the discourses surrounding algorithms and their role in reformulating the conditions of possibility for thinking and doing security.

We present a theory for constructing linear, black box approximations to face recognition algorithms and empirically demonstrate that a surprisingly diverse set of face recognition approaches can be approximated well using a linear model. The construction of the linear model to a face recognition algorithm involves embedding of a training set of face images constrained by the distances between them, as computed by the face recognition algorithm being approximated. We accomplish this embedding by iterative majorization, initialized by classical multi-dimensional scaling (MDS). We empirically demonstrate the adequacy of the linear model using six face recognition algorithms, spanning both template based and feature based approaches on standard face recognition benchmarks such as the Facial Recognition Technology (FERET) and Face Recognition Grand Challenge (FRGC) data sets. The experimental results show that the average Error in Modeling for six algorithms is 6.3% at 0.001 False Acceptance Rate (FAR), for FERET fafb probe set which contains maximum number of subjects among all the probe sets. We demonstrate the usefulness of the linear model for algorithm dependent indexing of face databases and find that it results in more than 20 times reduction in face comparisons for Bayesian Intra/Extra-class person classifier (BAY), Elastic Bunch Graph Matching algorithm (EBGM), and the commercial face recognition algorithms. We also propose a novel paradigm to reconstruct face templates from match scores using the linear model and use the reconstructed templates to explore the security breach in a face recognition system. We evaluate the proposed template reconstruction scheme using three, fundamentally different, face recognition algorithms: Principal Component Analysis (PCA), Bayesian Intra/Extra-class person classifier (BAY), and a feature based commercial algorithm. With an operational point set at 1% False Acceptance Rate (FAR) and 99% True Acceptance Rate (TAR) for 1196 enrollments (FERET gallery), we show that at most 600 attempts (score computations) are required to achieve 73%, 72% and 100% chance of breaking in as a randomly chosen target subject for the commercial, BAY and PCA based face recognition system, respectively. We also show that the proposed reconstruction scheme has 47% more probability of breaking in as a randomly chosen target subject for the commercial system as compared to a hill climbing approach with the same number of attempts.

Tato práce se zabývá zvýšením úspěšnosti rozpoznávání obličejů v dohledových CCTV systémech a systémech kontroly vstupu. K dosažení tohoto cíle je využit nový přístup - optimalizace vzorů obličejů. Optimalizace tvorby vzorů umožní vytvořit vzory, které zajistí zvýšení úspěšnosti rozpoznání. Měření a další zvyšování úspěšnosti rozpoznávání obličejů vyžaduje naplnění následujících dílčích cílů této práce. Prvním cílem je návrh a sestavení reprezentativní databáze obličejů, která umožní dosáhnout věrohodných a statisticky spolehlivých výsledků rozpoznávání obličejů v dohledových CCTV systémech a systémech kontroly vstupu. Druhým cílem je vytvoření metodiky pro statisticky spolehlivé porovnání výsledků, která umožní konstatování relevantních závěrů. Třetím cílem je výzkum tvorby vzorů a jejich optimalizace. Z dosažených výsledků vyplývá, že optimalizace tvorby vzorů zvyšuje úspěšnost rozpoznávání v uvedených a náročných aplikacích typicky o 4-8%, a v některých případech i 15%. Optimalizace tvorby vzorů přispívá použitelnosti rozpoznávání obličejů v uvedených aplikacích.

Yes / This survey provides an insightful overview of recent advancements in facial recognition technology, mainly focusing on multi-modal face recognition and its applications in security biometrics and identity verification. Central to this study is the Sejong Face Database, among other prominent datasets, which facilitates the exploration of intricate aspects of facial recognition, including hidden and heterogeneous face recognition, cross-modality analysis, and thermal-visible face recognition. This paper delves into the challenges of accurately identifying faces under various conditions and disguises, emphasising its significance in security systems and sensitive sectors like banking. The survey highlights novel contributions such as using Generative Adversarial Networks (GANs) to generate synthetic disguised faces, Convolutional Neural Networks (CNNs) for feature extractions, and Fuzzy Extractors to integrate biometric verification with cryptographic security. The paper also discusses the impact of quantum computing on encryption techniques and the potential of post-quantum cryptographic methods to secure biometric systems. This survey is a critical resource for understanding current research and prospects in biometric authentication, balancing technological advancements with ethical and privacy concerns in an increasingly digital society. / European Union’s Horizon-Marie Skłodowska-Curie Actions (MSCA)-RISE-2019-2023, Marie Skłodowska-Curie, Research, and Innovation Staff Exchange (RISE), titled: Secure and Wireless Multimodal Biometric Scanning Device for Passenger Verification Targeting Land and Sea Border Control

O reconhecimento de faces é aplicado em várias tecnologias de segurança, como desbloqueios de celular, autenticação de entradas e saídas de estabelecimentos, meios de pagamentos via aplicativos móveis e outros. Para melhorar a confiança nos sistemas de segurança, foi desenvolvido também um reconhecedor de vida, com o uso do espectrograma da voz do usuário. Esse projeto propõe a criação de um sistema de segurança de autenticação de portas de residências e de acesso a salas e ambientes restritos (p.ex. laboratórios de pesquisa), com a aplicação das técnicas de reconhecimento de faces e de prova de vida, através de Deep Learning e Aprendizagem de Máquina, com o auxílio da ferramenta Tensorflow (um framework de aprendizado de máquina bastante utilizado no mercado), e com isso, criar um protótipo do sistema de reconhecimento facial e de vida, que pode ser facilmente convertido em um produto comercial. O projeto foi dividido em quatro redes neurais(RN-1, 2, 3, 4). A primeira, RN-1, consiste em treinar a rede com a base LFW ( Face Dataset ) para obter a melhor arquitetura de Aprendizado de Máquina. Então a aplicação realiza a captura da imagem e da voz do usuário. Na segunda rede, RN-2, utilizou-se dessa arquitetura selecionada para treinar a rede em base própria de reconhecimento de face (de complexidade 1:N), que foi criada especificamente para este trabalho. A terceira, RN-3, corresponde ao Reconhecimento da Prova de Vida (de complexidade 1:N), pois o sistema verifica se a voz (áudio) se refere à mesma pessoa da RN-2, evitando que o sistema seja enganado com a simples apresentação de uma foto/imagem no lugar da face humana real ou mesmo de um gravador de voz. Isso aumenta muito o grau de confiabilidade da aplicação, pois a verificação é dupla. A quarta rede, RN-4,(de complexidade 1:1) verifica também a voz da pessoa, porém há somente 2 classes: a do indivíduo em questão e a classe outros (outros usuários), portanto, haverá uma rede separada para cada usuário. Essa análise aumenta ainda mais o grau de confiabilidade da aplicação. Os resultados mostraram que: dentre 9 arquiteturas testadas, na RN-1, apenas a mobilenet_1.0_128 obteve os melhores resultados; a acurácia da rede, com a base própria na RN-2, obteve resultados muito melhores do que na RN-1 com a base LFW; o espectrograma de voz analisado na RN-3 obteve resultados muito satisfatórios com acurácia chegando a 92%; já na RN-4 as acurácias das redes chegaram a 100%. / Face recognition is applied in lot of security technologies, such as mobile unlocking, authentication of station inputs and outputs, payment options by mobile applications, and more. To improve confidence in security systems, a life recognizer has also been developed with the use of the user\'s voice spectrogram. This project proposes creation of a door entry security system and access to classrooms and restricted environments, with an application of face recognition and Life-Proof techniques, through the Deep Learning and Machine Learning, using Tensorflow tool, a framework of machine learning, the most famous of the market, with the objective of creating a prototype to a commercial product. The project was divided into four neural networks (RN-1, 2, 3, 4). The first, RN-1, consists in training a network with LFW (Face Dataset) to get the best architecture. Then the application makes a capture of the image and the voice of the user. In the second network, RN-2, we used this selected architecture to train the network based on its own face recognition dataset (1: N complexity), which was created specifically for this project. The third, RN-3, corresponds to the \"Life-Proof\" Recognition (of complexity 1: N), since the system checks if the voice refers to the same person as the RN-2, with the simple presentation of a photo / image in place of the actual human face or even of a voice recorder. This greatly increases the degree of reliability of the application, since the verification is double. The fourth network, RN-4 (1: 1 complexity) also verifies the person\'s voice, but there are only 2 classes: one of the individual in question and the class \"other\" (other users), so there will be a separate network for each person. This analysis improve the degree of reliability of the application. The results showed the best architecture was the mobilenet_1.0_128; the network with the own dataset (RN-2) obtained much better results than the network with the LFW base (RN-1); the voice spectrogram analyzed in RN-3 obtained very satisfactory results with accuracy reaching 92%; already in RN-4 the accuracy of the networks reached 100%.

[pt] Esta dissertação teve por objetivo comparar o desempenho de diversos algoritmos que representam o estado da arte em reconhecimento facial a imagens de sequências de vídeo. Três objetivos específicos foram perseguidos: desenvolver um método para determinar quando uma face está em posição frontal com respeito à câmera (detector de face frontal); avaliar a acurácia dos algoritmos de reconhecimento com base nas imagens faciais obtidas com ajuda do detector de face frontal; e, finalmente, identificar o algoritmo com melhor desempenho quando aplicado a tarefas de verificação e identificação. A comparação dos métodos de reconhecimento foi realizada adotando a seguinte metodologia: primeiro, foi criado um detector de face frontal que permitiu o captura das imagens faciais frontais; segundo, os algoritmos foram treinados e testados com a ajuda do facereclib, uma biblioteca desenvolvida pelo Grupo de Biometria no Instituto de Pesquisa IDIAP; terceiro, baseando-se nas curvas ROC e CMC como métricas, compararam-se os algoritmos de reconhecimento; e por ultimo, as análises dos resultados foram realizadas e as conclusões estão relatadas neste trabalho. Experimentos realizados sobre os bancos de vídeo: MOBIO, ChokePOINT, VidTIMIT, HONDA, e quatro fragmentos de diversos filmes, indicam que o Inter Session Variability Modeling e Gaussian Mixture Model são os algoritmos que fornecem a melhor acurácia quando são usados em tarefas tanto de verificação quanto de identificação, o que os indica como técnicas de reconhecimento viáveis para o vídeo monitoramento automático em vídeo. / [en] This dissertation aimed to compare the performance of state-of-the-arte face recognition algorithms in facial images captured from multiple video sequences. Three specific objectives were pursued: to develop a method for determining when a face is in frontal position with respect to the camera (frontal face detector); to evaluate the accuracy for recognition algorithms based on the facial images obtained with the help of the frontal face detector; and finally, to identify the algorithm with better performance when applied to verification and identification tasks in video surveillance systems. The comparison of the recognition methods was performed adopting the following approach: first, a frontal face detector, which allowed the capture of facial images was created; second, the algorithms were trained and tested with the help of facereclib, a library developed by the Biometrics Group at the IDIAP Research Institute; third, ROC and CMC curves were used as metrics to compare the recognition algorithms; and finally, the results were analyzed and the conclusions were reported in this manuscript. Experiments conducted on the video datasets: MOBIO, ChokePOINT, VidTIMIT, HONDA, and four fragments of several films, indicate that the Inter-Session Variability Modelling and Gaussian Mixture Model algorithms provide the best accuracy on classification when the algorithms are used in verification and identification tasks, which indicates them as a good automatic recognition techniques for video surveillance applications.

O reconhecimento facial automático é uma tarefa muito importante para a sociedade moderna, pois possibilita o desenvolvimento de diversas aplicações, tais como o controle de imigração em aeroportos, a autenticação de documentos, etc. Muitas destas aplicações ocorrem em ambientes não controlados, onde as fotos são obtidas com grandes variações de poses e expressões faciais, de iluminação, no uso de maquiagem e acessórios, etc. A tarefa de reconhecimento facial automático em ambientes não controlados é ainda muito desafiadora e tem sido alvo de muitas pesquisas no mundo todo nos últimos anos. Dentro deste contexto, esta tese propõe e implementa um conjunto de novos métodos que visam contribuir para o avanço do estado da arte relacionado a este tema de pesquisa. Inicialmente foi proposto o HBWLF, um filtro para enfatizar as componentes de alta frequência da imagem, sem eliminar as de baixa, realçando assim os diversos detalhes das imagens faciais. Em seguida foi proposta uma versão mais geral deste filtro, o MHBWLF, que considera uma vizinhança circular, ao invés de uma grade regular de 3x3 pixels. O MHBWLF foi aplicado em conjunto com um filtro MOSSE no desenvolvimento de um método para a localização precisa dos centros dos olhos. Aproveitando as características do MHBWLF e inspirado em outros descritores foi proposto um novo descritor, o HBWD. Por fim, foi introduzido um novo método de reconhecimento facial, baseado no HBWD. O método proposto emprega o HBWD para descrever densamente a região periocular e, a fim de reduzir a dimensão dos dados, foi proposto um algoritmo de mapeamento baseado no método de agrupamento k-Means++. Os métodos propostos foram todos avaliados utilizando-se imagens das bases LFW, FGLFW e BioID e os resultados experimentais obtidos mostram que os métodos propostos tem desempenho superior a vários outros métodos estado da arte. / The task of automatic face recognition is very important for modern society and very useful for many kind of applications, such as automatic recognition of credit card users, document authentication, security in big events and others. Further, this is a challenging task when performed in uncontrolled scenarios, which involve great variations in imaging conditions such as illumination, poses and facial expressions, partial occlusion due to hair or glasses, makeup, etc. This thesis first introduces the new High-Boost Weber Local Filter (HBWLF) that emphasizes high-frequency components, without eliminating the low-frequency ones, and thus enhances the details of a face. It is also introduced the new MHBWLF (Multiscale High-Boost Weber Local Filter), which is a multiscale version of HBWLF. A new method for precise eye localization is presented, where a MOSSE filter is used for learning the features enhanced by MHBWLF. This thesis also introduces a new local descriptor called HBWD (High-Boost Weber Descriptor) which combines some features of MHBWLF, SIFT and CS-LMP. Finally, a new method of face recognition is presented. The proposed method basically detects the faces, localizes their eyes and performs a face alignment. After that the region of interest (ROI) is more accurately cropped and described using the new HBWD in a dense sampling scheme (sampling each pixel). A new algorithm, based on the known clustering method k-Means++, reduces the dimensionality of the HBWD descriptors densely applied on each ROI, and produces a signature for the image pair being compared. Finally, a SVM is used to classify the images as a matched or mismatched pair. The proposed methods were evaluated using images from the well-known LFW, FGLFW and BioID databases and the experimental results show that the proposed methods outperform other state-of-the-art approaches.

O objetivo deste trabalho foi desenvolver um algoritmo baseado em redes neurais para o reconhecimento facial. O algoritmo contém dois módulos principais, um módulo para a extração de características e um módulo para o reconhecimento facial, sendo aplicado sobre imagens digitais nas quais a face foi previamente detectada. O método utilizado para a extração de características baseia-se na aplicação de assinaturas horizontais e verticais para localizar os componentes faciais (olhos e nariz) e definir a posição desses componentes. Como entrada foram utilizadas imagens faciais de três bancos distintos: PICS, ESSEX e AT&T. Para esse módulo, a média de acerto foi de 86.6%, para os três bancos de dados. No módulo de reconhecimento foi utilizada a arquitetura perceptron multicamadas (MLP), e para o treinamento dessa rede foi utilizado o algoritmo de aprendizagem backpropagation. As características faciais extraídas foram aplicadas nas entradas dessa rede neural, que realizou o reconhecimento da face. A rede conseguiu reconhecer 97% das imagens que foram identificadas como pertencendo ao banco de dados utilizado. Apesar dos resultados satisfatórios obtidos, constatou-se que essa rede não consegue separar adequadamente características faciais com valores muito próximos, e portanto, não é a rede mais eficiente para o reconhecimento facial / This research presents a facial recognition algorithm based in neural networks. The algorithm contains two main modules: one for feature extraction and another for face recognition. It was applied in digital images from three database, PICS, ESSEX and AT&T, where the face was previously detected. The method for feature extraction was based on previously knowledge of the facial components location (eyes and nose) and on the application of the horizontal and vertical signature for the identification of these components. The mean result obtained for this module was 86.6% for the three database. For the recognition module it was used the multilayer perceptron architecture (MLP), and for training this network it was used the backpropagation algorithm. The extracted facial features were applied to the input of the neural network, that identified the face as belonging or not to the database with 97% of hit ratio. Despite the good results obtained it was verified that the MLP could not distinguish facial features with very close values. Therefore the MLP is not the most efficient network for this task

O reconhecimento de faces é uma área de pesquisa desafiadora que abre portas para a implementação de aplicações muito promissoras. Embora muitos algoritmos eficientes e robustos já tenham sido propostos, ainda restam vários desafios. Dentre os principais obstáculos a serem uperados, está a obtenção de uma representação robusta e compacta de faces que possibilite distinguir os indivíduos rapidamente. Visando abordar esse problema, foi realizado um estudo de técnicas de reconhecimento estatístico de padrões, principalmente na área de redução de dimensionalidade dos dados, além de uma revisão de métodos de reconhecimento de faces. Foi proposto (em colaboração com a pesquisadora Isabelle Bloch) um método de seleção de características que une um algoritmo de busca eficiente (métodos de busca seqüencial flutuante) com uma medida de distância entre conjuntos nebulosos (distância nebulosa baseada em tolerância). Essa medida de distância possui diversas vantagens, sendo possível considerar as diferentes tipicalidades de cada padrão dos conjuntos de modo a permitir a obtenção de bons resultados mesmo com conjuntos com sobreposição. Os resultados preliminares com dados sintéticos mostraram o caráter promissor dessa abordagem. Com o objetivo de verificar a eficiência de tal técnica com dados reais, foram efetuados testes com reconhecimento de pessoas usando imagens da região dos olhos. Nesse caso, em se tratando de um problema com mais de duas classes, nós propusemos uma nova função critério inspirada na distância supracitada. Além disso foi proposto (juntamente com o estudante de mestrado Rogério S. Feris) um esquema de reconhecimento a partir de seqüências de vídeo. Esse esquema inclui a utilização de um método eficiente de rastreamento de características faciais (Gabor Wavelet Networks) e o método proposto anteriormente para seleção de características. Dentro desse contexto, o trabalho desenvolvido nesta dissertação implementa uma parte dos módulos desse esquema. / Face recognition is an instigating research field that may lead to the development of many promising applications. Although many efficient and robust algorithms have been developed in this area, there are still many challenges to be overcome. In particular, a robust and compact face representation is still to be found, which would allow for quick classification of different individuals. In order to address this problem, we first studied pattern recognition techniques, especially regarding dimensionality reduction, followed by the main face recognition methods. We introduced a new feature selection approach in collaboration with the researcher Isabelle Bloch (TSI-ENST-Paris), that associates an efficient searching algorithm (sequential floating search methods), with a tolerance-based fuzzy distance. This distance measure presents some nice features for dealing with the tipicalities of each pattern in the sets, so that good results can be attained even when the sets are overlapping. Preliminary results with synthetic data have demonstrated that this method is quite promising. In order to verify the efficiency of this technique with real data, we applied it for improving the performance of a person recognition system based on eye images. Since this problem involves more than two classes, we also developed a new criterion function based on the above-mentioned distance. Moreover, we proposed (together with Rogério S. Feris) a system for person recognition based on video sequences. This mechanism includes the development of an efficient method for facial features tracking, in addition to our method for feature selection. In this context, the work presented here constitutes part of the proposed system.

Les variations de pose et d’expression constituent des limitations importantes à la reconnaissance de visages en deux dimensions. Dans cette thèse, nous proposons d’augmenter la robustesse des algorithmes de reconnaissances faciales aux changements de pose et d’expression. Pour cela, nous proposons d’utiliser un modèle 3D déformable de visage permettant d’isoler les déformations d’identité de celles relatives à l’expression. Plus précisément, étant donné une image de probe avec expression, une nouvelle vue synthétique du visage est générée avec une pose frontale et une expression neutre. Nous présentons deux méthodes de correction de l’expression. La première est basée sur une connaissance a priori dans le but de changer l’expression de l’image vers une expression neutre. La seconde méthode, conçue pour les scénarios de vérification, est basée sur le transfert de l’expression de l’image de référence vers l’image de probe. De nombreuses expérimentations ont montré une amélioration significative des performances et ainsi valider l’apport de nos méthodes. Nous proposons ensuite une extension de ces méthodes pour traiter de la problématique émergente de reconnaissance de visage à partir d’un flux vidéo. Pour finir, nous présentons différents travaux permettant d’améliorer les performances obtenues dans des cas spécifiques et ainsi améliorer les performances générales obtenues grâce à notre méthode. / Expression and pose variations are major challenges for reliable face recognition (FR) in 2D. In this thesis, we aim to endow state of the art face recognition SDKs with robustness to simultaneous facial expression variations and pose changes by using an extended 3D Morphable Model (3DMM) which isolates identity variations from those due to facial expressions. Specifically, given a probe with expression, a novel view of the face is generated where the pose is rectified and the expression neutralized. We present two methods of expression neutralization. The first one uses prior knowledge to infer the neutral expression from an input image. The second method, specifically designed for verification, is based on the transfer of the gallery face expression to the probe. Experiments using rectified and neutralized view with a standard commercial FR SDK on two 2D face databases show significant performance improvement and demonstrates the effectiveness of the proposed approach. Then, we aim to endow the state of the art FR SDKs with the capabilities to recognize faces in videos. Finally, we present different methods for improving biometric performances for specific cases.