[pt] O Reconhecimento Facial é o processo de identificação de uma pessoa a partir da imagem de sua face. Na forma mais usual, o processo de identificação consiste em extrair informações dessa imagem e compará-las com informações relativas a outras imagens armazenadas numa base de dados e por fim indicar na saída a imagem da base mais similar à imagem de entrada. O desempenho desse processo está diretamente ligado à qualidade das imagens, tanto das que estão armazenadas na base de dados, quanto da imagem do indivíduo cuja identidade está sendo determinada. Por isso, convém que a qualidade das imagens faciais seja avaliada antes que estas sejam submetidas ao procedimento de reconhecimento. A maioria dos métodos apresentados até o momento na literatura baseia-se em um conjunto de critérios, cada um voltado a um atributo isolado da imagem. A qualidade da imagem é considerada adequada se aprovada por todos os critérios individualmente. Desconsidera-se, portanto, o efeito cumulativo de diversos fatores que afetam a qualidade das imagens e, por conseguinte, o desempenho do reconhecimento facial. Essa monografia propõe uma metodologia para o projeto de métricas de qualidade de imagens faciais que expressem num único índice o efeito combinado de diversos fatores que afetam o reconhecimento. Tal índice é dado por uma função de um conjunto de atributos extraídos diretamente da imagem. O presente estudo analisa experimentalmente uma função linear e uma rede neural do tipo back-propagation como alternativas para a estimativa de qualidade a partir dos atributos. Experimentos conduzidos sobre a base de dados IMM para o algoritmo de reconhecimento baseado em padrões binários locais comprovam a o bom desempenho da metodologia. / [en] Face Recognition is the process of identifying people based on facial images. In its most usual form the identification procedure consists of extracting information from an input face image and comparing them to the records of other face images stored in a face data base, and finally indicating the most similar one to the input image. The performance of this process is directly dependent on the input image quality, as well as on the images in the data base. Thus, it is important that the quality of a face image is tested before it is given to the recognition procedure, either as a input image or as a new record in the face database. Most methods proposed thus far based on a set of criteria, each one devoted to an isolated attribute. The image quality is considered adequate if approved by all criteria individually. Thus, the cumulative effect of different factors affecting the image quality is no regarded. This dissertation proposes a methodology for the design of quality metrics of facial images that Express in a single scalar the combined effect of multiple factors affecting the quality. Such score is given by a function of attributes extracted directly from the image. This study investigates a linear and a non-linear approach for quality assessment. Experiments conducted upon the IMM face database for a Local Binary Pattern face recognition algorithm demonstrate the good performance of the proposed methodology.

Submitted by Lara Oliveira (lara@ufersa.edu.br) on 2017-04-24T18:35:56Z No. of bitstreams: 1 AntonioFSF_DISSERT.pdf: 3029657 bytes, checksum: e9a0a86884868c986d0b42d54a37134a (MD5) / Approved for entry into archive by Vanessa Christiane (referencia@ufersa.edu.br) on 2017-04-26T12:15:52Z (GMT) No. of bitstreams: 1 AntonioFSF_DISSERT.pdf: 3029657 bytes, checksum: e9a0a86884868c986d0b42d54a37134a (MD5) / Approved for entry into archive by Vanessa Christiane (referencia@ufersa.edu.br) on 2017-04-26T12:18:02Z (GMT) No. of bitstreams: 1 AntonioFSF_DISSERT.pdf: 3029657 bytes, checksum: e9a0a86884868c986d0b42d54a37134a (MD5) / Made available in DSpace on 2017-04-26T12:18:11Z (GMT). No. of bitstreams: 1 AntonioFSF_DISSERT.pdf: 3029657 bytes, checksum: e9a0a86884868c986d0b42d54a37134a (MD5) Previous issue date: 2016-08-26 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Nowadays, almost all services and daily tasks involve some computational apparatus, leading to creation and further accumulation of data. This progressive amount of data is an important opportunity of exploration for scientific and commercial branches, which started to value and to use this information more intense and objectively. Allied to this, the natural process of public and private life exposure through social networks and electronic devices tend to generate a significant amount of images that can and should be utilized with various purposes, such as in public security. In this context, facial recognition has advanced and attracted specific studies and applications, aiming at the identification of individuals through parametric features. However, some barriers are still found, making difficult the efficient performance of the operation, such as the computational cost on the search time and recovery of large proportions in image databases. Based on this, this paper proposes the use of clustering algorithms in the organization of image data, thus providing a direction and “ shortening ” in facial images searches. More specifically, an analysis related to the optimization is conducted imposed by the use of clustering techniques applied in the automated organization of images, the preparative step for performing searches. The proposed method was applied to real facial images databases and used two clustering algorithms k-means and EM with variations for the similarity measures (euclidean distance and Pearson correlation). The results show that the use of clustering in data organization has proved to be efficient, leading to a significant reduction in search time and without losses in process accuracy / Atualmente quase todos os serviços e tarefas cotidianas envolvem algum aparato computacional, acarretando a criação e o consequente acúmulo de dados. Essa progressiva quantidade de dados representa uma importante oportunidade de exploração para os ramos científico e comercial, que passaram a valorizar e utilizar essas informações de forma mais intensa e objetiva. Aliado a isso, o processo natural de exposição da vida pública e privada através das redes sociais e dos dispositivos eletrônicos tende a gerar uma quantidade expressiva de imagens que podem e devem ser aproveitadas com os mais diversos fins, como na área de segurança pública. Nesse contexto, o reconhecimento facial tem avançado e atraído estudos e aplicações específicas, que visam a identificação de indivíduos por meio de características paramétricas. No entanto, alguns entraves ainda são encontrados, dificultando a realização eficiente dessa operação, como o custo computacional relativo ao tempo de busca e recuperação de imagens em bases de dados de grandes proporções. Baseado nisso, este trabalho propõe a utilização de algoritmos de agrupamento na organização dos dados de imagens, proporcionando assim um direcionamento e “encurtamento” nas buscas de imagens faciais. Mais especificamente, é feita uma análise relacionada à otimização imposta pelo uso de técnicas de agrupamento aplicadas na organização automatizada das imagens, como etapa preparativa para realização de buscas. O método proposto foi aplicado em bases de dados de imagens faciais reais, e utilizou dois algoritmos de agrupamento (k-means e EM) com variações para as medidas de similaridade (distância euclidiana e correlação de Pearson). Os resultados obtidos revelam que o emprego do agrupamento na organização dos dados mostrou-se eficiente, levando a uma redução significativa no tempo de busca, e sem prejuízos na precisão do processo / 2017-04-19

Orientador: Antonio Carlos Sementille / Banca: Alexandre Cardoso / Banca: João Fernando Marar / Resumo: Nas últimas décadas, o interesse quanto à captura de movimentos da face humana e à identificação de suas expressões com a finalidade de geração de animações faciais realistas, tem aumentado, tanto na comunidade científica quanto na indústria do entretenimento. A alta acurácia nesse processo é necessária, pois os humanos são treinados para identificar expressões faciais, detectando facilmente pequenas imperfeições na animação de uma face virtual. A animação facial baseada em performance é uma das técnicas utilizadas para gerar animações realistas principalmente em filmes. Com o surgimento de câmeras RGB-D de baixo custo, muitos sistemas de animação facial baseada em performance foram desenvolvidos, compartilhando muitos princípios fundamentais, mas com detalhes de implementação específicos. Estes sistemas consistem de uma fase de rastreamento de movimentos e identificação de expressões faciais seguido de um procedimento de redirecionamento de expressões. Neste sentido, ambientes modulares para a animação facial baseada em performance são extremamente úteis na incorporação de novos algoritmos de rastreamento com características de entrada e saídas padronizadas. Considerando o contexto exposto, o presente trabalho teve como principal objetivo a criação e validação de um ambiente com arquitetura modular para animação facial baseada em performance que utilizou uma câmera RGB-D para a captura dos movimentos faciais de um ator, bem como permitiu a incorporação dos principais... / Abstract: In recent decades, interest in capturing human face movements and identifying expressions for the purpose of generating realistic facial animations has increased in both the scientific community and the entertainment industry. The high accuracy in this process is necessary because humans are trained to identify facial expressions, easily detecting small imperfections in the animation of a virtual face. Performance-based facial animation is one of the techniques used to generate realistic animations especially in movies. With the emergence of low-cost RGB-D cameras, many performance-based facial animation systems have been developed, sharing many fundamental principles but with specific implementation details. These systems consist of a phase of tracking movements and identifying facial expressions followed by an expression redirection procedure. In this sense, modular environments for performance-based facial animation are extremely useful in incorporating new tracking algorithms with standardized input and output characteristics. Considering the above context, the main objective of this work was the creation and validation of an environment with modular architecture for performance-based facial animation that used an RGB-D camera to capture the facial movements of an actor as well as allowed the incorporation of the main algorithms found in the literary, aiming the redirection of these movements to a different human virtual face. The inputs and outputs of this environment were standardized by the use of blendshapes / Mestre

CoordenaÃÃo de AperfeiÃoamento de NÃvel Superior / In this dissertation, the face recognition problem is investigated from the standpoint of multilinear algebra, more specifically the tensor decomposition, and by making use of Gabor wavelets. The feature extraction occurs in two stages: first the Gabor wavelets are applied holistically in feature selection; Secondly facial images are modeled as a higher-order tensor according to the multimodal factors present. Then, the HOSVD is applied to separate the multimodal factors of the images. The proposed facial recognition approach exhibits higher average success rate and stability when there is variation in the various multimodal factors such as facial position, lighting condition and facial expression. We also propose a systematic way to perform cross-validation on tensor models to estimate the error rate in face recognition systems that explore the nature of the multimodal ensemble. Through the random partitioning of data organized as a tensor, the mode-n cross-validation provides folds as subtensors extracted of the desired mode, featuring a stratified method and susceptible to repetition of cross-validation with different partitioning. / Nesta dissertaÃÃo o problema de reconhecimento facial à investigado do ponto de vista da Ãlgebra multilinear, mais especificamente por meio de decomposiÃÃes tensoriais fazendo uso das wavelets de Gabor. A extraÃÃo de caracterÃsticas ocorre em dois estÃgios: primeiramente as wavelets de Gabor sÃo aplicadas de maneira holÃstica na seleÃÃo de caracterÃsticas; em segundo as imagens faciais sÃo modeladas como um tensor de ordem superior de acordo com o fatores multimodais presentes. Com isso aplicamos a decomposiÃÃo tensorial Higher Order Singular Value Decomposition (HOSVD) para separar os fatores que influenciam na formaÃÃo das imagens. O mÃtodo de reconhecimento facial proposto possui uma alta taxa de acerto e estabilidade quando hà variaÃÃo nos diversos fatores multimodais, tais como, posiÃÃo facial, condiÃÃo de iluminaÃÃo e expressÃo facial. Propomos ainda uma maneira sistemÃtica para realizaÃÃo da validaÃÃo cruzada em modelos tensoriais para estimaÃÃo da taxa de erro em sistemas de reconhecimento facial que exploram a natureza multilinear do conjunto de imagens. AtravÃs do particionamento aleatÃrio dos dados organizado como um tensor, a validaÃÃo cruzada modo-n proporciona a criaÃÃo de folds extraindo subtensores no modo desejado, caracterizando um mÃtodo estratificado e susceptÃvel a repetiÃÃes da validaÃÃo cruzada com diferentes particionamentos.

O objetivo deste trabalho foi desenvolver um algoritmo baseado em redes neurais para o reconhecimento facial. O algoritmo contém dois módulos principais, um módulo para a extração de características e um módulo para o reconhecimento facial, sendo aplicado sobre imagens digitais nas quais a face foi previamente detectada. O método utilizado para a extração de características baseia-se na aplicação de assinaturas horizontais e verticais para localizar os componentes faciais (olhos e nariz) e definir a posição desses componentes. Como entrada foram utilizadas imagens faciais de três bancos distintos: PICS, ESSEX e AT&T. Para esse módulo, a média de acerto foi de 86.6%, para os três bancos de dados. No módulo de reconhecimento foi utilizada a arquitetura perceptron multicamadas (MLP), e para o treinamento dessa rede foi utilizado o algoritmo de aprendizagem backpropagation. As características faciais extraídas foram aplicadas nas entradas dessa rede neural, que realizou o reconhecimento da face. A rede conseguiu reconhecer 97% das imagens que foram identificadas como pertencendo ao banco de dados utilizado. Apesar dos resultados satisfatórios obtidos, constatou-se que essa rede não consegue separar adequadamente características faciais com valores muito próximos, e portanto, não é a rede mais eficiente para o reconhecimento facial / This research presents a facial recognition algorithm based in neural networks. The algorithm contains two main modules: one for feature extraction and another for face recognition. It was applied in digital images from three database, PICS, ESSEX and AT&T, where the face was previously detected. The method for feature extraction was based on previously knowledge of the facial components location (eyes and nose) and on the application of the horizontal and vertical signature for the identification of these components. The mean result obtained for this module was 86.6% for the three database. For the recognition module it was used the multilayer perceptron architecture (MLP), and for training this network it was used the backpropagation algorithm. The extracted facial features were applied to the input of the neural network, that identified the face as belonging or not to the database with 97% of hit ratio. Despite the good results obtained it was verified that the MLP could not distinguish facial features with very close values. Therefore the MLP is not the most efficient network for this task

Submitted by Rosa Assis (rosa_assis@yahoo.com.br) on 2017-04-07T13:08:23Z No. of bitstreams: 2 LUIZ ANGELO D'AMORE.pdf: 1662282 bytes, checksum: c16e2be24fd9263215d1bb2007ad612a (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Paola Damato (repositorio@mackenzie.br) on 2017-04-19T14:14:54Z (GMT) No. of bitstreams: 2 LUIZ ANGELO D'AMORE.pdf: 1662282 bytes, checksum: c16e2be24fd9263215d1bb2007ad612a (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2017-04-19T14:14:54Z (GMT). No. of bitstreams: 2 LUIZ ANGELO D'AMORE.pdf: 1662282 bytes, checksum: c16e2be24fd9263215d1bb2007ad612a (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2016-10-14 / In this work are presented the development and results of a new method of facial recognition based on the use of individual thresholds by texture pattern and facial sub region, with applicability in biometric systems of access control in controlled environments. Among the biometric systems, facial recognition systems have certain prominence in relation to other systems, because not being intrusive. The acquisition of the facial image is made with a distance between the camera and the subject. The goal of the proposed method is to reduce the computational cost, compared to other existing methods, without prejudice for facial recognition rate. The proposed method uses a descriptor composed of four sub-descriptors, each of formed by texture patterns. Each of the sub descriptors have size defined by the number of sub regions facial. In the comparative process between descriptors, the method uses the individual thresholds of texture pattern and facial sub region. This work presents three experiments, each subdivided into specific tests. The first experiment was conducted to evaluate variations related to the use of uniform local binary patterns (LBPu2), the results obtained were used as a comparative basis for the other experiments of this work. The second experiment aimed to evaluate the proposed method for reducing the size of the standard facial descriptor LBPu2 of 59 textures. The third experiment was conducted to evaluate the proposed method based on the use of individual thresholds by texture pattern and facial sub-region, method that aims to improve the classification process of facial recognition. For the experiments was used the frontal facial images of "The Facial Recognition Technology Database" (FERET) and "FEI Face Database" (FEI) sets, with light variations, expressions and no restrictions on the use of beard, mustache or glasses. After the experiments, it was possible to observe that the proposed method reduces considerably the computational cost for the facial recognition systems, besides improving its recognition rate, surpassing the academic results already published. / Neste trabalho são apresentados o desenvolvimento e os resultados de um novo método de reconhecimento facial baseado na utilização de limiares individuais por padrão de textura e sub-região facial, com aplicabilidade em sistemas biométricos de controle de acesso em ambientes controlados. Dentre os sistemas biométricos, o de reconhecimento facial apresenta destaque em relação às demais biometrias pelo fato de não ser intrusiva, sendo a captura da imagem facial realizada com certa distância entre a câmera e o indivíduo. O objetivo do método proposto é reduzir o custo computacional em relação a outros métodos existentes, sem prejuízo para a taxa de reconhecimento facial. O método proposto utiliza um descritor composto por quatro sub descritores, todos formados por padrões de texturas. Cada um dos sub descritores tem seu tamanho definido pela quantidade de sub-regiões que a região facial é dividida. No processo comparativo entre descritores, o método utiliza limiares individuais por padrão de textura e sub-região facial. Neste trabalho foram realizados três experimentos, cada um subdividido em testes específicos. O primeiro experimento foi realizado com o objetivo de avaliar variações relacionadas ao uso de padrões binários locais uniformes (LBPu2), os resultados obtidos foram utilizados como base comparativa para os demais experimentos deste trabalho. O segundo experimento teve como objetivo avaliar o método proposto quanto a redução do tamanho do descritor facial LBPu2 padrão de 59 texturas. O terceiro experimento foi realizado para avaliar o método proposto, com base na utilização de limiares individuais por padrão de textura e sub-região facial, método que objetiva melhorar o processo classificatório do reconhecimento facial. Para a realização dos experimentos, foram utilizadas as imagens faciais frontais dos conjuntos "The Facial Recognition Technology Database" (FERET) e "FEI Face Database" (FEI), com variações de luminosidade, expressões e sem restrições quanto ao uso de barba, bigode ou óculos. Após a realização dos experimentos, foi possível observar que o método proposto reduz consideravelmente o custo computacional para os sistemas de reconhecimento facial, além de melhorar sua taxa de reconhecimento, superando os resultados acadêmicos já publicados.

Submitted by Rosa Assis (rosa_assis@yahoo.com.br) on 2017-09-26T15:27:49Z No. of bitstreams: 2 LUIZ ANGELO D'AMORE.pdf: 1662281 bytes, checksum: 4b858ea533f263d436dd43fa7a600f18 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Paola Damato (repositorio@mackenzie.br) on 2017-09-27T12:13:25Z (GMT) No. of bitstreams: 2 LUIZ ANGELO D'AMORE.pdf: 1662281 bytes, checksum: 4b858ea533f263d436dd43fa7a600f18 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2017-09-27T12:13:25Z (GMT). No. of bitstreams: 2 LUIZ ANGELO D'AMORE.pdf: 1662281 bytes, checksum: 4b858ea533f263d436dd43fa7a600f18 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2016-10-14 / In this work are presented the development and results of a new method of facial recognition based on the use of individual thresholds by texture pattern and facial sub region, with applicability in biometric systems of access control in controlled environments. Among the biometric systems, facial recognition systems have certain prominence in relation to other systems, because not being intrusive. The acquisition of the facial image is made with a distance between the camera and the subject. The goal of the proposed method is to reduce the computational cost, compared to other existing methods, without prejudice for facial recognition rate. The proposed method uses a descriptor composed of four sub-descriptors, each of formed by texture patterns. Each of the sub descriptors have size defined by the number of sub regions facial. In the comparative process between descriptors, the method uses the individual thresholds of texture pattern and facial sub region. This work presents three experiments, each subdivided into specific tests. The first experiment was conducted to evaluate variations related to the use of uniform local binary patterns (LBPu2), the results obtained were used as a comparative basis for the other experiments of this work. The second experiment aimed to evaluate the proposed method for reducing the size of the standard facial descriptor LBPu2 of 59 textures. The third experiment was conducted to evaluate the proposed method based on the use of individual thresholds by texture pattern and facial sub-region, method that aims to improve the classification process of facial recognition. For the experiments was used the frontal facial images of "The Facial Recognition Technology Database" (FERET) and "FEI Face Database" (FEI) sets, with light variations, expressions and no restrictions on the use of beard, mustache or glasses. After the experiments, it was possible to observe that the proposed method reduces considerably the computational cost for the facial recognition systems, besides improving its recognition rate, surpassing the academic results already published. / Neste trabalho são apresentados o desenvolvimento e os resultados de um novo método de reconhecimento facial baseado na utilização de limiares individuais por padrão de textura e sub-região facial, com aplicabilidade em sistemas biométricos de controle de acesso em ambientes controlados. Dentre os sistemas biométricos, o de reconhecimento facial apresenta destaque em relação às demais biometrias pelo fato de não ser intrusiva, sendo a captura da imagem facial realizada com certa distância entre a câmera e o indivíduo. O objetivo do método proposto é reduzir o custo computacional em relação a outros métodos existentes, sem prejuízo para a taxa de reconhecimento facial. O método proposto utiliza um descritor composto por quatro sub descritores, todos formados por padrões de texturas. Cada um dos sub descritores tem seu tamanho definido pela quantidade de sub-regiões que a região facial é dividida. No processo comparativo entre descritores, o método utiliza limiares individuais por padrão de textura e sub-região facial. Neste trabalho foram realizados três experimentos, cada um subdividido em testes específicos. O primeiro experimento foi realizado com o objetivo de avaliar variações relacionadas ao uso de padrões binários locais uniformes (LBPu2), os resultados obtidos foram utilizados como base comparativa para os demais experimentos deste trabalho. O segundo experimento teve como objetivo avaliar o método proposto quanto a redução do tamanho do descritor facial LBPu2 padrão de 59 texturas. O terceiro experimento foi realizado para avaliar o método proposto, com base na utilização de limiares individuais por padrão de textura e sub-região facial, método que objetiva melhorar o processo classificatório do reconhecimento facial. Para a realização dos experimentos, foram utilizadas as imagens faciais frontais dos conjuntos "The Facial Recognition Technology Database" (FERET) e "FEI Face Database" (FEI), com variações de luminosidade, expressões e sem restrições quanto ao uso de barba, bigode ou óculos. Após a realização dos experimentos, foi possível observar que o método proposto reduz consideravelmente o custo computacional para os sistemas de reconhecimento facial, além de melhorar sua taxa de reconhecimento, superando os resultados acadêmicos já publicados.

Submitted by Patrícia Cerveira (pcerveira1@gmail.com) on 2017-06-07T18:57:51Z No. of bitstreams: 1 Fernando Otávio Gomes da Fonseca_Dissertação.pdf: 3191276 bytes, checksum: f567916527bd35630c5b6be3fb1b0c6e (MD5) / Approved for entry into archive by Biblioteca da Escola de Engenharia (bee@ndc.uff.br) on 2017-06-29T16:27:45Z (GMT) No. of bitstreams: 1 Fernando Otávio Gomes da Fonseca_Dissertação.pdf: 3191276 bytes, checksum: f567916527bd35630c5b6be3fb1b0c6e (MD5) / Made available in DSpace on 2017-06-29T16:27:45Z (GMT). No. of bitstreams: 1 Fernando Otávio Gomes da Fonseca_Dissertação.pdf: 3191276 bytes, checksum: f567916527bd35630c5b6be3fb1b0c6e (MD5) / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / O presente trabalho visa estudar e comparar 2 métodos de detecção de faces em imagens, a fim de averiguar a eficiência e eficácia dos mesmos, propondo melhorias nos processos avaliados. O método de detecção de caraterísticas em imagens proposto por Viola e Jones é ainda uma referência na detecção de faces. Neste trabalho serão avaliadas propostas de melhorias nesse processo e comparados resultados quando utilizadas redes neurais mais modernas para o treinamento da base de dados. Realizamos simulações computacionais desenvolvidas em Matlab para obtenção dos resultados do comportamento dos sistemas e ao final do trabalho apresentamos as conclusões e sugestões de projetos futuros. / This work aims to study and compare two methods of face detection in images, in order to verify theirefficiency and effectiveness, proposing improvements in such processes. The feature detection method in images proposed by Viola and Jones is also a reference in detecting faces. In this work improvement proposals will be evaluated in thatprocess and compared results when used more modern neural networks for the training database. We performed computer simulations developed in Matlab to obtain theresults onsystems behavior. At the endof the work,we present the conclusions and suggestions for future projects.

[pt] A popularidade de plataformas para o armazenamento e compartilhamento de vídeo tem criado um volume massivo de horas de vídeo. Dado um conjunto de atores presentes em um vídeo, a geração de metadados com a determinação temporal dos intervalos em que cada um desses atores está presente, bem como a localização no espaço 2D dos quadros em cada um desses intervalos pode facilitar a recuperação de vídeo e a recomendação. Neste trabalho, nós investigamos a Clusterização Facial em Vídeo para a localização espaço-temporal de atores. Primeiro descrevemos nosso método de Clusterização Facial em Vídeo em que utilizamos métodos de detecção facial, geração de embeddings e clusterização para agrupar faces dos atores em diferentes quadros e fornecer a localização espaço-temporal destes atores. Então, nós exploramos, propomos, e investigamos aplicações inovadoras dessa localização espaço-temporal em três diferentes tarefas: (i) Reconhecimento Facial em Vídeo, (ii) Recomendação de Vídeos Educacionais e (iii) Posicionamento de Legendas em Vídeos 360 graus. Para a tarefa (i), propomos um método baseado na similaridade de clústeres que é facilmente escalável e obteve um recall de 99.435 por cento e uma precisão de 99.131 por cento em um conjunto de vídeos. Para a tarefa (ii), propomos um método não supervisionado baseado na presença de professores em diferentes vídeos. Tal método não requer nenhuma informação adicional sobre os vídeo e obteve um valor mAP aproximadamente 99 por cento. Para a tarefa (iii), propomos o posicionamento dinâmico de legendas baseado na localização de atores em vídeo 360 graus. / [en] The popularity of platforms for the storage and transmission of video content has created a substantial volume of video data. Given a set of actors present in a video, generating metadata with the temporal determination of the interval in which each actor is present, and their spatial 2D localization in each frame in these intervals can facilitate video retrieval and recommendation. In this work, we investigate Video Face Clustering for this spatio-temporal localization of actors in videos. We first describe our method for Video Face Clustering in which we take advantage of face detection, embeddings, and clustering methods to group similar faces of actors in different frames and provide the spatio-temporal localization of them. Then, we explore, propose, and investigate innovative applications of this spatio-temporal localization in three different tasks: (i) Video Face Recognition, (ii) Educational Video Recommendation and (iii) Subtitles Positioning in 360-video. For (i), we propose a cluster-matching-based method that is easily scalable and achieved a recall of 99.435 percent and precision of 99.131 percent in a small video set. For (ii), we propose an unsupervised method based on them presence of lecturers in different videos that does not require any additional information from the videos and achieved a mAP approximately 99 percent. For (iii), we propose a dynamic placement of subtitles based on the automatic localization of actors in 360-video.

O reconhecimento de expressões faciais de emoções (REFE) possui valor adaptativo, sendo importante para o funcionamento social e o relacionamento interpessoal. Evidências apontaram que alterações no REFE podem estar associadas a transtornos psiquiátricos como a depressão maior (incluindo o subtipo psicótico) e ao estresse precoce. Associações também foram verificadas entre a vivência de estresse precoce e o desenvolvimento da depressão na vida adulta. Considerando esses aspectos, além da escassez de pesquisas na área envolvendo o subtipo psicótico da depressão, este estudo se justifica pela pertinência de averiguar se a interação entre a depressão psicótica e o estresse precoce altera o REFE. Assim, objetivou-se investigar a possível influência do episódio depressivo psicótico e da história de estresse precoce, considerados individualmente e em interação, sobre a acurácia e vieses no REFE. Adicionalmente, foi investigada a existência de associações entre a gravidade geral do estresse precoce e a acurácia específica no REFE. Participaram do estudo 49 pacientes com diagnóstico de primeiro episódio depressivo maior com características psicóticas e 49 controles saudáveis, emparelhados e subgrupados de acordo com o sexo e a história de estresse precoce. Todos os participantes passaram por uma bateria de avaliações, incluindo uma entrevista diagnóstica padronizada, escalas de avaliação da gravidade de sintomas psiquiátricos e funcionamento global, além de questionários sobre aspectos sociodemográficos, histórico clínico, uso de drogas e medicamentos e história de estresse precoce. Por fim, os participantes foram submetidos à Degraded Facial Affect Recognition Task (DFAR), uma tarefa comportamental de escolha forçada no REFE, composta por fotografias degradadas (i.e., com contraste visual reduzido em 30%) de expressões faciais de neutralidade, alegria, medo e raiva, às quais foram atribuídos rótulos emocionais correspondentes. Os dados foram analisados por meio de estatística descritiva e inferencial, utilizando os testes qui-quadrado ou exato de Fisher, U de Mann-Whitney, ANOVA de três vias com post hoc Bonferroni e Correlação de Spearman. Os principais resultados apontaram que a vivência de estresse precoce foi associada a uma maior acurácia no REFE de alegria nos controles e menor acurácia nos pacientes. O REFE de alegria também foi correlacionado com a gravidade geral do estresse precoce, tendo apresentado uma correlação positiva nos controles e negativa nos pacientes. Alterações no REFE de medo também foram associadas à interação entre depressão psicótica e estresse precoce, mas somente nas mulheres. Aquelas com diagnóstico de depressão psicótica e história de estresse precoce tiveram pior acurácia em comparação com mulheres depressivas psicóticas sem história de estresse precoce e com mulheres saudáveis com história de estresse precoce. Em conclusão, os resultados confirmaram que alterações no REFE foram associadas com a interação entre a depressão psicótica e o estresse precoce. Isso chama a atenção para a importância de se considerar a influência do estresse precoce em interação com outros transtornos psiquiátricos na investigação do reconhecimento emocional. / Facial emotion recognition (FER) has an adaptive value, being important for social functioning and interpersonal relationship. Evidence has indicated that FER alterations may be associated with psychiatric disorders such as major depression (including its psychotic subtype) and with early-life stress. Associations were also found between the experience of early-life stress and the development of depression in adult life. Considering these aspects, as well as the lack of research in this field involving the psychotic subtype of depression, this study is justified by the pertinence of investigating whether the interaction between psychotic depression and early-life stress alters FER. Thus, the objective was to investigate a possible influence of psychotic depressive episode and early-life stress history, considered individually and in interaction, on FER accuracy and bias. In addition, it was investigated the existence of associations between early-life stress general severity and specific FER accuracy. The study included 49 patients with diagnosis of first major depressive episode with psychotic features and 49 healthy controls, matched and subgrouped according to sex and earlylife stress history. All participants underwent a battery of assessments, including a standardized diagnostic interview, assessment scales on severity of psychiatric symptoms and global functioning, as well as questionnaires on sociodemographic aspects, clinical history, drug and medication use and early-life stress history. Finally, participants were submitted to the Degraded Facial Affect Recognition Task (DFAR), a FER forced-choice behavioral task, composed of degraded photographs (i.e., with visual contrast reduced by 30%) portraying facial expressions of neutrality, joy, fear and anger, to which a corresponding emotional label were assigned. Data were analyzed through descriptive and inferential statistics, using chi-square test or Fisher\'s exact test, Mann-Whitney U test, three-way ANOVA with Bonferroni post hoc test, and Spearman\'s correlation test. The main results pointed out that early-life stress experience was associated with greater accuracy in FER of joy in controls and lower accuracy in patients. FER of joy was also correlated with early-life stress general severity, presenting a positive correlation in controls and a negative correlation in patients. Alterations in FER of fear were also associated with the interaction between psychotic depression and early-life stress, but only for women. Those with psychotic depression diagnosis and early-life stress history had worse accuracy compared both to depressed psychotic women with no early-life stress history and to healthy women with early-life stress history. In conclusion, results confirmed that FER alterations were associated with the interaction between psychotic depression and early-life stress. This draws attention to the importance of considering the influence of early-life stress on interaction with other psychiatric disorders in the investigation of emotional recognition.